Quantization made by Richard Erkhov.
All scores for these benchmarks have been evaluated using the
Stability-AI/lm-evaluation-harness.
The results of the benchmark scores are stored in
benchmark_scores.
For detailed information on the scores and the conditions under which they were obtained, please refer to this link.
*1 From the
rinna's LM Benchmark.
*2 Since there was no mention of these template versions in rinna's LM Benchmark, the scores were calculated without specifying a template.
The model has been made with a custom version of the
mergekit library (mixtral branch) and the following configuration:
1base_model: rinna/youri-7b-chat
2gate_mode: hidden # one of "hidden", "cheap_embed", or "random"
3dtype: bfloat16 # output dtype (float32, float16, or bfloat16)
4experts:
5 - source_model: rinna/youri-7b-chat
6 positive_prompts:
7 - "質問と回答の選択肢を入力として受け取り、選択肢から回答を選択してください。"
8 - "前提と仮説の関係を含意、矛盾、中立の中から回答してください。"
9 - "以下のテキストを、ポジティブまたはネガティブの感情クラスのいずれかに分類してください。"
10 - "与えられた問題に対して、ステップごとに答えを導き出してください。"
11 - source_model: rinna/youri-7b-instruction
12 positive_prompts:
13 - "質問に対する回答を題名と文章から一言で抽出してください。回答は名詞で答えてください。"
14 - "与えられたニュース記事を要約してください。"
15 - "与えられた文が文法的であるかを回答してください。"
The
positive_prompts in the above configuration are extracted from the instructions of benchmarks that each model excels in.
For reference on the benchmarks for each model, please see the LM Benchmark at
rinna's LM Benchmark.
These benchmarks provide a detailed overview of the areas where each individual model performs particularly well, guiding the effective use of the merged model in various natural language processing tasks.
1!pip install -q --upgrade transformers einops accelerate bitsandbytes
2
3import torch
4from transformers import AutoModelForCausalLM, AutoTokenizer
5
6model_name = "HachiML/youri-2x7b_v0.2"
7torch.set_default_device("cuda")
8
9# Load the model and tokenizer
10model = AutoModelForCausalLM.from_pretrained(
11 model_name,
12 torch_dtype="auto",
13 load_in_4bit=True,
14 trust_remote_code=True
15)
16tokenizer = AutoTokenizer.from_pretrained(
17 model_name,
18 trust_remote_code=True
19)
20
21torch.set_default_device("cuda")
22
23# Create input
24instruction = "次の日本語を英語に翻訳してください。"
25input = "大規模言語モデル（だいきぼげんごモデル、英: large language model、LLM）は、多数のパラメータ（数千万から数十億）を持つ人工ニューラルネットワークで構成されるコンピュータ言語モデルで、膨大なラベルなしテキストを使用して自己教師あり学習または半教師あり学習によって訓練が行われる。"
26prompt = f"""
27以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。
28
29### 指示:
30{instruction}
31
32### 入力:
33{input}
34
35### 応答:
36"""
37
38# Tokenize the input string
39token_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
40
41# Generate text using the model
42with torch.no_grad():
43 output_ids = model.generate(
44 token_ids.to(model.device),
45 max_new_tokens=200,
46 do_sample=True,
47 temperature=0.5,
48 pad_token_id=tokenizer.pad_token_id,
49 bos_token_id=tokenizer.bos_token_id,
50 eos_token_id=tokenizer.eos_token_id
51 )
52
53# Decode and print the output
54output = tokenizer.decode(output_ids.tolist()[0])
55print(output)
