Views
No views yet
1!pip uninstall unsloth -y
2!pip install --upgrade --no-cache-dir "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
3!pip install --upgrade torch
4!pip install --upgrade xformers
5!pip install ipywidgets --upgrade
6
7#Flash Attention 2 をインストール
8import torch
9if torch.cuda.get_device_capability()[0] >= 8:
10 !pip install --no-deps packaging ninja einops "flash-attn>=2.6.3"ERROR: pip's dependency resolver does not currently take into account all the packages that are installed.1# llm-jp/llm-jp-3-13bを4bit量子化のqLoRA設定でロード。
2from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
3from unsloth import FastLanguageModel
4import torch
5max_seq_length = 512 # コンテキスト長
6dtype = None # Noneにしておけば自動で設定
7load_in_4bit = True # 今回は8Bクラスのモデルを扱うためTrue
8
9model_id = "llm-jp/llm-jp-3-13b"
10new_model_id = #任意のモデル名
11# FastLanguageModel インスタンスを作成
12model, tokenizer = FastLanguageModel.from_pretrained(
13 model_name=model_id,
14 dtype=dtype,
15 load_in_4bit=load_in_4bit,
16 trust_remote_code=True,
17)
18
19# SFT用のモデルを用意
20model = FastLanguageModel.get_peft_model(
21 model,
22 r = 32,
23 target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
24 "gate_proj", "up_proj", "down_proj",],
25 lora_alpha = 32,
26 lora_dropout = 0.05,
27 bias = "none",
28 use_gradient_checkpointing = "unsloth",
29 random_state = 3407,
30 use_rslora = False,
31 loftq_config = None,
32 max_seq_length = max_seq_length,
33)1from datasets import load_dataset
2
3dataset = load_dataset("json", data_files="ichikara-instruction-003-001-1.json")1# 学習時のプロンプトフォーマットの定義
2prompt = """### 指示
3{}
4### 回答
5{}"""
6
7
8
9"""
10formatting_prompts_func: 各データをプロンプトに合わせた形式に合わせる
11"""
12EOS_TOKEN = tokenizer.eos_token # トークナイザーのEOSトークン（文末トークン）
13def formatting_prompts_func(examples):
14 input = examples["text"] # 入力データ
15 output = examples["output"] # 出力データ
16 text = prompt.format(input, output) + EOS_TOKEN # プロンプトの作成
17 return { "formatted_text" : text, } # 新しいフィールド "formatted_text" を返す
18pass
19
20# # 各データにフォーマットを適用
21dataset = dataset.map(
22 formatting_prompts_func,
23 num_proc= 4, # 並列処理数を指定
24)
25
26dataset1"""
2training_arguments: 学習の設定
3
4 - output_dir:
5 -トレーニング後のモデルを保存するディレクトリ
6
7 - per_device_train_batch_size:
8 - デバイスごとのトレーニングバッチサイズ
9
10 - per_device_eval_batch_size:
11 - デバイスごとの評価バッチサイズ
12
13 - gradient_accumulation_steps:
14 - 勾配を更新する前にステップを積み重ねる回数
15
16 - optim:
17 - オプティマイザの設定
18
19 - num_train_epochs:
20 - エポック数
21
22 - eval_strategy:
23 - 評価の戦略 ("no"/"steps"/"epoch")
24
25 - eval_steps:
26 - eval_strategyが"steps"のとき、評価を行うstep間隔
27
28 - logging_strategy:
29 - ログ記録の戦略
30
31 - logging_steps:
32 - ログを出力するステップ間隔
33
34 - warmup_steps:
35 - 学習率のウォームアップステップ数
36
37 - save_steps:
38 - モデルを保存するステップ間隔
39
40 - save_total_limit:
41 - 保存しておくcheckpointの数
42
43 - max_steps:
44 - トレーニングの最大ステップ数
45
46 - learning_rate:
47 - 学習率
48
49 - fp16:
50 - 16bit浮動小数点の使用設定（第8回演習を参考にすると良いです）
51
52 - bf16:
53 - BFloat16の使用設定
54
55 - group_by_length:
56 - 入力シーケンスの長さによりバッチをグループ化 (トレーニングの効率化)
57
58 - report_to:
59 - ログの送信先 ("wandb"/"tensorboard"など)
60"""
61from trl import SFTTrainer
62from transformers import TrainingArguments
63from unsloth import is_bfloat16_supported
64
65trainer = SFTTrainer(
66 model = model,
67 tokenizer = tokenizer,
68 train_dataset=dataset["train"],
69 max_seq_length = max_seq_length,
70 dataset_text_field="formatted_text",
71 packing = False,
72 args = TrainingArguments(
73 per_device_train_batch_size = 2,
74 gradient_accumulation_steps = 4,
75 num_train_epochs = 1,
76 logging_steps = 10,
77 warmup_steps = 10,
78 save_steps=100,
79 save_total_limit=2,
80 max_steps=-1,
81 learning_rate = 2e-4,
82 fp16 = not is_bfloat16_supported(),
83 bf16 = is_bfloat16_supported(),
84 group_by_length=True,
85 seed = 3407,
86 output_dir = "outputs",
87 report_to = "none",
88 ),
89)trainer_stats = trainer.train()1import json
2datasets = []
3with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
4 item = ""
5 for line in f:
6 line = line.strip()
7 item += line
8 if item.endswith("}"):
9 datasets.append(json.loads(item))
10 item = ""1# 学習したモデルを用いてタスクを実行
2from tqdm import tqdm
3
4# 推論するためにモデルのモードを変更
5FastLanguageModel.for_inference(model)
6
7results = []
8for dt in tqdm(datasets):
9 input = dt["input"]
10
11 prompt = f"""### 指示\n{input}\n### 回答\n"""
12
13 inputs = tokenizer([prompt], return_tensors = "pt").to(model.device)
14
15 outputs = model.generate(**inputs, max_new_tokens = 512, use_cache = True, do_sample=False, repetition_penalty=1.2)
16 prediction = tokenizer.decode(outputs[0], skip_special_tokens=True).split('\n### 回答')[-1]
17
18 results.append({"task_id": dt["task_id"], "input": input, "output": prediction})
19
20# jsonlで保存
21with open(f"{new_model_id}_output.jsonl", 'w', encoding='utf-8') as f:
22 for result in results:
23 json.dump(result, f, ensure_ascii=False)
24 f.write('\n')