Views
No views yet
1# python 3.10.12
2!pip install -U pip
3!pip install -U transformers
4!pip install -U bitsandbytes
5!pip install -U accelerate
6!pip install -U datasets
7!pip install -U peft
8!pip install -U trl
9!pip install -U wandb
10!pip install ipywidgets --upgrade
11
12from transformers import (
13 AutoModelForCausalLM,
14 AutoTokenizer,
15 BitsAndBytesConfig,
16 TrainingArguments,
17 logging,
18)
19from peft import (
20 LoraConfig,
21 PeftModel,
22 get_peft_model,
23)
24import os, torch, gc
25from datasets import load_dataset
26import bitsandbytes as bnb
27from trl import SFTTrainer
28
29# Hugging Face Token
30HF_TOKEN = "write権限のあるトークン"
31
32# モデルを読み込み。
33# llm-jp-3 1.8B, 3.7B, 13Bのsnapshotをダウンロード済みでmodelsディレクトリに格納してあります。
34# base_model_idの値はomnicampusの環境におけるモデルのパスを表しており、それ以外の環境で実行する場合は変更の必要があります。
35# その他のモデルは取得に承諾が必要なため、各自でダウンロードお願いします。
36base_model_id = "models/models--llm-jp--llm-jp-3-13b/snapshots/cd3823f4c1fcbb0ad2e2af46036ab1b0ca13192a" #Fine-Tuningするベースモデル
37# omnicampus以外の環境をご利用の方は以下をご利用ください。
38# base_model_id = "llm-jp/llm-jp-3-13b"
39new_model_id = "llm-jp-3-13b-finetune" #Fine-Tuningしたモデルにつけたい名前
40
41"""
42bnb_config: 量子化の設定
43
44 - load_in_4bit:
45 - 4bit量子化形式でモデルをロード
46
47 - bnb_4bit_quant_type:
48 - 量子化の形式を指定
49
50 - bnb_4bit_compute_dtype:
51 - 量子化された重みを用いて計算する際のデータ型
52
53"""
54
55bnb_config = BitsAndBytesConfig(
56 load_in_4bit=True,
57 bnb_4bit_quant_type="nf4", # nf4は通常のINT4より精度が高く、ニューラルネットワークの分布に最適です
58 bnb_4bit_compute_dtype=torch.bfloat16,
59)
60
61"""
62model: モデル
63
64 - base_model:
65 - 読み込むベースモデル (事前に定義したもの)
66
67 - quantization_config:
68 - bnb_configで設定した量子化設定
69
70 - device_map:
71 - モデルを割り当てるデバイス (CPU/GPU) "auto"で自動に割り当てられます。
72
73tokenizer: トークナイザー
74
75 - base_model:
76 - 読み込むベースモデル (事前に定義したもの)
77
78 - trust_remote_code:
79 - リモートコードの実行を許可 (カスタムモデルなど)
80"""
81model = AutoModelForCausalLM.from_pretrained(
82 base_model_id,
83 quantization_config=bnb_config,
84 device_map="auto"
85)
86
87tokenizer = AutoTokenizer.from_pretrained(base_model_id, trust_remote_code=True)
88
89"""
90find_all_linear_names: モデル内の4bit量子化線形層を探します。
91"""
92
93def find_all_linear_names(model):
94 cls = bnb.nn.Linear4bit # 4bit量子化線形層クラスを指定
95 lora_module_names = set() # ここに取得した線形層を保持します。
96
97 # モデル内の全てのモジュールを探索します
98 for name, module in model.named_modules():
99 if isinstance(module, cls): # モジュールが4bit量子化線形層の場合
100 names = name.split('.') # モジュールの名前を分割 (ネストされてる際などに対処)
101 lora_module_names.add(names[0] if len(names) == 1 else names[-1]) # 最下層の名前をlora_module_namesに追加
102
103 # 'lm_head' は16ビット演算の際に除外する必要があるため、lora_module_namesから削除
104 if 'lm_head' in lora_module_names:
105 lora_module_names.remove('lm_head')
106
107 return list(lora_module_names) # lora_module_namesをリストに変換して返します。
108
109modules = find_all_linear_names(model)
110
111"""
112peft_config: PEFTの構成設定
113
114 - r
115 - LoRA のランク (4, 8, 16 ,32...)
116 - 増やすほど学習が捗るが, 過学習のリスクも高まるので注意
117
118 - lora_alpha
119 - LoRAのスケーリング係数
120
121 - lora_dropout
122 - ドロップアウト率（過学習を防ぐための割合）
123
124 - bias
125 - バイアス項の扱い ("none"の場合、LoRAはバイアスを学習しない)
126
127 - task_type
128 - タスクタイプ
129
130 - target_modules
131 - LoRAを適用するターゲットモジュール (前のコードで特定した層)
132"""
133
134peft_config = LoraConfig(
135 r=16,
136 lora_alpha=32,
137 lora_dropout=0.05,
138 bias="none",
139 task_type="CAUSAL_LM",
140 target_modules=modules,
141)
142
143model = get_peft_model(model, peft_config)
144
145"""
146学習に用いるデータセットの指定
147今回はLLM-jp の公開している Ichikara Instruction を使います。データにアクセスするためには申請が必要ですので、使いたい方のみ申請をしてください。
148Ichikara Instruciton を Hugging Face Hub にて公開することはお控えください。
149また、CC-BY-NC-SAですのでモデルはライセンスを継承する前提でお使いください。
150
151下記のリンクから申請を終えた先に Google Drive があり、Distribution20241221_all というフォルダごとダウンロードしてください。
152今回は「ichikara-instruction-003-001-1.json」を使います。必要であれば展開（!unzip など）し、データセットのパスを適切に指定してください。
153omnicampusの開発環境では取得したデータを左側にドラッグアンドドロップしてお使いください。
154
155https://liat-aip.sakura.ne.jp/wp/llmのための日本語インストラクションデータ作成/llmのための日本語インストラクションデータ-公開/
156関根聡, 安藤まや, 後藤美知子, 鈴木久美, 河原大輔, 井之上直也, 乾健太郎. ichikara-instruction: LLMのための日本語インストラクションデータの構築. 言語処理学会第30回年次大会(2024)
157
158"""
159
160dataset = load_dataset("json", data_files="./ichikara-instruction-003-001-1.json")
161dataset
162
163# 学習時のプロンプトフォーマットの定義
164prompt = """### 指示
165{}
166### 回答
167{}"""
168
169
170"""
171formatting_prompts_func: 各データをプロンプトに合わせた形式に合わせる
172"""
173EOS_TOKEN = tokenizer.eos_token # トークナイザーのEOSトークン（文末トークン）
174def formatting_prompts_func(examples):
175 input = examples["text"] # 入力データ
176 output = examples["output"] # 出力データ
177 text = prompt.format(input, output) + EOS_TOKEN # プロンプトの作成
178 return { "formatted_text" : text, } # 新しいフィールド "formatted_text" を返す
179pass
180
181# # 各データにフォーマットを適用
182dataset = dataset.map(
183 formatting_prompts_func,
184 num_proc= 4, # 並列処理数を指定
185)
186
187dataset
188
189"""
190training_arguments: 学習の設定
191
192 - output_dir:
193 -トレーニング後のモデルを保存するディレクトリ
194
195 - per_device_train_batch_size:
196 - デバイスごとのトレーニングバッチサイズ
197
198 - per_device_
199 _batch_size:
200 - デバイスごとの評価バッチサイズ
201
202 - gradient_accumulation_steps:
203 - 勾配を更新する前にステップを積み重ねる回数
204
205 - optim:
206 - オプティマイザの設定
207
208 - num_train_epochs:
209 - エポック数
210
211 - eval_strategy:
212 - 評価の戦略 ("no"/"steps"/"epoch")
213
214 - eval_steps:
215 - eval_strategyが"steps"のとき、評価を行うstep間隔
216
217 - logging_strategy:
218 - ログ記録の戦略
219
220 - logging_steps:
221 - ログを出力するステップ間隔
222
223 - warmup_steps:
224 - 学習率のウォームアップステップ数
225
226 - save_steps:
227 - モデルを保存するステップ間隔
228
229 - save_total_limit:
230 - 保存しておくcheckpointの数
231
232 - max_steps:
233 - トレーニングの最大ステップ数
234
235 - learning_rate:
236 - 学習率
237
238 - fp16:
239 - 16bit浮動小数点の使用設定（第8回演習を参考にすると良いです）
240
241 - bf16:
242 - BFloat16の使用設定
243
244 - group_by_length:
245 - 入力シーケンスの長さによりバッチをグループ化 (トレーニングの効率化)
246
247 - report_to:
248 - ログの送信先 ("wandb"/"tensorboard"など)
249"""
250
251training_arguments = TrainingArguments(
252 output_dir=new_model_id,
253 per_device_train_batch_size=1,
254 gradient_accumulation_steps=2,
255 optim="paged_adamw_32bit",
256 num_train_epochs=1,
257 logging_strategy="steps",
258 logging_steps=10,
259 warmup_steps=10,
260 save_steps=100,
261 save_total_limit = 2,
262 max_steps = -1,
263 learning_rate=5e-5,
264 fp16=False,
265 bf16=False,
266 seed = 3407,
267 group_by_length=True,
268 report_to="none"
269)
270
271"""
272SFTTrainer: Supervised Fine-Tuningに関する設定
273
274 - model:
275 - 読み込んだベースのモデル
276
277 - train_dataset:
278 - トレーニングに使用するデータセット
279
280 - eval_dataset:
281 - 評価に使用するデータセット
282
283 - peft_config:
284 - PEFT（Parameter-Efficient Fine-Tuning）の設定（LoRAを利用する場合に指定）
285
286 - max_seq_length:
287 - モデルに入力されるシーケンスの最大トークン長
288
289 - dataset_text_field:
290 - データセット内の学習に使うテキストを含むフィールド名
291
292 - tokenizer:
293 - モデルに対応するトークナイザー
294
295 - args:
296 - トレーニングに使用するハイパーパラメータ（TrainingArgumentsの設定を指定）
297
298 - packing:
299 - 入力シーケンスのパッキングを行うかどうかの設定 (False に設定することで、各入力を独立して扱う)
300"""
301trainer = SFTTrainer(
302 model=model,
303 train_dataset=dataset["train"],
304 peft_config=peft_config,
305 max_seq_length= 512,
306 dataset_text_field="formatted_text",
307 tokenizer=tokenizer,
308 args=training_arguments,
309 packing= False,
310)
311
312model.config.use_cache = False # キャッシュ機能を無効化
313trainer.train() # トレーニングを実行
314
315# タスクとなるデータの読み込み。
316# omnicampusの開発環境では、左にタスクのjsonlをドラッグアンドドロップしてから実行。
317import json
318datasets = []
319with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
320 item = ""
321 for line in f:
322 line = line.strip()
323 item += line
324 if item.endswith("}"):
325 datasets.append(json.loads(item))
326 item = ""
327
328# モデルによるタスクの推論。
329from tqdm import tqdm
330
331results = []
332for data in tqdm(datasets):
333
334 input = data["input"]
335
336 prompt = f"""### 指示
337 {input}
338 ### 回答
339 """
340
341 tokenized_input = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt").to(model.device)
342 attention_mask = torch.ones_like(tokenized_input)
343
344 with torch.no_grad():
345 outputs = model.generate(
346 tokenized_input,
347 attention_mask=attention_mask,
348 max_new_tokens=100,
349 do_sample=False,
350 repetition_penalty=1.2,
351 pad_token_id=tokenizer.eos_token_id
352 )[0]
353 output = tokenizer.decode(outputs[tokenized_input.size(1):], skip_special_tokens=True)
354
355 results.append({"task_id": data["task_id"], "input": input, "output": output})
356
357# こちらで生成されたjsolを提出してください。
358# 本コードではinputとeval_aspectも含んでいますが、なくても問題ありません。
359# 必須なのはtask_idとoutputとなります。
360import re
361jsonl_id = re.sub(".*/", "", new_model_id)
362with open(f"./{jsonl_id}-outputs.jsonl", 'w', encoding='utf-8') as f:
363 for result in results:
364 json.dump(result, f, ensure_ascii=False) # ensure_ascii=False for handling non-ASCII characters
365 f.write('\n')
366
367# モデルとトークナイザーをHugging Faceにアップロード
368model.push_to_hub(new_model_id, token=HF_TOKEN, private=True) # Online saving
369tokenizer.push_to_hub(new_model_id, token=HF_TOKEN, private=True) # Online saving