Views
No views yet
1!pip uninstall unsloth -y
2!pip install --upgrade --no-cache-dir "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
3
4# Google Colab のデフォルトで入っているパッケージをアップグレード（Moriyasu さんありがとうございます）
5
6!pip install --upgrade torch
7!pip install --upgrade xformers
8
9import torch
10if torch.cuda.get_device_capability()[0] >= 8:
11 !pip install --no-deps packaging ninja einops "flash-attn>=2.6.3"1HF_TOKEN = "your token" #@param {type:"string"}
2
3# あるいは Google Colab シークレットを使う場合、左のサイドバーより🔑マークをクリック
4# HF_TOKEN という名前で Value に Hugging Face Token を入れてください。
5# ノートブックからのアクセスのトグルをオンにし、下記の二行のコードのコメントアウトを外してください。
6
7# from google.colab import userdata
8# HF_TOKEN=userdata.get('HF_TOKEN')1from unsloth import FastLanguageModel
2import torch
3#max_seq_length = 512 # unslothではRoPEをサポートしているのでコンテキスト長は自由に設定可能
4max_seq_length = 1024 # unslothではRoPEをサポートしているのでコンテキスト長は自由に設定可能
5dtype = None # Noneにしておけば自動で設定
6load_in_4bit = True # 今回は13Bモデルを扱うためTrue
7
8model_id = "llm-jp/llm-jp-3-13b"
9new_model_id = "llm-jp-3-13b-it" #Fine-Tuningしたモデルにつけたい名前、it: Instruction Tuning
10# FastLanguageModel インスタンスを作成
11model, tokenizer = FastLanguageModel.from_pretrained(
12 model_name=model_id,
13 dtype=dtype,
14 load_in_4bit=load_in_4bit,
15 trust_remote_code=True,
16)
17
18# SFT用のモデルを用意
19model = FastLanguageModel.get_peft_model(
20 model,
21 r = 32,
22 target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
23 "gate_proj", "up_proj", "down_proj",],
24 lora_alpha = 32,
25 lora_dropout = 0.05,
26 bias = "none",
27 use_gradient_checkpointing = "unsloth",
28 random_state = 3407,
29 use_rslora = False,
30 loftq_config = None,
31 max_seq_length = max_seq_length,
32)1from datasets import load_dataset
2
3dataset = load_dataset("elyza/ELYZA-tasks-100")
4# パスの指定にご注意ください。アップロードしたファイルを右クリックし、「パスをコピー」をクリック、上記の data_files と合致していることをご確認ください。Omnicampus のディレクトリ構造とは異なるかもしれません。1prompt = """### 指示
2{}
3### 回答
4{}"""
5
6"""
7formatting_prompts_func: 各データをプロンプトに合わせた形式に合わせる
8"""
9EOS_TOKEN = tokenizer.eos_token # トークナイザーのEOSトークン（文末トークン）
10def formatting_prompts_func(examples):
11 input = examples["input"] # 入力データ
12 output = examples["output"] # 出力データ
13 text = prompt.format(input, output) + EOS_TOKEN # プロンプトの作成
14 return { "formatted_text" : text, } # 新しいフィールド "formatted_text" を返す
15pass
16
17# # 各データにフォーマットを適用
18
19dataset = dataset.map(
20 formatting_prompts_func,
21 num_proc= 4, # 並列処理数を指定
22)
23
24dataset1"""
2training_arguments: 学習の設定
3
4 - output_dir:
5 -トレーニング後のモデルを保存するディレクトリ
6
7 - per_device_train_batch_size:
8 - デバイスごとのトレーニングバッチサイズ
9
10 - per_device_eval_batch_size:
11 - デバイスごとの評価バッチサイズ
12
13 - gradient_accumulation_steps:
14 - 勾配を更新する前にステップを積み重ねる回数
15
16 - optim:
17 - オプティマイザの設定
18
19 - num_train_epochs:
20 - エポック数
21
22 - eval_strategy:
23 - 評価の戦略 ("no"/"steps"/"epoch")
24
25 - eval_steps:
26 - eval_strategyが"steps"のとき、評価を行うstep間隔
27
28 - logging_strategy:
29 - ログ記録の戦略
30
31 - logging_steps:
32 - ログを出力するステップ間隔
33
34 - warmup_steps:
35 - 学習率のウォームアップステップ数
36
37 - save_steps:
38 - モデルを保存するステップ間隔
39
40 - save_total_limit:
41 - 保存しておくcheckpointの数
42
43 - max_steps:
44 - トレーニングの最大ステップ数
45
46 - learning_rate:
47 - 学習率
48
49 - fp16:
50 - 16bit浮動小数点の使用設定（第8回演習を参考にすると良いです）
51
52 - bf16:
53 - BFloat16の使用設定
54
55 - group_by_length:
56 - 入力シーケンスの長さによりバッチをグループ化 (トレーニングの効率化)
57
58 - report_to:
59 - ログの送信先 ("wandb"/"tensorboard"など)
60"""
61from trl import SFTTrainer
62from transformers import TrainingArguments
63from unsloth import is_bfloat16_supported
64
65trainer = SFTTrainer(
66 model = model,
67 tokenizer = tokenizer,
68 train_dataset=dataset["test"],
69 max_seq_length = max_seq_length,
70 dataset_text_field="formatted_text",
71 packing = False,
72 args = TrainingArguments(
73 per_device_train_batch_size = 2,
74 gradient_accumulation_steps = 4,
75 num_train_epochs = 1,
76 logging_steps = 10,
77 warmup_steps = 10,
78 save_steps=100,
79 save_total_limit=2,
80 #max_steps=-1,
81 max_steps=150,
82 learning_rate = 2e-4,
83 fp16 = not is_bfloat16_supported(),
84 bf16 = is_bfloat16_supported(),
85 group_by_length=True,
86 seed = 3407,
87 output_dir = "outputs",
88 report_to = "none",
89 ),
90)trainer_stats = trainer.train()1import json
2datasets = []
3with open("/content//elyza-tasks-100-TV_0.jsonl", "r") as f:
4 item = ""
5 for line in f:
6 line = line.strip()
7 item += line
8 if item.endswith("}"):
9 datasets.append(json.loads(item))
10 item = ""1from tqdm import tqdm
2
3# 推論するためにモデルのモードを変更
4
5FastLanguageModel.for_inference(model)
6
7results = []
8for dt in tqdm(datasets):
9 input = dt["input"]
10
11 prompt = f"""### 指示\n{input}\n### 回答\n"""
12
13 inputs = tokenizer([prompt], return_tensors = "pt").to(model.device)
14
15
16 outputs = model.generate(**inputs, max_new_tokens = 1024, use_cache = True, do_sample=False, repetition_penalty=1.2)
17 prediction = tokenizer.decode(outputs[0], skip_special_tokens=True).split('\n### 回答')[-1]
18
19 results.append({"task_id": dt["task_id"], "input": input, "output": prediction})1with open(f"{new_model_id}_output.jsonl", 'w', encoding='utf-8') as f:
2 for result in results:
3 json.dump(result, f, ensure_ascii=False)
4 f.write('\n')1model.push_to_hub_merged(
2 new_model_id+"_lora",
3 tokenizer=tokenizer,
4 save_method="lora",
5 token=HF_TOKEN,
6 private=True
7)