pip uninstall unsloth -y
pip install --upgrade --no-cache-dir "unsloth[colab-new] @ git+
https://github.com/unslothai/unsloth.git"
pip install --upgrade torch
pip install --upgrade xformers
pip install ipywidgets --upgrade
LLM-jpが公開しているIchikara Instruchitonをダウンロードし、"Distribution20241221_all"というフォルダ内の"ichikara-instruction-003-001-1.json"というファイルをGolab上にアップロードし、絶対パスをコピーし指定する
自身のHuggin Face Tokenを取得し、Write権限を付与する
”llm-jp/llm-jp-3-13b”を4bit量子化のqLoRA設定でロードする
SFT用のモデルを用意する
#データセットの読み込み
ELYZA-tasks-100-TVを事前にダウンロードし、”elyza-tasks-100-TV_0.jsonl”というファイルをColabにアップロードし、絶対パスを指定する
This llama model was trained 2x faster with
Unsloth and Huggingface's TRL library.
