You can deploy this model and start earning money today!

Tatujin/
llm-jp-100-TV

Name: llm-jp-100-TV
Availability: InStock

Views

No views yet

LoRA Fine-Tuned Model (llm-jp-3-13b)

モデル概要

このモデルは、LoRA (Low-Rank Adaptation) を使用して微調整された自然言語処理 (NLP) モデルです。ベースモデルは llm-jp/llm-jp-3-13b であり、LoRAによりパラメータ効率を大幅に向上させ、計算資源を抑えつつ、大規模言語モデルを特定のタスク向けに最適化しています。

アーキテクチャ

ベースモデル: llm-jp/llm-jp-3-13b (llm-jp-3 13B)
微調整技術: LoRA (Low-Rank Adaptation)
適用タスク: 指示応答 (Instruction Tuning)
著者: Yohei Takata
ライセンス: MIT

使用目的

指示応答タスクでの自然言語理解と生成
計算資源が限られた環境での効率的な推論
学習済みモデルのカスタマイズによる高精度な出力

使用制限

学習データ: ichikara-instruction データセットで微調整されています。そのため、学習データに含まれるドメインとスタイルにモデルの性能は依存します。
バイアス: 学習データ由来のバイアスが含まれる可能性があります。
タスク範囲: 指示応答タスクに最適化されているため、それ以外のタスクでは性能が低下する可能性があります。

使用方法

LoRAで微調整されたモデルの使用例を以下に示します。 transformers と peft ライブラリが必要になります。

python

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel, PeftConfig
import torch

# モデルとトークナイザーの読み込み
tokenizer = AutoTokenizer.from_pretrained("path/to/your/lora-model")
config = PeftConfig.from_pretrained("path/to/your/lora-model")
model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path)
model = PeftModel.from_pretrained(model, "path/to/your/lora-model")

# 推論例
text = "ここに入力テキストを記述します。"
inputs = tokenizer(text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=2400)
output = tokenizer.decode(outputs[0], skip_special_tokens=True)

# 結果表示
print("Output:", output)
content_copy
Use code with caution.
Yaml
学習データ

データソース: ichikara-instruction データセット (JSON形式)

https://liat-aip.sakura.ne.jp/wp/llmのための日本語インストラクションデータ作成/llmのための日本語インストラクションデータ-公開/

関根聡, 安藤まや, 後藤美知子, 鈴木久美, 河原大輔, 井之上直也, 乾健太郎. ichikara-instruction: LLMのための日本語インストラクションデータの構築. 言語処理学会第30回年次大会(2024)

前処理:

プロンプト形式へのフォーマット:

### 指示
{入力テキスト}
### 回答
{出力テキスト}
content_copy
Use code with caution.

トークナイザによるトークナイズ

データサイズ: 1729件 (学習データ)

学習手順

LoRAの設定詳細:
Adapter Rank: 16
LoRA Alpha: 32
LoRA Dropout: 0.05
バッチサイズ: 1
勾配累積ステップ: 2
学習率: 5e-5
エポック数: 1

LoRAはHugging Faceのpeftライブラリを使用し、元モデルのパラメータを固定し、低ランク行列を学習することで効率的に微調整します。

コード例:

from peft import get_peft_model, LoraConfig, TaskType
from transformers import AutoModelForCausalLM

base_model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3-13b")
lora_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM, 
    r=16, 
    lora_alpha=32, 
    lora_dropout=0.05, 
    target_modules=modules # モデルの該当箇所にLoRAを適用
)
model = get_peft_model(base_model, lora_config)
model.print_trainable_parameters()
content_copy
Use code with caution.
Python

使用ライブラリ:

transformers==4.47.0
bitsandbytes==0.45.0
accelerate==1.2.1
datasets==3.2.0
peft==0.14.0
trl==0.12.2
content_copy
Use code with caution.
評価結果

Perplexity (PPL): 未提供

Accuracy: 未提供 (タスクと評価指標により異なります)

BLEU/ROUGE: 未提供 (タスクと評価指標により異なります)

注意事項
モデルの性能はタスクやデータセットによって異なるため、必ず評価データで事前に検証してください。

バイアスと制限事項
バイアス: ichikara-instructionデータセットに含まれるバイアスを継承している可能性があります。
倫理的考慮: 生成されるテキストが不適切な場合があるので注意が必要です。
ドメイン適合性: 学習データ以外のドメインやタスクでは性能が低下する可能性があります。
著作権とライセンス
ライセンス: MIT License

Tatujin/llm-jp-100-TV