You can deploy this model and start earning money today!

yasunai/
llm-jp-3-13b-it_lora

Name: llm-jp-3-13b-it_lora
Availability: InStock

safetensors

unsloth

Views

No views yet

LLM-JP-3-13B Instruction Tuning LoRA

このリポジトリには LLM-JP-3-13B モデルの instruction tuning 用 LoRA ウェイトが含まれています。

モデル詳細

ベースモデル: llm-jp/llm-jp-3-13b 学習データ: Databricks Dolly 15k 日本語版 パラメータ設定:

LoRA rank: 32
Alpha: 32
学習率: 2e-4
バッチサイズ: 2
勾配累積ステップ: 4
エポック数: 1
コンテキスト長: 512トークン

学習設定

以下のモジュールに対してLoRAを適用:

Query Projection (q_proj)
Key Projection (k_proj)
Value Projection (v_proj)
Output Projection (o_proj)
Gate Projection (gate_proj)
Up Projection (up_proj)
Down Projection (down_proj)

使用方法

python

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

# ベースモデルのロード
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3-13b")
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3-13b")

# LoRAの適用
model = PeftModel.from_pretrained(model, "path/to/lora/weights")

ライセンス

このLoRAウェイトはベースモデルのライセンスを継承します。

制限事項

商用利用に関してはベースモデルのライセンスに従ってください
学習データの制約により、出力には一定のバイアスが含まれる可能性があります

Citations: [1] https://ppl-ai-file-upload.s3.amazonaws.com/web/direct-files/14100897/a2399521-6d18-4ec6-a90f-e429acf83945/LoRA_template_unsloth_20241127-2.ipynb

base_model: llm-jp/llm-jp-3-13b tags:

text-generation-inference
transformers
unsloth
llama
trl license: apache-2.0 language:
en

Uploaded model

Developed by: yasunai
License: apache-2.0
Finetuned from model : llm-jp/llm-jp-3-13b

This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.

yasunai/llm-jp-3-13b-it_lora