このモデルは、MosaicMLのllm-foundryリポジトリを使用して
Jumtra/rinna-3.6b-tune-ep5をファインチューニングしたモデルです。
Jumtra/test_data_100QAを用いてモデルの正答率を評価した
また、学習時のvalidateデータに対してのPerplexityを記載した。
1INSTRUCTION_KEY = "### 入力:"
2RESPONSE_KEY = "### 回答:"
3INTRO_BLURB = "以下はタスクを説明する指示と文脈のある文章が含まれた入力です。要求を適切に満たす回答を生成しなさい。"
4JP_PROMPT_FOR_GENERATION_FORMAT = """{intro}
5{instruction_key}
6{instruction}
7{response_key}
8""".format(
9 intro=INTRO_BLURB,
10 instruction_key=INSTRUCTION_KEY,
11 instruction="{instruction}",
12 response_key=RESPONSE_KEY,
13)
