gemma2のファインチューンモデルです。松尾研大規模言語モデル講座2024のコンペ用の提出モデルとして作成しました。 基本的に、同講座がサンプルとして提供していたpeftチューニングを行い、そこに簡単なシステムプロンプトを挿入し推論したものになります。

このレポジトリにあるmodel_inference.ipynbのセルをすべて実行いただければ再現ができると思われます。ただし、セル3にHFのトークンを入力し、ディレクトリに評価用データセットを入れておく必要があることに留意してください。 生成結果のjsonの名称はデフォルトでは”gemma2-9b-finetuned-results.json"となります。

gemma2に準拠します。