This llama model was trained 2x faster with
Unsloth and Huggingface's TRL library.
<推論用コード>
本コードはunslothで学習したLoRAのアダプタを用いてELYZA-tasks-100-TVの出力を得るためのコードです。 Hugging Faceにアダプタをアップロードしておくことが前提となります。このコードはunslothライブラリを用いてモデルを読み込み、推論するためのコードとなります。
このコードで生成されたjson1ファイルは課題の成果物になります。
※本コードはGoogle Colabでの動作を想定しており、Omnicampusでの動作を想定しておりません。