Views
No views yet
transformersライブラリをインストールする必要がありますpip install -U transformerstransformersライブラリを使用してモデルを読み込むことができます1from transformers import AutoModelForCausalLM, AutoTokenizer
2
3model_name = "2121-8/TinyLlama-v1.0"
4tokenizer = AutoTokenizer.from_pretrained(model_name)
5model = AutoModel.from_pretrained(model_name)1input_text = "西郷隆盛は明治時代の"
2input_ids = tokenizer.encode(input_text, return_tensors='pt')
3
4# テキストを生成
5outputs = model.generate(input_ids, max_length=50, num_return_sequences=1)
6generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
7
8print(generated_text)augmxnt/shisa-pretrain-en-ja-v1データセットを使用して学習されました。
また、このモデルの開発にあたり、Axolotl のサポートとツールを利用しました。
NLP コミュニティへの貢献に感謝します。