import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

torch_dtype = torch.bfloat16 if torch.cuda.is_available() and hasattr(torch.cuda, "is_bf16_supported") and torch.cuda.is_bf16_supported() else torch.float16
model = AutoModelForCausalLM.from_pretrained("Calvin-Xu/FLFL", device_map="auto", torch_dtype=torch_dtype)
tokenizer = AutoTokenizer.from_pretrained("Calvin-Xu/FLFL")

prompt_template = """[INST] {instruction}\n{input}\n[/INST]\n"""
sentence = "国境の長いトンネルを抜けると雪国であった"

inputs = tokenizer(prompt_template.format(instruction="次の文に正確に振り仮名を付けてください", input=sentence), return_tensors="pt").to(model.device)
with torch.no_grad():
    tokens = model.generate(**inputs, max_new_tokens=512, do_sample=False)

output = tokenizer.decode(tokens[0], skip_special_tokens=False)
print(output)
# <ruby>国境<rt>くにざかい</rt></ruby>の<ruby>長<rt>なが</rt></ruby>いトンネルを<ruby>抜<rt>ぬ</rt></ruby>けると<ruby>雪国<rt>ゆきぐに</rt></ruby>であった<|endoftext|>

Finetuned from

stockmark/gpt-neox-japanese-1.4b

Training Dataset

Trained for slightly over one epoch on Calvin-Xu/FLFL-Aozora-Speech-Train

Training Settings

HuggingFace Trainer, PEFT (r=64, alpha=128)

Control tokens added: [INST], [/INST], <ruby>, </ruby>, <rt>, </rt>

Output Examples

[INST] 次の文に正確に振り仮名を付けてください

国境の長いトンネルを抜けると雪国であった

[/INST]

<ruby>国境<rt>くにざかい</rt></ruby>の<ruby>長<rt>なが</rt></ruby>いトンネルを<ruby>抜<rt>ぬ</rt></ruby>けると<ruby>雪国<rt>ゆきぐに</rt></ruby>であった<|endoftext|>

鰤ぶりの照てり焼やき、八宝菜はっぽうさい、ハンバーグ。<|endoftext|>
主菜しゅさい関連かんれんは、見事みごとなまでの和洋わよう中ちゅう折衷せっちゅう。<|endoftext|>
別べつの者ものの目めを通つうじて歴史れきしを垣間見かいまみられるとは、想像そうぞうを超こえる体験たいけんに違ちがいない!<|endoftext|>
止とめるなら、その大本おおもとを根絶ねだやしにしないと効果こうかがないわ<|endoftext|>
不人気ふにんき銘柄かぶでこれ以上いじょう価値かちが下さがりようないから、ほとんど底値そこねだ<|endoftext|>
時間じかんの澱おりの中なかに沈殿ちんたいしていたようだ。<|endoftext|>
「張ちょう飛ひだっ」名なを聞きいただけでも、諸しょ将しょうは胆きもを冷ひやした。士卒しそつたちは皆みな、甲こうや下着したぎを火ひに乾ほしていたところなので、周章狼狽しゅうしょうろうばい、赤裸あかはだかのままで散乱さんらんするもある。<|endoftext|>
貧困ひんこんと差別さべつを放置ほうちしたディアナを祝福しゅくふくする気きにはなれなかったから。女王じょおうを妄信もうしんし、訪おとずれるはずのない救すくいを待まち続つづける母ははに辟易へきえきしていたから。<|endoftext|>

RichardErkhov/Calvin-Xu_-_FLFL-4bits

Original model description:

FLFL フリフリ

Finetuned from

Training Dataset

Training Settings

Output Examples

RichardErkhov/
Calvin-Xu_-_FLFL-4bits