Views
No views yet
pip install -U transformers>=4.48.0pip install fugashi unidic_litepip install flash-attn --no-build-isolation1import torch
2from transformers import AutoModelForMaskedLM, AutoTokenizer, pipeline
3
4model = AutoModelForMaskedLM.from_pretrained("makiart/jp-ModernBert-base-preview", torch_dtype=torch.bfloat16)
5tokenizer = AutoTokenizer.from_pretrained("makiart/jp-ModernBert-base-preview")
6fill_mask = pipeline("fill-mask", model=model, tokenizer=tokenizer)
7
8results = fill_mask("[MASK]という言葉を無限定に使ってはいけない。")
9
10for result in results:
11 print(result)
12
13# {'score': 0.00897216796875, 'token': 13588, 'token_str': '好き', 'sequence': '好き と いう 言葉 を 無 限定 に 使っ て は いけ ない 。'}
14# {'score': 0.0074462890625, 'token': 384, 'token_str': '、', 'sequence': '、 と いう 言葉 を 無 限定 に 使っ て は いけ ない 。'}
15# {'score': 0.00677490234375, 'token': 2278, 'token_str': '愛', 'sequence': '愛 と いう 言葉 を 無 限定 に 使っ て は いけ ない 。'}
16# {'score': 0.006561279296875, 'token': 13875, 'token_str': '安全', 'sequence': '安全 と いう 言葉 を 無 限定 に 使っ て は いけ ない 。'}
17# {'score': 0.006378173828125, 'token': 17498, 'token_str': '正義', 'sequence': '正義 と いう 言葉 を 無 限定 に 使っ て は いけ ない 。'}