Views
No views yet
| 항목 | 값 |
|---|---|
| 베이스 모델 | hwp0725/roberta-korean-hanja-stdict |
| 파라미터 수 | 345.1M |
| 학습 방식 | MLM (Masked Language Modeling) |
| 에포크 | 3 |
| 모델 | 설명 |
|---|---|
| hwp0725/roberta-korean-hanja-stdict | vocab 확장 베이스 모델 (MLM 학습 전) |
| hwp0725/roberta-korean-hanja-stdict-mlm | MLM 파인튜닝 완료 모델 (현재 모델) |
1from transformers import AutoTokenizer, AutoModelForMaskedLM, pipeline
2
3tokenizer = AutoTokenizer.from_pretrained("hwp0725/roberta-korean-hanja-stdict-mlm")
4model = AutoModelForMaskedLM.from_pretrained("hwp0725/roberta-korean-hanja-stdict-mlm")
5
6fill_mask = pipeline("fill-mask", model=model, tokenizer=tokenizer)
7result = fill_mask("孔子曰：學而時習之，不亦[MASK]乎")
8print(result)| 항목 | 값 |
|---|---|
| Learning rate | 2e-05 |
| Train batch size | 16 |
| Seed | 42 |
| Optimizer | AdamW (betas=(0.9,0.999), epsilon=1e-08) |
| LR scheduler | linear (warmup 500 steps) |
| Epochs | 3 |
| Mixed precision | Native AMP |