Views
No views yet
| 항목 | 값 |
|---|---|
| Architecture | BertForMaskedLM |
| Hidden Size | 256 |
| Layers | 4 |
| Attention Heads | 4 |
| Intermediate Size | 1024 |
| Vocab Size | 32,000 |
| Max Length | 256 tokens |
| Parameters | 11,515,904 |
| Total Steps | 50,000 |
| Split | Loss | Perplexity |
|---|---|---|
| Eval | 3.6679 | 39.17 |
| 코퍼스 | 크기 | 설명 |
|---|---|---|
| injection_corpus.txt | 65MB | 프롬프트 인젝션 데이터 |
| external_all.txt | 9.6MB | KoSBi v2 + K-MHaS + BEEP! |
| all_combined.txt | 15MB | 전체 통합 코퍼스 |