Quantization made by Richard Erkhov.
AIFT-42dot_LLM-PLM-1.3B-ao-instruct-all-v1.0 - bnb 8bits
Original model description:
license: cc-by-nc-4.0
AIFT-42dot_LLM-PLM-1.3B-ao-instruct-all-v1.0
베이스 모델 : 42dot/42dot_LLM-PLM-1.3B
학습 데이터 : 자체 제작한 Open Orca 스타일 데이터셋 약 48,000건 (중복 제거 및 데이터 분포 조정)
학습 방법 : Full finetuning
epoch : 3
ko-lm-evaluation-harness(5-shot)
| kobest_boolq | kobest_copa | kobest_hellaswag | pawsx_ko |
|---|
| 0.5220797720797721 | 0.72 | 0.458 | 0.563 |
Framework versions
- Transformers 4.36.2
- Pytorch 2.1.2+cu121
- Datasets 2.0.0
- Tokenizers 0.15.0
