항목	값
아키텍처	`SmolLM3ForCausalLM`
파라미터	약 10B (dense)
hidden / layers	4096 / 44
heads	32 Q / 8 KV (GQA), head_dim 128
intermediate	13312
vocab	160,000 (자체 학습 토크나이저)
컨텍스트	4096
dtype	bfloat16
기타	qk_norm, z-loss, partial RoPE(4레이어마다 생략)

학습

프레임워크: nanotron
옵티마이저: 하이브리드 Muon(2D 행렬) + AdamW(임베딩/norm)
LR: WSD 스케줄, stable 2e-4 (이 체크포인트는 stable 구간)
global batch: 2.1M 토큰 (512 × 4096)
학습량: 약 42B 토큰

사용법

python

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
m = "izlley2/LLM0to1-10b-step20000"
tok = AutoTokenizer.from_pretrained(m)
model = AutoModelForCausalLM.from_pretrained(m, dtype=torch.bfloat16, device_map="auto")
ids = tok("대한민국의 수도는", return_tensors="pt").to(model.device)
print(tok.decode(model.generate(**ids, max_new_tokens=32)[0], skip_special_tokens=True))

이어서 사전학습하려면 원본 nanotron 체크포인트(옵티마이저 상태 포함)를 사용하세요: izlley2/LLM0to1-10b-step20000-nanotron

주의

안전성 정렬(alignment)이 되어 있지 않습니다.
학습 데이터에 이용약관이 있는 국내 코퍼스가 포함되어 있어 연구 목적으로 제한합니다. 상업적 이용 전 확인이 필요합니다.