베이스 모델: google/gemma-3n-E2B-it (유효 파라미터 ~2B)
방법: QLoRA (4-bit, LoRA rank=16, alpha=16), Unsloth
데이터: beomi/KoAlpaca-v1.1a (한국어 instruction)
하드웨어: 단일 NVIDIA H100
최대 시퀀스 길이: 1024
학습 스텝: 500 steps (effective batch size 8, learning rate 2e-4, linear schedule)
LoRA 학습 파라미터: 21M / 5.46B (0.39%)
최종 train loss: 약 2.33

필요 라이브러리 설치

pip install timm pillow accelerate torch transformers

사용 예시

python

from transformers import AutoProcessor, AutoModelForImageTextToText
import torch

model_id = "ION-Communications/gemma-3n-E2B-ko"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "한국의 수도는?"}
        ],
    }
]

input_ids = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_tensors="pt",
).to(model.device)

out = model.generate(
    input_ids=input_ids,
    max_new_tokens=128,
)

print(processor.decode(out[0], skip_special_tokens=True))

한계

소규모 instruction 데이터로 짧게 추가 학습한 모델로, 사실성/안전성 보장은 제한적입니다.
베이스 Gemma 3n 라이선스(Gemma Terms of Use)를 따릅니다.