from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch

# 베이스 모델 로드
base_model = AutoModelForCausalLM.from_pretrained(
    "unsloth/gpt-oss-20b",
    torch_dtype=torch.float16,
    device_map="auto"
)

# LoRA 어댑터 로드
model = PeftModel.from_pretrained(base_model, "PAUL1122/korean-textbook-finetuned")

# 토크나이저 로드
tokenizer = AutoTokenizer.from_pretrained("PAUL1122/korean-textbook-finetuned")

추론 예시

python

messages = [
    {"role": "system", "content": "당신은 한국어로 교육 내용을 설명하는 도움이 되는 어시스턴트입니다."},
    {"role": "user", "content": "2의 거듭제곱에 대해 설명해주세요."},
]

inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt",
    return_dict=True
).to(model.device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=512,
        do_sample=True,
        temperature=0.7,
        top_p=0.9,
        pad_token_id=tokenizer.eos_token_id
    )

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

훈련 상세 정보

훈련 스텝: 30 steps
LoRA rank: 8
LoRA alpha: 16
타겟 모듈: ['q_proj', 'gate_proj', 'up_proj', 'k_proj', 'o_proj', 'v_proj', 'down_proj']
학습률: 자동 설정 (Unsloth 기본값)
배치 크기: 자동 설정
최적화: AdamW
정밀도: Mixed precision (fp16)

성능

이 모델은 한국어 교육 자료 생성에 특화되어 있으며, 다음과 같은 주제에서 우수한 성능을 보입니다:

수학 개념 설명
과학 원리 설명
교육적 내용 생성
한국어 대화

시스템 요구사항

GPU 메모리: 최소 16GB (권장 24GB+)
시스템 RAM: 최소 16GB
Python: 3.8+
주요 라이브러리: transformers, peft, torch

라이선스

이 모델은 베이스 모델의 라이선스를 따릅니다. 자세한 내용은 원본 모델의 라이선스를 확인해주세요.

인용

이 모델을 사용하신다면 다음과 같이 인용해주세요:

Korean Textbook Fine-tuned Model, based on unsloth/gpt-oss-20b
Fine-tuned on maywell/korean_textbooks dataset

제한사항

이 모델은 교육적 목적으로 설계되었습니다
일반적인 대화나 다른 도메인에서는 성능이 제한될 수 있습니다
항상 생성된 내용을 검토하고 검증하시기 바랍니다

연락처

문의사항이 있으시면 이슈를 통해 연락해주세요.

PAUL1122/korean-textbook-finetuned3

Korean Textbook Fine-tuned Model

모델 설명

모델 상세 정보

사용 방법

모델 로드

추론 예시

훈련 상세 정보

성능

시스템 요구사항

라이선스

인용

제한사항

관련 링크

연락처

PAUL1122/
korean-textbook-finetuned3