from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch

# 베이스 모델 로드
base_model = AutoModelForCausalLM.from_pretrained(
    "beomi/open-llama-2-ko-7b",
    device_map="auto",
    torch_dtype=torch.float16
)

# LoRA 어댑터 로드
model = PeftModel.from_pretrained(base_model, "JINIIII/korean-chatbot-lora")
tokenizer = AutoTokenizer.from_pretrained("JINIIII/korean-chatbot-lora")

# 추론
prompt = "질문: 인공지능이란 무엇인가요?\n답변:"

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_length=200, temperature=0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

활용 예시

영화 리뷰 감정 분석
상품 리뷰 분석
SNS 감정 모니터링

라이선스

MIT License

작성자

나는야 진수야ㅏ

Note: 이 모델은 교육 목적으로 만들어졌습니다.