Unsloth 패키지를 사용하여 LoRA 진행하였습니다.
SFT Trainer를 통해 훈련을 진행
활용 데이터
- q_a_korean_futsal
  - 말투 학습을 위해 '해요'체로 변환하고 인삿말을 넣어 모델 컨셉을 유지하였습니다.
Environment : Colab 환경에서 진행하였으며 L4 GPU를 사용하였습니다.

Model Load

python
1 2#!pip install transformers==4.40.0 accelerate 3import os 4import torch 5from transformers import AutoTokenizer, AutoModelForCausalLM 6 7model_id = 'Dongwookss/small_fut_final' 8 9tokenizer = AutoTokenizer.from_pretrained(model_id) 10model = AutoModelForCausalLM.from_pretrained( 11 model_id, 12 torch_dtype=torch.bfloat16, 13 device_map="auto", 14) 15model.eval()

Query

python

from transformers import TextStreamer
PROMPT = '''Below is an instruction that describes a task. Write a response that appropriately completes the request.
제시하는 context에서만 대답하고 context에 없는 내용은 모르겠다고 대답해'''

messages = [
    {"role": "system", "content": f"{PROMPT}"},
    {"role": "user", "content": f"{instruction}"}
    ]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

text_streamer = TextStreamer(tokenizer)
_ = model.generate(
    input_ids,
    max_new_tokens=4096,
    eos_token_id=terminators,
    do_sample=True,
    streamer = text_streamer,
    temperature=0.6,
    top_p=0.9,
    repetition_penalty = 1.1
)
  

Dongwookss/small_fut_final

Model Name : 풋풋이(futfut)

Model Concept

Serving by Fast API

Summary:

Dongwookss/
small_fut_final