from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = 'MDDDDR/Llama-3.2-1B-Instruct-FFT-ko-jp'
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id,
                                             device_map="cuda:0",
                                             torch_dtype=torch.bfloat16)

# Jp to Ko
# instruction = '한국어로 바꿔 주시겠어요?'
# input_ = 'ICT産業生産額が2009年340兆9000億ウォンから昨年497兆3000億ウォン、SW産業生産額が30兆6000億ウォンから55兆6000億ウォンに成長するのに直接・間接的に寄与したと評価される。'
# model answer : ICT 산업 생산액이 2009년 340조 9,000억원에서 작년 497조 3,000억원, SW산업 생산액이 30조 6,000억원에서 55조 6,000억원으로 성장하는 데 직접·간접적으로 기여한 것으로 평가된다.
# DeepL : ICT 산업 생산액이 2009년 340조9000억원에서 지난해 497조3000억원, SW 산업 생산액이 30조6000억원에서 55조6000억원으로 성장하는데 직간접적으로 기여한 것으로 평가받고 있다.

# Ko to Jp
instruction = '이 문장을 일본어로 쓰면 어떻게 되는지 알려주세요.'
input_ = '하지만 증상이 나아지지 않자 지난 13일 코로나19 진단 검사를 받았고 뒤늦게 감염 사실이 드러났다.'

messages = [
  {
    "role":"user",
    "content":"아래는 문제를 설명하는 지시사항과, 구체적인 답변을 방식을 요구하는 입력이 함께 있는 문장입니다. 이 요청에 대해 적절하게 답변해주세요.\n###입력:{input}\n###지시사항:{instruction}".format(instruction=instruction, input=input_)
  }
]
with torch.no_grad():
  prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=False)
  inputs = tokenizer(prompt, return_tensors="pt", padding=False).to('cuda')
  outputs = model.generate(**inputs, 
                           use_cache=False, 
                           max_length=256, 
                           top_p=0.9,
                           temperature=0.7, 
                           repetition_penalty=1.0,
                           pad_token_id=tokenizer.pad_token_id)

output_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
final_output = output_text.split('답변:')[-1]
print(final_output)
# しかし、症状が悪くなかったが、13日に新型コロナウイルス感染症の診断検査を受けて遅れて感染の事実が明らかになった。

Model evaluation

model_name	BLEU(Ko→Jp)	BLEU(Jp→Ko)	BLEU(total)	pred_label_sim
MDDDDR/Llama-3.2-1B-Instruct-FFT-ko-jp	0.6959	0.7144	0.7052	0.9166
meta-llama/Llama-3.2-1B-Instruct	0.0046	0.0531	0.0311	0.4139
meta-llama/Llama-3.2-3B-Instruct	0.0188	0.1170	0.0679	0.5484
google/gemma-2-2b-it	0.0326	0.0962	0.0644	0.4856
Qwen/Qwen2.5-3B-Instruct	0.0860	0.1608	0.1319	0.5600

평가는 각각 500건씩 하여 총 1000건의 데이터 사용
pred_label_sim의 경우 높을수록 예측 문장(model_answer)과 정답 문장(label)의 유사도가 높다고 측정되는 것
- 유사도 측정 사용 모델 : MDDDDR/klue-roberta-base-klue-sts-mt-30000

Hardware

A100 40GB x 1
Training Time : 1 hour 40 minutes