from transformers import AutoTokenizer, pipeline
from optimum.onnxruntime import ORTModelForSeq2SeqLM

# Hugging Face Hub에 있는 모델 이름
model_name = "Pokqok/m2m100-onnx-ko-to-ja-zh-k-tourism"

# 토크나이저와 ONNX 모델 로드
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = ORTModelForSeq2SeqLM.from_pretrained(model_name)

# 번역 파이프라인 생성
translator = pipeline(
    "translation",
    model=model,
    tokenizer=tokenizer
)

# 번역할 텍스트
korean_text = "경복궁 야간개장 입장권은 어디서 구매하나요?"

# 한국어 -> 일본어 번역
result_ja = translator(
    korean_text,
    src_lang="ko",
    tgt_lang="ja"
)
print(f"Korean to Japanese: {result_ja[0]['translation_text']}")

# 한국어 -> 중국어 번역
result_zh = translator(
    korean_text,
    src_lang="ko",
    tgt_lang="zh"
)
print(f"Korean to Chinese: {result_zh[0]['translation_text']}")

# 한국어 -> 영어 번역
result_en = translator(
    korean_text,
    src_lang="ko",
    tgt_lang="en"
)
print(f"Korean to English: {result_en[0]['translation_text']}")

# 일본어 -> 한국어 번역
japanese_text = "景福宮の夜間開場入場券はどこで購入できますか。"
result_ko_from_ja = translator(
    japanese_text,
    src_lang="ja",
    tgt_lang="ko"
)
print(f"Japanese to Korean: {result_ko_from_ja[0]['translation_text']}")

# --- 출력 결과 예시 ---
# Korean to Japanese: 景福宮の夜間開場入場券はどこで購入できますか。
# Korean to Chinese: 景福宫夜间开放门票在哪里购买?
# Korean to English: Where can I buy tickets for the Gyeongbok Palace night opening?
# Japanese to Korean: 경복궁 야간 개장 입장권은 어디에서 구입합니까?

Model Details

Fine-tuning

Base Model: facebook/m2m100_1.2B
Training Data: 자체적으로 수집 및 정제한 한국 관광 관련 문장 쌍 데이터셋 (K-Tourism Corpus)으로 파인튜닝을 진행했습니다. 이 데이터셋에는 관광지 정보, 음식, 행사 등 다양한 카테고리의 내용이 포함되어 있습니다.
Objective: 일반적인 번역 모델이 어색하게 번역할 수 있는 한국 관광 관련 고유명사(지명, 음식 이름 등)에 대한 3개 언어 번역 품질을 높이는 것을 목표로 했습니다.

ONNX Conversion

Performance: PyTorch 모델을 ONNX로 변환하여 양자화(quantization) 및 최적화를 거쳤습니다. 이를 통해 CPU 환경에서도 더 빠른 추론 속도를 제공하며, 이는 실시간 번역 API 서비스에 큰 이점입니다.
Compatibility: ONNX Runtime은 다양한 하드웨어 및 플랫폼을 지원하여 모델 배포의 유연성을 높여줍니다.

Deployment

이 ONNX 모델은 FastAPI와 Docker를 사용하여 API 서버로 쉽게 배포할 수 있도록 설계되었습니다. 자세한 배포 방법은 관련 프로젝트의 Dockerfile과 app.py를 참고하세요.

Docker Hub Image

Repository: