🧬 Fine-tuned E5-small for Korean Drug Product Semantic Embedding

📘 Model Overview

• GitHub Repository: https://github.com/ryukato/fine-tuned-e5-drugmodel

🧩 Base Model Selection Rationale

1. 다국어 문장 표현력
   • 영어뿐 아니라 한국어, 일본어, 중국어, 독일어 등 다양한 언어에서 균형 잡힌 의미 표현 성능을 보여줍니다.
   • 의약품 데이터는 외래어·학술용어가 혼합된 형태가 많기 때문에 multilingual encoder가 유리합니다.
2. 효율적 성능 대비 파라미터 크기 (Small Variant)
   • small 모델은 약 33M 파라미터로, M1/M2 맥북 등 로컬 환경에서도 안정적으로 fine-tuning 가능했습니다.
   • FP16 또는 bfloat16 지원으로 GPU·MPS 환경에서도 효율적인 연산을 제공합니다.
3. 문장 단위 의미 검색(semantic retrieval)에 최적화
   • E5 모델은 “문장 단위 의미 임베딩(Sentence Embedding)”을 위해 학습되어 있어,
     단순 질의("기침약", "열 내리는 약")와 제품명("판콜에이", "타이레놀") 간 의미 매칭에 뛰어난 성능을 보입니다.
4. Sentence-Transformers와 완벽한 호환성
   • SentenceTransformer 인터페이스와 100% 호환되어, PyTorch 기반 pipeline 통합이 용이했습니다.

🔹 Step 1: Drug Type Semantic Alignment

• 데이터셋: drug_type_def_list.csv
• 목표: "해열제" → "체온을 낮추는 약" 과 같은 개념 매핑 학습
• 모델 결과: /model/fine_tuned_e5_small_drugtype

🔹 Step 2: DUR Type Semantic Alignment

• 데이터셋: drug_dur_type_similarity_train.csv
• 목표: "임부금기", "노인주의", "병용금기" 등 DUR 타입과 전문적 설명 간 의미 매핑 학습
• 모델 결과: /model/fine_tuned_e5_small_drugdurtype

🔹 Step 3: Drug Product Semantic Alignment

• 데이터셋: drug_product_similarity_train.csv (약 3,000건 샘플)
• 목표: "판콜에이내복액" 같은 실제 제품과 "열을 내리는 약" 같은 질의 간 의미 매칭 강화
• 모델 결과: /model/fine_tuned_e5_small_drugproduct_accum

🔹 Experimental: Drug Ingredient + Product Type Fine-tuning

⚙️ 적용 내용

📋 관찰 내용

• 모델은 안정적으로 수렴하였으나, 문장 패턴의 반복성과 Positive-only 데이터 구성으로 인해
  효능군 간 의미적 경계가 제대로 형성되지 않았음.
• 전체 유사도 분포가 과도하게 높게 수렴하여, 의미보다 문체 패턴을 중심으로 학습된 것으로 관찰됨.
• 결론적으로 본 모델은 성분-제품유형 결합 학습이 의미 검색 품질 개선에 실질적 이점을 제공하지 않음을 확인하였으며, 현재 파이프라인에는 적용하지 않기로 결정함.

🧠 Use Case Example

⚙️ Training Environment

📅 Release Info

• Author: @Yoonyoul
• Base Model: intfloat/multilingual-e5-small
• Fine-tuned Model: Yoonyoul/fine-tuned-e5-small-drugproduct
• Repository: https://github.com/ryukato/fine-tuned-e5-drugmodel
• Last Updated: 2025-10-27