BGE-m3-ko Embedding Inversion (Korean vec2text)

⚠️ 후속 모델(V3)이 나왔습니다 — 그쪽을 권장합니다. 이 모델(V1)은 임베더가 dragonkue/BGE-m3-ko이고 64토큰·위키 단독으로 학습했습니다. V3는 표준 BAAI/bge-m3 임베더, 최대 256토큰, 6개 도메인으로 새로 학습했으며, 동일 조건 비교에서 V1보다 전 지표가 약 2배 우수합니다(word-F1 0.46 vs 0.23, cos 0.94 vs 0.85). 임베더가 다르므로 두 모델은 호환되지 않습니다.

• inversion 모델: 임베딩 → 첫 추측 (terriapurplewave/bge-m3-ko-inversion)
• corrector 모델: 재임베딩하며 반복 교정 (terriapurplewave/bge-m3-ko-corrector)

성능 (한국어 위키 validation, ≤64토큰)

• 임베딩 코사인 유사도(복원본 재임베딩 vs 원본): 짧은 문장 ~1.0
• 길이 의존: cos_sim이 길이에 반비례 (18토큰 1.00 → 61토큰 0.83)
• 64토큰 초과는 절단되어 초과분은 복원 불가

사용법 (⚠️ 중요: from_pretrained 아님)

학습

한계

• 64토큰 이내 문장에 최적화. 초과분은 절단되어 복원 불가.
• 미세 어휘/띄어쓰기(어제↔오늘, %포인트↔%, 조사)는 임베딩이 정보를 잃어 복원 안 됨 — exact의 상한 요인.
• 학습 데이터가 위키 중심이라 백과체에 유리.

인용 / 기반 연구

• Morris et al., Text Embeddings Reveal (Almost) As Much As Text (2023) — vec2text