from sentence_transformers import SentenceTransformer

model = SentenceTransformer("kekeappa/kor-static-embedding-64")
emb = model.encode(["한국어 문장", "임베딩 테스트"], normalize_embeddings=True)
print(emb.shape)  # (2, 64)

특징

아키텍처: StaticEmbedding (model2vec 계열) — 트랜스포머 attention 없음
추론: CPU 최적, GPU 불필요
속도: 단일 쿼리 < 1ms (브라우저에서도 빠름)
한영 호환: cross-lingual 학습됨 — 한국어 쿼리로 영어 문서 검색 가능

학습 방법

4-stage 학습:

Distillation 초기화: BM-K/KoSimCSE-roberta-multitask teacher의 vocab 임베딩 → PCA + Zipf weighting
KorNLI MNRL: kakaobrain/kor_nli (multi_nli + snli) 277K triplet
Cross-lingual MNRL: OPUS-100 ko-en parallel 200K pair
Matryoshka regression: KorSTS + KLUE-STS + NLLB로 번역한 영어 STS-B
- 64/128/256/512 차원 동시 최적화 (MatryoshkaLoss)

학습 코드: https://github.com/johunsang/kor-static-embedding-512

라이선스

Apache 2.0