Views
No views yet
1import numpy as np
2from llama_cpp import Llama
3from sentence_transformers import SentenceTransformer
4from sentence_transformers.util import cos_sim
5
6
7model = SentenceTransformer(
8 "perplexity-ai/pplx-embed-v1-0.6b",
9 trust_remote_code=True
10)
11llama = Llama.from_pretrained(
12 repo_id="mykor/pplx-embed-v1-0.6b-GGUF",
13 filename="pplx-embed-v1-0.6B-F32.gguf",
14 verbose=False,
15 embedding=True,
16 n_ctx=0,
17)
18
19text = """이젠 깨어나 설레는 이맘 따라
20기다리던 오늘을 만들 거야
21
22이 많은 시간을 난 흘리고 싶지는 않아
23이제 나는 분명히 준비가 돼있는데
24어떤 무기력함이 와도
25나에겐 의미가 없을 만큼
26또다시 wake up 더 wake up
27달궈져 더 뜨겁게
28
29굳이 봐줄 필요 없어 어차피 never give up
30뭐가 덤벼오든 나는 어쩌라 하듯이
31뭐든 할 수 있을 거 같아
32
33이젠 깨어나 설레는 이 맘 따라
34기다리던 오늘을 만들 거야
35도시 사이에 피어나 이겨내온 꽃처럼
36분명 피워낼 거야 나를
37
38나에게 남아 있는 게 얼마 되지 않는 것 같아도
39두 번 다신 내게 부끄럽지 않게
40똑바로 봐
41
42굳이 봐줄 필요 없어 어차피 never give up
43뭐가 덤벼오든 나는 어쩌라 하듯이
44뭐든 이길 수 있을거야
45
46이젠 깨어나 설레는 이맘 따라
47기다리던 오늘을 만들 거야
48도시 사이에 피어나 이겨내온 꽃처럼
49분명 피워낼 거야 나를
50
51Time's up 몇 번을해도 overcharge
52그만해도 된다 해도
53No matter, no matter 숨이 차올라도
54이 길을 바란다면
55
56하늘 저 너머 뻗어가는 빛 따라
57이 마음도 날려 곧 닿을 것만 같아
58도시 사이에 피어나 이겨내온 꽃처럼
59분명 피워낼 거야 나를"""
60
61
62def int8_quantize(arr: np.ndarray) -> np.ndarray:
63 qmin, qmax = -128, 127
64 tanh_arr = np.tanh(arr)
65 return np.round(tanh_arr * qmax).clip(qmin, qmax).astype(np.float32)
66
67
68embed1 = model.encode(text)
69embed2 = llama.embed(text)
70embed2 = int8_quantize(embed2)
71print(cos_sim(embed1, embed2).item())0.9999861717224121