Views
No views yet
pip install -U sentence-transformers1from sentence_transformers import CrossEncoder
2
3# Download from the 🤗 Hub
4model = CrossEncoder("cl-nagoya/ruri-reranker-small", trust_remote_code=True)
5
6inputs = [
7 [
8 "瑠璃色はどんな色？",
9 "瑠璃色（るりいろ）は、紫みを帯びた濃い青。名は、半貴石の瑠璃（ラピスラズリ、英: lapis lazuli）による。JIS慣用色名では「こい紫みの青」（略号 dp-pB）と定義している[1][2]。",
10 ],
11 [
12 "瑠璃色はどんな色？",
13 "ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4属を含めている。",
14 ],
15 [
16 "ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総称して「何類」というでしょう?",
17 "ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4属を含めている。",
18 ],
19 [
20 "ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総称して「何類」というでしょう?",
21 "瑠璃色（るりいろ）は、紫みを帯びた濃い青。名は、半貴石の瑠璃（ラピスラズリ、英: lapis lazuli）による。JIS慣用色名では「こい紫みの青」（略号 dp-pB）と定義している[1][2]。",
22 ],
23]
24
25scores = model.predict(inputs)
26print(scores)
27# [0.9999534 0.02577114 0.98103124 0.00387013]
28
29result = model.rank(
30 query="瑠璃色はどんな色？",
31 documents=[
32 "ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4属を含めている。",
33 "瑠璃、または琉璃（るり）は、仏教の七宝の一つ。サンスクリットの vaiḍūrya またはそのプラークリット形の音訳である。金緑石のこととも、ラピスラズリであるともいう[1]。",
34 "瑠璃色（るりいろ）は、紫みを帯びた濃い青。名は、半貴石の瑠璃（ラピスラズリ、英: lapis lazuli）による。JIS慣用色名では「こい紫みの青」（略号 dp-pB）と定義している[1][2]。",
35 ],
36)
37print(result)
38# [
39# {'corpus_id': 2, 'score': 0.9999534},
40# {'corpus_id': 1, 'score': 0.6785002},
41# {'corpus_id': 0, 'score': 0.025771141},
42# ]
43| Model | #Param.(w/oEmb.) | JQaRA | JaCWIR | MIRACL |
|---|---|---|---|---|
| hotchpotch/japanese-reranker-cross-encoder-xsmall-v1 | 107M(11M) | 61.4 | 93.8 | 90.6 |
| hotchpotch/japanese-reranker-cross-encoder-small-v1 | 118M(21M) | 62.5 | 93.9 | 92.2 |
| hotchpotch/japanese-reranker-cross-encoder-base-v1 | 111M(86M) | 67.1 | 93.4 | 93.3 |
| hotchpotch/japanese-reranker-cross-encoder-large-v1 | 337M(303M) | 71.0 | 93.6 | 91.5 |
| hotchpotch/japanese-bge-reranker-v2-m3-v1 | 568M(303M) | 69.2 | 93.7 | 94.7 |
| BAAI/bge-reranker-v2-m3 | 568M(303M) | 67.3 | 93.4 | 94.9 |
| Ruri-Reranker-Small (this model) | 68M(43M) | 64.5 | 92.6 | 92.3 |
| Ruri-Reranker-Base | 111M(86M) | 74.3 | 93.5 | 95.6 |
| Ruri-Reranker-Large | 337M(303M) | 77.1 | 94.1 | 96.1 |