Views
No views yet
pip install -U "transformers>=4.48.0" sentence-transformerspip install flash-attn --no-build-isolation1from sentence_transformers import CrossEncoder
2
3# Download from the 🤗 Hub
4model = CrossEncoder("cl-nagoya/ruri-v3-reranker-310m")
5
6inputs = [
7 [
8 "瑠璃色はどんな色？",
9 "瑠璃色（るりいろ）は、紫みを帯びた濃い青。名は、半貴石の瑠璃（ラピスラズリ、英: lapis lazuli）による。JIS慣用色名では「こい紫みの青」（略号 dp-pB）と定義している[1][2]。",
10 ],
11 [
12 "瑠璃色 なに",
13 "瑠璃色（るりいろ）は、紫みを帯びた濃い青。名は、半貴石の瑠璃（ラピスラズリ、英: lapis lazuli）による。JIS慣用色名では「こい紫みの青」（略号 dp-pB）と定義している[1][2]。",
14 ],
15 [
16 "瑠璃色はどんな色？",
17 "ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4属を含めている。",
18 ],
19 [
20 "ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総称して「何類」というでしょう?",
21 "ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4属を含めている。",
22 ],
23 [
24 "ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総称して「何類」というでしょう?",
25 "瑠璃色（るりいろ）は、紫みを帯びた濃い青。名は、半貴石の瑠璃（ラピスラズリ、英: lapis lazuli）による。JIS慣用色名では「こい紫みの青」（略号 dp-pB）と定義している[1][2]。",
26 ],
27]
28
29scores = model.predict(inputs)
30print(scores)
31# [
32# 0.9999963,
33# 0.9996056,
34# 0.00035428265,
35# 0.9672038,
36# 0.00002276988,
37# ]
38
39
40result = model.rank(
41 query="瑠璃色はどんな色？",
42 documents=[
43 "ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4属を含めている。",
44 "瑠璃、または琉璃（るり）は、仏教の七宝の一つ。サンスクリットの vaiḍūrya またはそのプラークリット形の音訳である。金緑石のこととも、ラピスラズリであるともいう[1]。",
45 "瑠璃色（るりいろ）は、紫みを帯びた濃い青。名は、半貴石の瑠璃（ラピスラズリ、英: lapis lazuli）による。JIS慣用色名では「こい紫みの青」（略号 dp-pB）と定義している[1][2]。",
46 ],
47)
48print(result)
49# [
50# {'corpus_id': 2, 'score': 0.9999963},
51# {'corpus_id': 1, 'score': 0.07984412},
52# {'corpus_id': 0, 'score': 0.00035577847},
53# ]| Model | #Param.(w/o Emb.) | JQaRA nDCG@10 | JaCWIR MAP@10 | MIRACL Recall@30 |
|---|---|---|---|---|
| Ruri-v3-reranker-310m | 315M (236M) | 86.9 | 95.4 | 97.3 |
| hotchpotch/japanese-reranker-cross-encoder-xsmall-v1 | 107M (11M) | 61.4 | 93.8 | 90.6 |
| hotchpotch/japanese-reranker-cross-encoder-small-v1 | 118M (21M) | 62.5 | 93.9 | 92.2 |
| hotchpotch/japanese-reranker-cross-encoder-base-v1 | 111M (86M) | 67.1 | 93.4 | 93.3 |
| hotchpotch/japanese-reranker-cross-encoder-large-v1 | 337M (303M) | 71.0 | 93.6 | 91.5 |
| hotchpotch/japanese-bge-reranker-v2-m3-v1 | 568M (303M) | 69.2 | 93.7 | 94.7 |
| BAAI/bge-reranker-v2-m3 | 568M (303M) | 67.3 | 93.4 | 94.9 |
| Ruri-Reranker-Small | 68M (43M) | 64.5 | 92.6 | 92.3 |
| Ruri-Reranker-Base | 111M (86M) | 74.3 | 93.5 | 95.6 |
| Ruri-Reranker-Large | 337M (303M) | 77.1 | 94.1 | 96.1 |
1@misc{
2 Ruri,
3 title={{Ruri: Japanese General Text Embeddings}},
4 author={Hayato Tsukagoshi and Ryohei Sasano},
5 year={2024},
6 eprint={2409.07737},
7 archivePrefix={arXiv},
8 primaryClass={cs.CL},
9 url={https://arxiv.org/abs/2409.07737},
10}