You can deploy this model and start earning money today!

Views

No views yet

BGE-M3 trained on TripLegal-CL Legal Spanish.

Name: bge-m3-tripLegalCL-300k
Availability: InStock

This is a sentence-transformers model finetuned from BAAI/bge-m3 on the trip_legal-cl dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: BAAI/bge-m3
Maximum Sequence Length: 8192 tokens
Output Dimensionality: 1024 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- trip_legal-cl
Language: es
License: apache-2.0

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("wilfredomartel/bge-m3-tripLegalCL-300k")
# Run inference
queries = [
    "\u00bfBajo qu\u00e9 fundamentos y normativas la Sala de Admisi\u00f3n de la Corte Constitucional admiti\u00f3 a tr\u00e1mite la acci\u00f3n de inconstitucionalidad N.\u00ba 59-22-IN contra el art\u00edculo 54 de la Ley Org\u00e1nica de Desarrollo Econ\u00f3mico y Sostenibilidad Fiscal tras la pandemia COVID-19?",
]
documents = [
    'La Sala de Admisión de la Corte Constitucional, en su auto de 15 de septiembre de 2022, resolvió admitir a trámite la causa N.º 59-22-IN, al considerar que la demanda de inconstitucionalidad interpuesta por ZAIMELLA DEL ECUADOR SOCIEDAD ANÓNIMA cumplía con los requisitos legales para su procedencia. Se verificó que la demanda fue interpuesta de manera oportuna, conforme lo habilita el artículo 78.1 de la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional (LOGJCC), que permite la presentación de estas acciones en cualquier momento por razones de contenido. Además, la Sala determinó que los argumentos expuestos por el accionante, relativos a la vulneración de los principios de igualdad, no discriminación, equidad tributaria, incentivos a la producción nacional y comercio justo, eran claros, determinados, específicos y pertinentes en relación con las normas constitucionales que se consideraban infringidas, tal como lo exigen los artículos 77 y 78 de la LOGJCC.',
    'La Tercera Sala de lo Civil y Mercantil de la Corte Suprema de Justicia rechazó el recurso de casación en el juicio ejecutivo N° 27-2006, interpuesto por Amparo Mercedes Romero Murrieta contra Esther Marlene Beltrán Baquerizo, basándose en el artículo 2 de la Codificación de la Ley de Casación. Este artículo establece que el recurso de casación procede contra sentencias y autos que pongan fin a procesos de conocimiento, y no contra aquellos dictados en juicios ejecutivos. La Sala citó doctrina de autores como Caravantes y Francisco Beceña para diferenciar los procesos de conocimiento de los ejecutivos, señalando que estos últimos no buscan declarar derechos dudosos, sino ejecutar los ya reconocidos por títulos con fuerza suficiente. Se recordó que la legislación ecuatoriana, tras una reforma inspirada en un veto presidencial, incluyó explícitamente la frase "de conocimiento" en el artículo 2, limitando la casación a dichos procesos. Además, se mencionó que en los juicios ejecutivos la cosa juzgada no es definitiva, ya que el deudor puede iniciar vía ordinaria, lo que refuerza la naturaleza no casable de estas resoluciones. Por lo tanto, el recurso extraordinario de casación no era aplicable a un juicio ejecutivo.',
    'El derecho a recurrir un fallo judicial se fundamenta en garantías procesales básicas, como la establecida en el artículo 8 de la Convención Interamericana sobre Derechos Humanos, que consagra el derecho de toda persona inculpada de un delito a que se presuma su inocencia y, durante el proceso, a gozar de garantías mínimas, incluyendo el "derecho de recurrir del fallo ante juez o tribunal superior". De manera concordante, la Constitución de la República del Ecuador, en su artículo 169, establece que el sistema procesal es un medio para la realización de la justicia, promoviendo principios como la eficacia y las garantías del debido proceso. El artículo 76, numeral 7, literal m) de la Constitución ecuatoriana refuerza esta garantía como parte del derecho a la defensa, coincidiendo con la jurisprudencia de la Corte Interamericana de Derechos Humanos, que señala que impugnar un fallo busca proteger el derecho de defensa al permitir la revisión de decisiones que puedan contener errores perjudiciales. Sin embargo, este derecho no es ilimitado; el artículo 652 del Código Orgánico Integral Penal (COIP) establece que la impugnación se regirá por las reglas específicas del Código, disponiendo que las sentencias, resoluciones o autos definitivos solo serán impugnables en los casos y formas expresamente determinados, limitando así el ejercicio de este derecho a los parámetros legales fijados.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 1024] [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.6672, -0.0733,  0.0417]])

Evaluation

Metrics

Information Retrieval

Datasets: legal-spanish-bge-eval-50kq-80kd and legal-spanish-bge-test-30kq-50kd
Evaluated with InformationRetrievalEvaluator

Metric	legal-spanish-bge-eval-50kq-80kd	legal-spanish-bge-test-30kq-50kd
cosine_accuracy@1	0.9373	0.9498
cosine_accuracy@3	0.9715	0.9788
cosine_accuracy@5	0.9797	0.9859
cosine_accuracy@10	0.9879	0.9931
cosine_precision@1	0.9373	0.9498
cosine_precision@3	0.3238	0.3263
cosine_precision@5	0.1959	0.1972
cosine_precision@10	0.0988	0.0993
cosine_recall@1	0.9373	0.9498
cosine_recall@3	0.9715	0.9788
cosine_recall@5	0.9797	0.9859
cosine_recall@10	0.9879	0.9931
cosine_ndcg@10	0.9638	0.9724
cosine_mrr@10	0.9559	0.9657
cosine_map@100	0.9565	0.966

Training Details

Training Dataset

trip_legal-cl

Dataset: trip_legal-cl at fa72982
Size: 300,000 training samples
Columns: query and pos
Approximate statistics based on the first 1000 samples:
query pos
type string string
details
min: 26 tokens
mean: 52.62 tokens
max: 107 tokens
min: 63 tokens
mean: 234.57 tokens
max: 458 tokens

Samples:

query	pos
`¿Por qué la Primera Sala de la Suprema Corte de Justicia de la Nación declaró infundado el recurso de reclamación 456/2019, confirmando el desechamiento del recurso de revisión?`	La Primera Sala de la Suprema Corte de Justicia de la Nación declaró infundado el recurso de reclamación 456/2019, confirmando el desechamiento del recurso de revisión, al determinar que los agravios presentados por Manuel Contreras Ramos no combatían las razones del acuerdo de presidencia recurrido. El acuerdo de desechamiento se basó en la inexistencia de una cuestión propiamente constitucional, mientras que los agravios del recurrente se enfocaron en demostrar la importancia y trascendencia del asunto, sin desvirtuar la falta de un tema de constitucionalidad. La Sala aplicó la tesis 1a. XXXVI/2018 (10a.) para señalar que los agravios que no desvirtúan la inexistencia de una cuestión constitucional son inoperantes, y que la falta de un tema de constitucionalidad es suficiente para confirmar el desechamiento.
`¿Es constitucionalmente válido que un tribunal arbitral, en el marco de un conflicto económico laboral en el sector estatal, ejerza el control difuso de normas, y cómo lo abordó la Corte Suprema en la apelación Nº 33979-2023?`	La Corte Suprema, en su decisión sobre la apelación Nº 33979-2023, afirmó la validez constitucional del ejercicio del control difuso por parte de los tribunales arbitrales. Citando el artículo 139 de la Constitución Política del Perú, que reconoce la jurisdicción arbitral como excepción a la exclusividad de la justicia estatal, la Corte señaló que los órganos arbitrales deben adherirse a las normas legales y a los derechos fundamentales. Hizo referencia a la jurisprudencia del Tribunal Constitucional, específicamente los Expedientes Nº 6167-2005-PHC/TC y Nº 00142-2011-PA/TC, que establecen que los tribunales arbitrales, ante una incompatibilidad entre una norma constitucional y una legal aplicable al caso, deben preferir la norma constitucional. La Corte concluyó que el tribunal arbitral en este caso ejerció el control difuso conforme a sus facultades constitucionales y a la ley, desestimando así el agravio del apelante.
`¿Cuál fue la razón principal por la que la Corte Constitucional inadmitió la acción extraordinaria de protección N.° 3028-22-EP presentada por SCTGLOBAL Soluciones Contables y Tributarias Cía. Ltda. contra las decisiones de la Unidad Judicial Civil de Quito?`	La Corte Constitucional inadmitió la acción extraordinaria de protección N.° 3028-22-EP debido a que la compañía accionante no cumplió con los requisitos de admisibilidad establecidos en el artículo 62 de la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional (LOGJCC). Específicamente, en relación con los cargos sobre la vulneración del derecho a recurrir y la libertad de contratación, la Corte determinó que la accionante solo demostró su inconformidad con la decisión y el trámite del pago de honorarios, sin presentar un argumento jurídico completo que identificara la justificación de la supuesta vulneración. Respecto al cargo de falta de motivación, la Corte consideró que no existía un argumento mínimamente completo que permitiera identificar la supuesta falta de motivación, sino una mixtura de vicios motivacionales. Por lo tanto, la demanda incumplió el número 1 del artículo 62 de la LOGJCC, al no existir un argumento claro sobre el derecho violado y su relación inmed...

Loss: CachedMultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "mini_batch_size": 16, 5 "gather_across_devices": false 6}

Evaluation Dataset

trip_legal-cl

Dataset: trip_legal-cl at fa72982
Size: 50,000 evaluation samples
Columns: query and pos
Approximate statistics based on the first 1000 samples:
query pos
type string string
details
min: 29 tokens
mean: 52.99 tokens
max: 105 tokens
min: 92 tokens
mean: 239.67 tokens
max: 549 tokens

Samples:

query	pos
`¿Cuáles fueron las razones específicas por las que la Sala Especializada de lo Penal de la Corte Nacional de Justicia declaró inadmisible el recurso de casación interpuesto por César Alfonso Chuquitarco Allauca en el caso No. 05282-2016-00134?`	La Sala Especializada de lo Penal, Penal Militar, Penal Policial y Tránsito de la Corte Nacional de Justicia declaró inadmisible el recurso de casación interpuesto por César Alfonso Chuquitarco Allauca en el caso No. 05282-2016-00134 debido a que el escrito de interposición no cumplió con los requisitos formales y técnicos exigidos para este tipo de recurso extraordinario. Específicamente, el recurrente no identificó la causal de casación bajo la cual fundamentaba su impugnación, ni presentó un razonamiento jurídico que demostrara la infracción de la ley. Además, se evidenció que el recurrente pretendía una nueva revisión de hechos y una revaloración de la prueba, lo cual está expresamente prohibido en la casación según el artículo 656, inciso segundo, del Código Orgánico Integral Penal (COIP). La Sala determinó que los argumentos no fueron expuestos de manera técnica, autónoma, taxativa y suficiente, ni se indicó cómo se transgredió la norma legal ni la influencia del error en la deci...
`¿Qué acción legal interpuso Nelson Maza Obando tras el auto de sobreseimiento a favor de Fausto Javier Albán Gallo y cuál fue la decisión de la Sala Penal de la Corte Provincial de Justicia de Pichincha al respecto?`	`Tras el auto de sobreseimiento dictado el 2 de mayo de 2019 a favor de Fausto Javier Albán Gallo, Nelson Maza Obando, en calidad de procurador judicial de Franco Agustín Ordóñez Godoy, interpuso un recurso de apelación contra dicho auto. La Sala Penal de la Corte Provincial de Justicia de Pichincha, mediante resolución del 3 de julio de 2019, aceptó el recurso de apelación y dictó un auto de llamamiento a juicio en contra de Fausto Javier Albán Gallo por el delito de hurto.`
`¿Qué argumentos utilizó el accionante para sostener que la disposición general tercera de la Ley para el Fomento Productivo afectaba el derecho a la seguridad jurídica y qué efecto solicitó para la declaratoria de inconstitucionalidad?`	El accionante, Rubén Alfonso Cuesta Domínguez, argumentó que la disposición general tercera de la Ley para el Fomento Productivo vulneraba el derecho a la seguridad jurídica al desconocer las características de previsibilidad y estabilidad del ordenamiento jurídico. Sostuvo que los trabajadores carecían de certeza sobre qué normativa se aplicaría para el cálculo de sus utilidades, y que existía una modificación expresa de las reglas para ejercicios fiscales anteriores a la expedición de la norma. Según su criterio, esto afectaba de manera grave e irreparable situaciones jurídicas consolidadas de trabajadores que reclamaban utilidades de años previos a 2018. Por esta razón, el accionante consideró "imperativo que la declaratoria de inconstitucionalidad" tuviera "efecto retroactivo", buscando así restablecer las condiciones jurídicas previas a la vigencia de la norma impugnada y asegurar el pago de las utilidades adeudadas.

Loss: CachedMultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "mini_batch_size": 16, 5 "gather_across_devices": false 6}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 128
per_device_eval_batch_size: 128
learning_rate: 2e-05
num_train_epochs: 1
warmup_ratio: 0.03
warmup_steps: 0.03
fp16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 128
per_device_eval_batch_size: 128
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: None
warmup_ratio: 0.03
warmup_steps: 0.03
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
enable_jit_checkpoint: False
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
use_cpu: False
seed: 42
data_seed: None
bf16: False
fp16: True
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: -1
ddp_backend: None
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
group_by_length: False
length_column_name: length
project: huggingface
trackio_space_id: trackio
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_for_metrics: []
eval_do_concat_batches: True
auto_find_batch_size: False
full_determinism: False
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_num_input_tokens_seen: no
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: True
use_cache: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	legal-spanish-bge-eval-50kq-80kd_cosine_ndcg@10	legal-spanish-bge-test-30kq-50kd_cosine_ndcg@10
-1	-1	-	-	0.8344	-
0.0085	20	0.4438	-	-	-
0.0171	40	0.0826	-	-	-
0.0256	60	0.0431	-	-	-
0.0341	80	0.0347	-	-	-
0.0427	100	0.0282	0.0166	0.9399	-
0.0512	120	0.0273	-	-	-
0.0597	140	0.0229	-	-	-
0.0683	160	0.0206	-	-	-
0.0768	180	0.0199	-	-	-
0.0853	200	0.0173	0.0124	0.9472	-
0.0939	220	0.0198	-	-	-
0.1024	240	0.0163	-	-	-
0.1109	260	0.0223	-	-	-
0.1195	280	0.0173	-	-	-
0.1280	300	0.0149	0.0114	0.9502	-
0.1365	320	0.0189	-	-	-
0.1451	340	0.0178	-	-	-
0.1536	360	0.0185	-	-	-
0.1621	380	0.0144	-	-	-
0.1706	400	0.0239	0.0104	0.9515	-
0.1792	420	0.0143	-	-	-
0.1877	440	0.0152	-	-	-
0.1962	460	0.0118	-	-	-
0.2048	480	0.0178	-	-	-
0.2133	500	0.0182	0.0094	0.9542	-
0.2218	520	0.0114	-	-	-
0.2304	540	0.0114	-	-	-
0.2389	560	0.0135	-	-	-
0.2474	580	0.0125	-	-	-
0.2560	600	0.0157	0.0088	0.9553	-
0.2645	620	0.0119	-	-	-
0.2730	640	0.0123	-	-	-
0.2816	660	0.0131	-	-	-
0.2901	680	0.0118	-	-	-
0.2986	700	0.0128	0.0083	0.9545	-
0.3072	720	0.0132	-	-	-
0.3157	740	0.0096	-	-	-
0.3242	760	0.0121	-	-	-
0.3328	780	0.0088	-	-	-
0.3413	800	0.0070	0.0078	0.9575	-
0.3498	820	0.0081	-	-	-
0.3584	840	0.0125	-	-	-
0.3669	860	0.0121	-	-	-
0.3754	880	0.0149	-	-	-
0.3840	900	0.0108	0.0073	0.9590	-
0.3925	920	0.0118	-	-	-
0.4010	940	0.0108	-	-	-
0.4096	960	0.0106	-	-	-
0.4181	980	0.0115	-	-	-
0.4266	1000	0.0121	0.0072	0.9604	-
0.4352	1020	0.0116	-	-	-
0.4437	1040	0.0125	-	-	-
0.4522	1060	0.0077	-	-	-
0.4608	1080	0.0111	-	-	-
0.4693	1100	0.0089	0.0069	0.9602	-
0.4778	1120	0.0080	-	-	-
0.4863	1140	0.0077	-	-	-
0.4949	1160	0.0122	-	-	-
0.5034	1180	0.0075	-	-	-
0.5119	1200	0.0111	0.0071	0.9597	-
0.5205	1220	0.0087	-	-	-
0.5290	1240	0.0112	-	-	-
0.5375	1260	0.0098	-	-	-
0.5461	1280	0.0104	-	-	-
0.5546	1300	0.0104	0.0067	0.9617	-
0.5631	1320	0.0092	-	-	-
0.5717	1340	0.0083	-	-	-
0.5802	1360	0.0102	-	-	-
0.5887	1380	0.0078	-	-	-
0.5973	1400	0.0085	0.0067	0.9616	-
0.6058	1420	0.0077	-	-	-
0.6143	1440	0.0085	-	-	-
0.6229	1460	0.0099	-	-	-
0.6314	1480	0.0088	-	-	-
0.6399	1500	0.0080	0.0069	0.9594	-
0.6485	1520	0.0076	-	-	-
0.6570	1540	0.0110	-	-	-
0.6655	1560	0.0100	-	-	-
0.6741	1580	0.0080	-	-	-
0.6826	1600	0.0108	0.0061	0.9616	-
0.6911	1620	0.0088	-	-	-
0.6997	1640	0.0090	-	-	-
0.7082	1660	0.0081	-	-	-
0.7167	1680	0.0099	-	-	-
0.7253	1700	0.0083	0.0059	0.9626	-
0.7338	1720	0.0081	-	-	-
0.7423	1740	0.0074	-	-	-
0.7509	1760	0.0070	-	-	-
0.7594	1780	0.0079	-	-	-
0.7679	1800	0.0081	0.0059	0.9635	-
0.7765	1820	0.0091	-	-	-
0.7850	1840	0.0096	-	-	-
0.7935	1860	0.0092	-	-	-
0.8020	1880	0.0083	-	-	-
0.8106	1900	0.0071	0.0058	0.9630	-
0.8191	1920	0.0100	-	-	-
0.8276	1940	0.0082	-	-	-
0.8362	1960	0.0062	-	-	-
0.8447	1980	0.0105	-	-	-
0.8532	2000	0.0095	0.0058	0.9636	-
0.8618	2020	0.0116	-	-	-
0.8703	2040	0.0065	-	-	-
0.8788	2060	0.0066	-	-	-
0.8874	2080	0.0092	-	-	-
0.8959	2100	0.0078	0.0057	0.9637	-
0.9044	2120	0.0069	-	-	-
0.9130	2140	0.0093	-	-	-
0.9215	2160	0.0079	-	-	-
0.9300	2180	0.0086	-	-	-
0.9386	2200	0.0095	0.0055	0.9639	-
0.9471	2220	0.0075	-	-	-
0.9556	2240	0.0094	-	-	-
0.9642	2260	0.0063	-	-	-
0.9727	2280	0.0098	-	-	-
0.9812	2300	0.0075	0.0056	0.9638	-
0.9898	2320	0.0060	-	-	-
0.9983	2340	0.0080	-	-	-
-1	-1	-	-	0.9638	0.9724

Framework Versions

Python: 3.12.12
Sentence Transformers: 5.2.2
Transformers: 5.1.0
PyTorch: 2.9.0+cu128
Accelerate: 1.12.0
Datasets: 4.5.0
Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

bibtex

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

	query	pos
type	string	string
details	min: 26 tokens mean: 52.62 tokens max: 107 tokens	min: 63 tokens mean: 234.57 tokens max: 458 tokens