mmarcoデータセットのquery--passageのペアについて、queryをkeyとして重複を削除したデータセットです。
元データ中のエンコーディング周りのミスの修正やNFKC正規化などの前処理を行ってあります。
dataset subsetのpos_idsおよびneg_ids中のidは、collectionsubsetのインデックス番号に対応しています。
したがって、collection[pos_id]のようにアクセスしてもらえれば所望のデータを得ることができます。
ライセンスは元データセットに従います。
