oshizo/

JMDNClustering-ja

埋め込みモデルの学習、評価のためのクラスタリングデータセットです。 独立行政法人医薬品医療機器総合機構のウェブサイトのページから取得したデータを整形して作成しました。利用規約に基づき、出展を明示してデータセットとして公開しております。 2024/6/22時点でダウンロードしたデータから「類別コード」が空欄のデータを削除しました。text列は「一般的名称」と「一般的名称定義」を結合したデータです。label列は「類別コード」に該当します。labelの割合を保ちつつ、ランダムにtrainとtestに分割しました。それぞれのsplitの件数は以下の通りです。

label 類別 train test

0 プ01 131 43

1 プ02 14 5

2 医01 5 2

3 医02 20 7

4 医03 6 2

5 医04 257 85

6 医05 8 3

7 医06 9 3

8 器01 28 10

9 器02 14 5

10 器03 24 8

11 器04 1 0

12 器05 22 7

13 器06 65 22… See the full description on the dataset page: https://huggingface.co/datasets/oshizo/JMDNClustering-ja.