from transformers import BertJapaneseTokenizer, BertForTokenClassification
from transformers import pipeline

model = BertForTokenClassification.from_pretrained("jurabi/bert-ner-japanese")
tokenizer = BertJapaneseTokenizer.from_pretrained("jurabi/bert-ner-japanese")

ner_pipeline = pipeline('ner', model=model, tokenizer=tokenizer)
ner_pipeline("株式会社Jurabiは、東京都台東区に本社を置くIT企業である。")

事前学習モデル

東北大学乾研究室が公開している日本語BERTモデル（cl-tohoku/bert-base-japanese-v2）

学習データ

ストックマーク株式会社が公開しているWikipediaを用いた日本語の固有表現抽出データセット（stockmarkteam/ner-wikipedia-dataset）

ソースコード

ファインチューニングに使用したプログラムは、jurabiinc/bert-ner-japaneseで公開しています。

ライセンス

Creative Commons Attribution-ShareAlike 3.0