from mt_model import BERTcForMT

model = BERTcForMT.from_pretrained(".")
print(model.predict("中国科学院计算技术研究所在北京"))
# {'words': ['中国科学院计算技术研究所', '在', '北京'],
#  'pos': ['ni', 'p', 'ns'],
#  'ner': [{'type': 'Ni', 'start': 0, 'end': 12}, {'type': 'Ns', 'start': 13, 'end': 15}]}

评测口径

指标在 dev 集前 2000 句上测 —— 与训练时选 best.pt 的口径一致 (训练脚本 --dev_limit 2000)。全量 21,143 句上是分词 0.9790 / 词性 0.9787 / 实体 0.9597 / joint 1.4646。

joint score = 分词 F1 + 0.3 × 词性准确率 + 0.2 × 实体 F1。

标签体系

分词:BIES
词性:LTP base1 的 27 个标签(PD-1998 的 43 个映射过来)
实体:BIES × {人名 Nh / 地名 Ns / 机构 Ni},PD 的 MISC 丢弃

词性代号可读性差(ns 地名 / ni 机构名 / nh 人名 / nd 方位词 / nl 处所词 / wp 标点),BERTc 仓库的 save/cws.py 有个把它们翻成中文的交互式脚本。

依赖

只需要 PyTorch 和 PieceTokenizer,没有别的。


模型定义	目录内的 `model.py`(纯 torch,不 import transformers)
权重读取	目录内的 `checkpoint.py`(85 行 safetensors 读取,不需要 safetensors 库)
分词器	PieceTokenizer,提供字级切分和词表

bash

pip install torch
pip install git+https://github.com/Ismantic/PieceTokenizer

目录是自包含的:进到目录里直接 python example_*.py 就能跑,不依赖目录外的任何文件。

Tokenizer

字级 SentencePiece,BERTc-Tokenizer.pt,词表 12536(pad=12531,mask=12535)。必须用 dict="no" 加载(字模式,不挂分词词典)——挂了词典编码结果会跟训练时不一致,而且不报错。

pip install git+https://github.com/Ismantic/PieceTokenizer

文件

文件	说明
`model.safetensors`	骨干 + 三个任务头
`mt_model.py`	推理入口 `BERTcForMT`
`crf.py`	线性链 CRF
`model.py`	骨干定义
`tokenizer.py`	字级 tokenizer
`example_decode.py`	示例

许可

Apache-2.0。训练语料各自的许可见对应数据集卡。

Ismantic/BERTc-165M-MT

BERTc-165M-MT

指标

训练

用法

评测口径

标签体系

依赖

Tokenizer

文件

许可

Ismantic/
BERTc-165M-MT