该模型基于bert-base-multilingual-cased,使用
TextPruner对词表进行裁剪,保留iwslt14德英数据集,用于测试bert-fused的翻译效果。
并且在iwslt14德英数据集上进行掩码语言模型微调,数据的拼接方式是: de, en, de[sep]en, en[sep]de。
lang:德英
vocab_size: 119547 -> 21443
model_size: 682M -> 392M
iwslt14 de_en BLEU: ?---
tags:
This model is a fine-tuned version of
miugod/mbert_trim_ende on an unknown dataset.
It achieves the following results on the evaluation set: