Views
No views yet
This model translate Classical(ancient) Chinese to Modern Chinese, so I guess who's interested in the problemset can speak at least modern Chinese, hence... let me continue the documentation in Chinese
这个模型已有做成应用， 【随无涯】是一个huggingface spaces + streamlit 的古文阅读应用（含海量书籍）， 可以在阅读时翻译 输入文言文， 可以是断句 或者 未断句的文言文， 模型会预测现代文的表述。 其他模型：
从文言文到现代文的翻译器, 欢迎前往我的github文言诗词项目页面探讨、加⭐️
训练语料是就是九十多万句句对， 数据集链接📚。 训练时source序列（古文序列）， 按照50%的概率整句去除所有标点符号。
generate函数的eos_token_id设置为102就可以翻译出完整的语句， 不然翻译完了会有残留的语句(因为做熵的时候用pad标签=-100导致)。
目前huggingface 页面上compute按钮会有这个问题， 推荐使用以下代码来得到翻译结果generate的参数num_beams>=3, 以达到较好的翻译效果generate的参数max_length256， 不然结果会吃掉句子1from transformers import (
2 EncoderDecoderModel,
3 AutoTokenizer
4)
5PRETRAINED = "raynardj/wenyanwen-ancient-translate-to-modern"
6tokenizer = AutoTokenizer.from_pretrained(PRETRAINED)
7model = EncoderDecoderModel.from_pretrained(PRETRAINED)
8def inference(text):
9 tk_kwargs = dict(
10 truncation=True,
11 max_length=128,
12 padding="max_length",
13 return_tensors='pt')
14
15 inputs = tokenizer([text,],**tk_kwargs)
16 with torch.no_grad():
17 return tokenizer.batch_decode(
18 model.generate(
19 inputs.input_ids,
20 attention_mask=inputs.attention_mask,
21 num_beams=3,
22 max_length=256,
23 bos_token_id=101,
24 eos_token_id=tokenizer.sep_token_id,
25 pad_token_id=tokenizer.pad_token_id,
26 ), skip_special_tokens=True)当然， 拿比较熟知的语句过来， 通常会有些贻笑大方的失误， 大家如果有好玩的调戏案例， 也欢迎反馈
1>>> inference('非我族类其心必异')
2['不 是 我 们 的 族 类 ， 他 们 的 心 思 必 然 不 同 。']
3>>> inference('肉食者鄙未能远谋')
4['吃 肉 的 人 鄙 陋 ， 不 能 长 远 谋 划 。']
5# 这里我好几批模型都翻不出这个**输**字（甚至有一个版本翻成了秦始皇和汉武帝）， 可能并不是很古朴的用法，
6>>> inference('江山如此多娇引无数英雄竞折腰惜秦皇汉武略输文采唐宗宋祖稍逊风骚')
7['江 山 如 此 多 ， 招 引 无 数 的 英 雄 ， 竞 相 折 腰 ， 可 惜 秦 皇 、 汉 武 ， 略 微 有 文 采 ， 唐 宗 、 宋 祖 稍 稍 逊 出 风 雅 。']
8>>> inference("清风徐来水波不兴")
9['清 风 慢 慢 吹 来 ， 水 波 不 兴 。']
10>>> inference("无他唯手熟尔")
11['没 有 别 的 事 ， 只 是 手 熟 罢 了 。']
12>>> inference("此诚危急存亡之秋也")
13['这 实 在 是 危 急 存 亡 的 时 候 。']