Views
No views yet
1>>> from transformers import pipeline
2>>> model_checkpoint = "supermy/c2m-mt5"
3>>> translator = pipeline("translation",
4 model=model_checkpoint,
5 num_return_sequences=1,
6 max_length=52,
7 truncation=True,)
8
9>>> translator("往者不可谏,来者犹可追。")
10[{'translation_text': '过 去 的 事 情 不能 劝 谏 ， 未来 的 事 情 还 可以 追 回 来 。 如 果 过 去 的 事 情 不能 劝 谏 ， 那 么 ， 未来 的 事 情 还 可以 追 回 来 。 如 果 过 去 的 事 情'}]
11
12>>> translator("福兮祸所伏，祸兮福所倚。",do_sample=True)
13[{'translation_text': '幸 福 是 祸 患 所 隐 藏 的 ， 灾 祸 是 福 祸 所 依 托 的 。 这 些 都 是 幸 福 所 依 托 的 。 这 些 都 是 幸 福 所 带 来 的 。 幸 福 啊 ， 也 是 幸 福'}]
14
15>>> translator("成事不说，遂事不谏，既往不咎。", num_return_sequences=1,do_sample=True)
16[{'translation_text': '事 情 不 高 兴 ， 事 情 不 劝 谏 ， 过 去 的 事 就 不 会 责 怪 。 事 情 没 有 多 久 了 ， 事 情 没 有 多 久 ， 事 情 没 有 多 久 了 ， 事 情 没 有 多'}]
17
18>>> translator("逝者如斯夫！不舍昼夜。",num_return_sequences=1,max_length=30)
19[{'translation_text': '逝 去 的 人 就 像 这 样 啊 ， 不分 昼夜 地 去 追 赶 它 们 。 这 样 的 人 就 不 会 忘 记'}]
201from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
2tokenizer = AutoTokenizer.from_pretrained("supermy/c2m-mt5")
3model = AutoModelForSeq2SeqLM.from_pretrained("supermy/c2m-mt5")
4text = "用你喜欢的任何文本替换我。"
5encoded_input = tokenizer(text, return_tensors='pt')
6output = model(**encoded_input)| 书名 | 句数 |
|---|---|
| 短篇章和资治通鉴 | 348727 |
| 元史 | 21182 |
| 北史 | 25823 |
| 北书 | 10947 |
| 南史 | 13838 |
| 南齐书 | 13137 |
| 史记 | 17701 |
| 后汉书 | 17753 |
| 周书 | 14930 |
| 太平广记 | 59358 |
| 宋书 | 23794 |
| 宋史 | 77853 |
| 徐霞客游记 | 22750 |
| 新五代史 | 10147 |
| 新唐书 | 12359 |
| 旧五代史 | 11377 |
| 旧唐书 | 29185 |
| 明史 | 85179 |
| 晋书 | 21133 |
| 梁书 | 14318 |
| 水经注全 | 11630 |
| 汉书 | 37622 |
| 辽史 | 9278 |
| 金史 | 13758 |
| 陈书 | 7096 |
| 隋书 | 8204 |
| 魏书 | 28178 |
| 总计 | 967257 |
| 书名 | 句数 |
|---|---|
| 资治通鉴 | 7.95w |
| 左传 | 1.09w |
| 大学章句集注 | 86 |
| 反经 | 4211 |
| 公孙龙子 | 73 |
| 管子 | 6266 |
| 鬼谷子 | 385 |
| 韩非子 | 4325 |
| 淮南子 | 2669 |
| 黄帝内经 | 6162 |
| 皇帝四经 | 243 |
| 将苑 | 100 |
| 金刚经 | 193 |
| 孔子家语 | 138 |
| 老子 | 398 |
| 了凡四训 | 31 |
| 礼记 | 4917 |
| 列子 | 1735 |
| 六韬 | 693 |
| 六祖坛经 | 949 |
| 论语 | 988 |
| 吕氏春秋 | 2473 |
| 孟子 | 1654 |
| 梦溪笔谈 | 1280 |
| 墨子 | 2921 |
| 千字文 | 82 |
| 清史稿 | 1604 |
| 三字经 | 234 |
| 山海经 | 919 |
| 伤寒论 | 712 |
| 商君书 | 916 |
| 尚书 | 1048 |
| 世说新语 | 3044 |
| 司马法 | 132 |
| 搜神记 | 1963 |
| 搜神后记 | 540 |
| 素书 | 61 |
| 孙膑兵法 | 230 |
| 孙子兵法 | 338 |
| 天工开物 | 807 |
| 尉缭子 | 226 |
| 文昌孝经 | 194 |
| 文心雕龙 | 1388 |
| 吴子 | 136 |
| 孝经 | 102 |
| 笑林广记 | 1496 |
| 荀子 | 3131 |
| 颜氏家训 | 510 |
| 仪礼 | 2495 |
| 易传 | 711 |
| 逸周书 | 1505 |
| 战国策 | 3318 |
| 贞观政要 | 1291 |
| 中庸 | 206 |
| 周礼 | 2026 |
| 周易 | 460 |
| 庄子 | 1698 |
| 百战奇略 | 800 |
| 论衡 | 1.19w |
| 智囊 | 2165 |
| 罗织经 | 188 |
| 朱子家训 | 31 |
| 抱朴子 | 217 |
| 地藏经 | 547 |
| 国语 | 3841 |
| 容斋随笔 | 2921 |
| 幼学琼林 | 1372 |
| 三略 | 268 |
| 围炉夜话 | 387 |
| 冰鉴 | 120 |
[INFO|trainer.py:1628] 2022-12-15 16:08:36,696 >> ***** Running training *****
[INFO|trainer.py:1629] 2022-12-15 16:08:36,696 >> Num examples = 967255
[INFO|trainer.py:1630] 2022-12-15 16:08:36,697 >> Num Epochs = 6
[INFO|trainer.py:1631] 2022-12-15 16:08:36,697 >> Instantaneous batch size per device = 12
[INFO|trainer.py:1632] 2022-12-15 16:08:36,697 >> Total train batch size (w. parallel, distributed & accumulation) = 12
[INFO|trainer.py:1633] 2022-12-15 16:08:36,697 >> Gradient Accumulation steps = 1
[INFO|trainer.py:1634] 2022-12-15 16:08:36,697 >> Total optimization steps = 483630
[INFO|trainer.py:1654] 2022-12-15 16:08:36,698 >> Continuing training from checkpoint, will skip to saved global_step
[INFO|trainer.py:1655] 2022-12-15 16:08:36,698 >> Continuing training from epoch 5
[INFO|trainer.py:1656] 2022-12-15 16:08:36,698 >> Continuing training from global step 465000
{'loss': 5.2906, 'learning_rate': 1.8743667679837894e-06, 'epoch': 5.78}
{'loss': 5.3196, 'learning_rate': 1.8226743584971985e-06, 'epoch': 5.78}
{'loss': 5.3467, 'learning_rate': 6.513243595310464e-08, 'epoch': 5.99}
{'loss': 5.3363, 'learning_rate': 1.344002646651366e-08, 'epoch': 6.0}
{'train_runtime': 6277.5234, 'train_samples_per_second': 924.494, 'train_steps_per_second': 77.042, 'train_loss': 0.2044413571775476, 'epoch': 6.0}
***** train metrics *****
epoch = 6.0
train_loss = 0.2044
train_runtime = 1:44:37.52
train_samples = 967255
train_samples_per_second = 924.494
train_steps_per_second = 77.042
12/15/2022 17:53:23 - INFO - __main__ - *** Evaluate ***
[INFO|trainer.py:2920] 2022-12-15 17:53:23,729 >> ***** Running Evaluation *****
[INFO|trainer.py:2922] 2022-12-15 17:53:23,729 >> Num examples = 200
[INFO|trainer.py:2925] 2022-12-15 17:53:23,729 >> Batch size = 12
100%|██████████| 17/17 [00:07<00:00, 2.29it/s]
[INFO|modelcard.py:443] 2022-12-15 17:53:32,737 >> Dropping the following result as it does not have all the necessary fields:
{'task': {'name': 'Translation', 'type': 'translation'}, 'metrics': [{'name': 'Bleu', 'type': 'bleu', 'value': 0.7225}]}
***** eval metrics *****
epoch = 6.0
eval_bleu = 0.7225
eval_gen_len = 12.285
eval_loss = 6.6782
eval_runtime = 0:00:07.77
eval_samples = 200
eval_samples_per_second = 25.721
eval_steps_per_second = 2.186