Tower-GPT-114.514M
1.模型概述
Tower-GPT-114.514M 是一个基于 Transformer 架构的自回归语言模型，参数量为 114.514M（114514192），经过充分（确信）训练，能够生成流畅的文本。该模型特别擅长处理中文以及一种“很像中文的小语种”，在多项内部评测中表现十分甚至是九分的优异（确信）。
2.模型参数
| 参数 | 值 |
|---|
| 层数 | 8 |
| 头数 | 8 |
| 隐藏层维度 | 907 |
| 键值对维度 | 64 |
| 前馈网络维度 | 4817 |
| 词汇表大小 | 32768 |
| 总参数 | 114.514M (114514192) |
| 支持语言 | 中文, 以及一种很像中文的小语种 |
3. 性能评估
| 训练 | zero | Preview 0221 | 0221 |
|---|
| 预训练数据 | 1.3GB中文对话 | 14GB中文对话 | 14GB中文对话 |
| 预训练轮次 | 12 | 1.3 | 1.3 |
| SFT数据 | N/A | 1.1GB中文对话 | 1.1GB中文对话 |
| SFT轮次 | N/A | 4 | 6 |
| RL数据 | N/A | N/A | 24MB中文对话(正反各一条) |
| RL轮次 | N/A | N/A | 2 |
| RL方式 | N/A | N/A | SimPO |
| 评测指标 | 值 |
|---|
| 中文文本生成 | 流畅度（Sure）: 0.01 |
| 很像中文的小语种文本生成 | 流畅度（Sure）: 1.00 |
| 很像中文的对话 | 流畅度（Sure）: 1.00 |
4. 关于本项目的其它开发代码
5. 许可证
本项目采用 WTFPL (Do What The Fuck You Want To Public License) 许可证，您几乎可以随意使用、修改、分发本模型，但开发者不对任何后果负责。
6. 特别致谢
特别致谢：感谢所有参与训练的 GPU，即使这是一个毫无意义的神人项目，你们也仍然在努力。
7. 免责声明
- 本模型仅用于整活目的，切勿在生产环境中使用。
- 自行承担风险：使用本模型生成的内容，无论用于任何目的，一切后果由使用者自行承担。开发者不对任何直接或间接的损失负责，包括但不限于精神损失、设备损坏、人际关系破裂、以及因模型而导致的社死现场。
- 禁止用于非法用途：请勿使用模型生成违法、侵权、危害国家安全或破坏社会稳定的内容。（虽然本模型估计做不到生成这种内容）
- 关于“很像中文的小语种”：模型可能会在您意想不到的时候切换到该语言，生成的内容可能毫无意义，甚至看起来像中文但完全读不懂。如果您恰好会这种语言，请接受我们的敬意；如果您不会，请把它当作一种加密通信方式，不要试图解密。
使用本模型即表示您已阅读、理解并同意以上条款。如果您不同意，请不要使用，并立即删除所有相关文件（或者留着当个吉祥物也行）。
8. 更新
2.21 (Preview 0221)
2.22 (0221正式版)
- 现在模型在“很像中文的小语种”上的表现依旧稳定（流畅度 1.00），中文能力也终于从“0.01”爬到了勉强能聊的水平
- 再次感谢所有参与训练的 GPU，它们还在默默燃烧，为神人项目贡献光和热
