Beta
Explore
Marketplace
Neural Labs
Chat
Wallet
Docs
Mini-Chinese-Phi3 – AI Model by niwz | AlphaNeural AI
You can deploy this model and start earning money today!
niwz
/
Mini-Chinese-Phi3
like
0
transformers
safetensors
phi3
text-generation
conversational
zh
Skywork/SkyPile-150B
llm-wizard/alpaca-gpt4-data-zh
BelleGroup/train_2M_CN
BelleGroup/train_1M_CN
mit
text-generation-inference
endpoints_compatible
us
Views
No views yet
Model card
Files and Versions
Community
API
Deploy
Mini Chinese Phi3
Mini-Chinese-Phi3是一个基于phi3模型结构的小型对话模型，总参数量约0.13B，使用常见的中文语料进行预训练和微调。主要内容包括了
数据集的整理与简单清洗
中文词表预训练
基于phi3结构的模型预训练
基于预训练模型的指令微调（SFT），包括了全量微调和LoRA微调
基于指令微调模型的直接偏好优化（DPO）
模型评测
（待做）
项目中的所有训练过程均在两张3090显卡上进行，使用DeepSpeed框架和Flash Attention 2进行加速，预训练用时约40小时，SFT和DPO微调共用时约8小时。本项目是我在学习LLM过程中的一个简单实践，同时也希望能够帮助到同样初学大模型的小伙伴。
项目训练细节等已在Github上开源，欢迎大家提出宝贵意见和建议。
项目地址
