🌌 星语者 ——天文学领域专用大语言模型

“让知识开口说话” —— 中国科学院大学 星语调校局 出品

---

📖 简介

• 🔭 天文学知识问答与研究支持
• 📐 数学/物理推理与通识任务
• 🧠 自我认知与多轮指令响应
• 🌐 中英文双语理解与生成能力

---

🧠 模型架构

• 基座模型：BayLing-13B（基于 LLaMA2 架构）
• 微调方式：LoRA（Low-Rank Adaptation）
• 权重设计：冻结原始参数，仅优化少量低秩矩阵，节省训练资源
• 部署方式：支持 8bit/16bit 加载，兼容 HuggingFace

---

💻 本地部署教程

1️⃣ 环境准备

2️⃣ 下载基座模型 BayLing

• bayling-2-7b/ 或 bayling-13b/

3️⃣ 安装依赖

4️⃣ 启动交互服务（以 7B 为例）

---

🧾 自训语料构建

• 通用 + 专业 + 自我认知语料统一整合为一个 .json 文件用于训练；
• 若某类数据数量明显偏少，可通过复制扩充其比例，防止训练中被忽视。

🔧 LoRA 微调步骤

1️⃣ 克隆微调框架

2️⃣ 安装依赖

3️⃣ 配置指令模板

4️⃣ 微调脚本参考

---

🛰️ 星语者模型发布信息

• 13BSS_model_tensors/v3/：LoRA 微调权重（adapter 模型）
• dataset/：训练所用指令语料
• README.md：使用说明

---

🔗 模型合并与导出

---

📊 模型测试与性能评估

🧠 自我认知测试

• 📌 测试内容：5道中文、5道英文的“你是谁”类问题，评估模型是否准确回答其自身身份
• 📂 数据文件：person_output.json
• ✅ 星语者-13B 表现：
  • 中文问题准确率：100%（均回答“星语者”或“StellarSpeak”）

    

  • 英文问题准确率：0%（错误认为自己是 “BayLing-13B”）

    

• 📝 结论：
  • 星语者-13B 自我认知训练语料以中文为主，未覆盖英文场景
  • 英文回答倾向于继承 BayLing 原始输出，反映未完成指令覆盖
• 🔁 对比：BayLing-7B 的中英文回答均正确，准确率为 100%

---

🌐 通用任务测试

• 📌 测试集：vicuna_80_zh（1–10题）与 vicuna_80_en（11–20题）
• 🎯 任务类型：开放问答、逻辑推理、编程写作等多类型问题
• 📄 示例题目：
  • “Python 和 JavaScript 编程语言之间的主要区别是什么？”
  • “我在家工作时如何提高生产力？”

    

  • “植物蛋白和动物蛋白来源之间有什么区别？”
  • “政府如何利用财政和货币政策来应对经济衰退？”
• 📂 数据格式：score.json（包含 output1 = BayLing，output2 = StellarSpeak，win 标签）

  

• 📈 对比结果：
  • StellarSpeak-13B 在 20 道题中胜出 10 题，胜率为 50%
  • 在中文逻辑、信息完整性方面表现更优
• 📝 结论：
  • 通用指令能力在保留 BayLing 能力基础上，增强了中文响应针对性

---

🔭 天文知识测试

• 📌 测试目标：考察模型对恒星、系外行星、X 射线源等核心天文概念的掌握
  示例测试样例（JSON 格式）：
  json

  1{ 2 "instruction": "从天文学角度出发，请处理以下内容。假设你是一个天文学家，下面我给你一个天文技术与方法方向的问题，请你判断以下陈述是否正确，并给出一个明确的结论与简要解释。", 3 "input": "下面这句话你怎么看？在月球上可以观测到人造卫星现象", 4 "output": "在月球上可以观测到人造卫星现象，这是一种新的观测手段。\n结论：这句话是正确的。\n简要解释：这句话表明，人造卫星在月球上可以被观测到，这是一种新的观测手段。" 5}
• 📂 数据来源：Astro-QA 数据集 + 人工构造问题
• ✅ 评估方式：专家人工判分（优 / 中 / 差）
• 🆚 对比结果（与 BayLing-13B）：
  • StellarSpeak-13B 在术语解释、结构表达方面更清晰；
  • BayLing-13B 在超长生成上稍具流畅性
• 📝 结论：
  • StellarSpeak 更适用于科研问答场景，专业性强

---

📐 数学基础测试

• 📌 测试内容：代数推导、单位换算、几何分析、公式应用
  示例测试样例（JSON 格式）：
  json

  1{ 2 "instruction": "Analyze the user's mathematical question and their attempted solution. Identify any errors or points of confusion, and provide a clear, correct answer with a detailed explanation.", 3 "input": "Why is the volume of a sphere $\\frac{4}{3}\\pi r^3$? I learned that the volume of a sphere is $\\frac{4}{3}\\pi r^3$, but why? The $\\pi$ kind of makes sense because it's round like a circle, and the $r^3$ because it's 3-D, but $\\frac{4}{3}$ is so random! How could somebody guess something like this for the formula?", 4 "output": "The volume of a sphere is given by the formula $\\frac{4}{3}\\pi r^3$, where $r$ is the radius of the sphere.\nThis formula is not guessed but derived mathematically. One common derivation involves integral calculus. Imagine slicing the sphere into infinitesimally thin circular disks along its diameter. The area of each disk is $\\pi r^2$, and the radius of the disk depends on its position along the vertical axis. Integrating these areas over the entire sphere yields the $\\frac{4}{3}\\pi r^3$ volume. The $\\frac{4}{3}$ emerges naturally from the geometry during integration." 5}
• 📂 测试方式：构造 10 道典型题目，格式类比 Vicuna
• ✅ 表现分析：
  • StellarSpeak 能准确识别公式、完成单位转换
  • 输出逻辑清晰，符号规范，优于 BayLing-13B
• 📝 结论：
  • 微调显著增强模型对“格式化输出”与“数学表达”的掌控

---

🧪 困惑度、BLEU 指标评估

• 📦 测试设计：将天文与数学问题融合构建统一评估集，包含 40 道真实任务，涵盖：
  • 🌌 天文概念理解（如恒星光谱型、轨道力学）
  • 📐 数学推理能力（如公式推导、单位转换）
• 📊 自动评估指标：
  • 使用 GPT4o tokenizer 计算 Perplexity（困惑度）

    

  • 使用 BLEU 分数评价生成答案的准确性与语言匹配度
    

    

🔍 结论分析：StellarSpeak 的困惑度显著低于 BayLing，说明其语言理解更稳定、生成更聚焦；尽管 BayLing 的 BLEU 得分略高，但主要体现在表面语言相似度，缺乏专业术语的精确性和推理结构的完整性。综合而言，StellarSpeak 更胜一筹，尤其适用于科研问答与教学场景。

---

🧱 硬件需求建议

• 训练推荐：
  • 7B LoRA 训练：50GB 显存
  • 13B LoRA 训练：80GB 显存
  • 推荐显卡：A100 40G、H800、RTX 6000 Ada、RTX 4090

---

🤝 参与贡献

---

🙏 致谢

• 感谢中科院计算所发布的 BayLing 开源模型与 GitHub 仓库 (https://github.com/ictnlp/BayLing) 为星语者模型提供了强大的底座与范式支持。
• 感谢《通用大模型原理及训练实践》课程提供的环境、平台与技术指导。
• 感谢每一位团队成员在语料构建、模型训练、评估实验与文档撰写中做出的贡献！