基于 Gemma-3-270M-IT 微调
- 使用 Google 最新一代轻量级大语言模型 Gemma-3，具备优秀的推理能力和指令跟随能力。
- 模型参数精简，推理速度快，资源消耗低，适合资源受限环境部署。
高效推理机制
- 针对数据安全场景优化，在保证准确性的同时提供快速响应。
- 支持流式输出，提升用户体验。
高兼容性
- 支持主流部署方式：本地运行、Docker 容器、Kubernetes 集群、SaaS API 接口等。
- 兼容 HuggingFace Transformers、vLLM、Ollama 等推理框架。

📊 性能特点

Yee-270m 基于 Gemma-3-270M-IT 微调，在保持轻量级特性的同时，针对数据安全领域任务进行了专门优化：

模型参数量：2.7亿，部署资源需求低
支持上下文长度：8K tokens
推理速度快，响应延迟低
针对中文数据安全场景优化

📦 快速开始

python

from transformers import AutoTokenizer, AutoModelForCausalLM

# 加载 tokenizer 和模型
tokenizer = AutoTokenizer.from_pretrained("sds-ai/Yee-270m")
model = AutoModelForCausalLM.from_pretrained(
    "sds-ai/Yee-270m",
    torch_dtype="auto",
    device_map="auto"
)

# 输入提示
prompt = "请帮我检查这份数据是否包含敏感字段？"

# 应用聊天模板
messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

# 编码输入
inputs = tokenizer([text], return_tensors="pt").to(model.device)

# 生成响应
response_ids = model.generate(**inputs, max_new_tokens=1024)
response = tokenizer.decode(response_ids[0][len(inputs.input_ids[0]):], skip_special_tokens=True)

print("小熠：\n", response)

🛠️ 部署方式

你可以通过以下任意一种方式部署小熠：

使用 Transformers 直接加载

python

from transformers import pipeline

pipe = pipeline("text-generation", model="sds-ai/Yee-270m")
response = pipe("数据安全最佳实践有哪些？")

使用 vLLM 启动服务

vllm serve sds-ai/Yee-270m

使用 Ollama / LMStudio

Gemma-3 已被主流本地化 LLM 工具广泛支持，详情请参考官方文档。

📚 最佳实践建议

为获得最佳性能，请遵循以下推荐设置：

参数	推荐值	说明
温度	0.6	平衡创造性和一致性
TopP	0.9	核采样参数
Max Length	2048	最大生成长度

输出长度建议设为 1024 tokens，复杂任务可适当增加。
在多轮对话中，建议保留完整的对话历史以获得最佳效果。

📞 联系我们

了解更多关于小熠的信息，请访问熠数信息官网

🌟 致谢

感谢 Google 开源 Gemma-3 模型，为小熠提供了高效的语言理解和生成能力基础。