Views
No views yet
[!NOTE] 感谢 MiniMind 原作者 jingyaogong 的贡献。 本仓库的权重是在原作者工作基础上转换而来，并非最原始的 MiniMind 模型权重。 如需访问原始权重，请前往原作者仓库：jingyaogong/minimind-3（HF）/ gongjy/minimind-3（ModelScope）。
1from transformers import AutoModelForCausalLM, AutoTokenizer
2
3tokenizer = AutoTokenizer.from_pretrained("minimind-3")
4model = AutoModelForCausalLM.from_pretrained("minimind-3")
5
6messages = [{"role": "user", "content": "你好，请介绍一下你自己"}]
7prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
8inputs = tokenizer(prompt, return_tensors="pt")
9# BERT 风格 tokenizer 会返回 token_type_ids，但模型 forward 不接收，generate 会报 ValueError，需移除
10inputs.pop("token_type_ids", None)
11out = model.generate(**inputs, max_new_tokens=256)
12print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))| 项目 | 值 |
|---|---|
| 参数量 | 63.9M |
| 层数 | 8 |
| hidden_size | 768 |
| attention heads | 8 (KV 4) |
| head_dim | 96 |
| intermediate_size | 2432 |
| max_position_embeddings | 32768 |
| RoPE theta | 1e6 |
| 精度 | float16 |