Views
No views yet
Qwen/Qwen3.5-35B-A3B (MoE, kiến trúc lai Gated DeltaNet + MoE) — License Apache 2.0Khuyến nghị mạnh: dùng kèm RAG (truy hồi văn bản gốc rồi đưa vào ngữ cảnh). Mô hình này được fine-tune để có văn phong pháp lý và nhận diện thương hiệu nhất quán, không dùng để ghi nhớ chính xác số điều/khoản.
enable_thinking=False) hoặc cắt phần trước </think>.repetition_penalty≈1.15 để tránh lặp.1from transformers import AutoTokenizer, AutoModelForCausalLM
2import torch
3
4mid = "chimai/legal-ai-chimai-35b"
5tok = AutoTokenizer.from_pretrained(mid)
6model = AutoModelForCausalLM.from_pretrained(mid, dtype=torch.bfloat16, device_map="auto")
7
8msgs = [{"role": "user", "content": "Bạn là ai?"}]
9inputs = tok.apply_chat_template(msgs, add_generation_prompt=True, enable_thinking=False,
10 return_tensors="pt", return_dict=True).to(model.device)
11out = model.generate(**inputs, max_new_tokens=256, repetition_penalty=1.15, no_repeat_ngram_size=4)
12print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))