
Параметры	~163M
Слоёв	12
Размерность	768
Голов внимания	12
Контекст	1024
Vocab	50 257
FFN	GELU, 4× expansion
Нормализация	Pre-LayerNorm

Кастомная архитектура — загрузка с trust_remote_code=True.

Использование

python

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

repo_id = "GoldenGekko/LinguaLaboratoriumMechanicus"
device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained(repo_id)
model = AutoModelForCausalLM.from_pretrained(repo_id, trust_remote_code=True).to(device)

prompt = "В 31-м тысячелетии Империум"
inputs = tokenizer(prompt, return_tensors="pt").to(device)
output_ids = model.generate(
    inputs["input_ids"],
    max_new_tokens=100,
    do_sample=True,
    temperature=0.8,
    top_k=40,
    pad_token_id=tokenizer.pad_token_id,
    eos_token_id=tokenizer.eos_token_id,
)
print(tokenizer.decode(output_ids[0], skip_special_tokens=True))

Связанные репозитории

LinguaLaboratoriumMechanicus-instruct — SFT-версия для Q&A

Citation

https://huggingface.co/GoldenGekko/LinguaLaboratoriumMechanicus