Fine-tune de Mistral-7B-Instruct-v0.2 especializado en auditoría forense y cumplimiento fiscal para México y USA, entrenado sobre AMD Instinct MI300X con ROCm 7.2.

Parte del ecosistema ATLAS — sistema multi-agente de detección de anomalías financieras desarrollado para el AMD Hackathon 2026.

Métricas de Entrenamiento

Métrica	Valor
Train Loss	0.0584
Eval Loss	0.0184
Epochs	3
Tiempo	~27 minutos
Dataset	3,502 ejemplos legales MX/USA
Hardware	AMD Instinct MI300X (205GB VRAM)

Especialización

El modelo fue entrenado para razonar sobre casos de auditoría fiscal con base en normativa específica:

México:

Art. 69-B CFF — Operaciones Inexistentes (EFOS/EDOS)
RESICO — Régimen de Confianza (Personas Físicas)
Precios de Transferencia (Art. 59-G LISR)
Auditoría Electrónica y verificación de CFDI

USA:

IRM 4.10 — Examination of Returns
IRM 4.23 — Employment Tax / Worker Classification
BSA/FBAR — Anti-Money Laundering
Bank Deposits Method, Economic Reality Test

Uso

python

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "Rafaelcedav/atlas-mistral-7b-legal"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="bfloat16")

messages = [
    {"role": "system", "content": "Eres ATLAS, auditor forense especializado en derecho fiscal MX/USA."},
    {"role": "user", "content": "Empresa con 1 empleado factura 50MDP en servicios de construcción. ¿Qué artículo aplica?"}
]

input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True)
output = model.generate(input_ids, max_new_tokens=512, temperature=0.1)
print(tokenizer.decode(output[0][input_ids.shape[-1]:], skip_special_tokens=True))

Arquitectura ATLAS

Este modelo opera como agente de razonamiento dentro del pipeline multi-agente ATLAS:

PDF → [Vision InternVL2-40B] → [Compliance Router] → [Mistral-7B / Reasoning]
    → [Validator] → [Explainer] → Reporte Forense

Hardware & Entorno

GPU: AMD Instinct MI300X VF (205.8 GB VRAM)
Framework: PyTorch 2.5.1 + ROCm 6.2
Optimizer: AdamW (adamw_torch)
Precisión: bfloat16
Gradient Checkpointing: ✅

Repositorio

Código fuente, scripts de entrenamiento y pipeline completo: atlas-amd-hackathon

Modelos Relacionados

atlas-r2-qwen3-14b — Motor principal de razonamiento (14B)
atlas-finanzas-deepseek-r1-8b — Análisis financiero profundo