Este repositorio contiene una versión optimizada de Jonatan-1987-xtv/gemma-4-e2b-turboquant-tql-3b utilizando la técnica TurboQuant (Hadamard Rotation). Diseñado para ofrecer máxima fidelidad en formato de 4 bits.

🚀 Innovación: TurboQuant

A diferencia de la cuantización Round-to-Nearest estándar, TurboQuant aplica una Transformada Rápida de Hadamard a los pesos antes de cuantizar. Esto distribuye la energía de los outliers, permitiendo que el formato INT4 mantenga una precisión casi idéntica al modelo original de 16 bits.

Fidelidad INT4 (Similitud Coseno): 0.0000
Fidelidad PLE (Embeddings): 0.0000
Configuración: 3-bit Weights / 8-bit Per-Layer Embeddings

📊 Benchmarks Reales (RTX 5080 / Blackwell)

Formato	Throughput (tok/s)	Peak VRAM (GB)	Mejora Speed
Original (FP16)	2.5	10.2	1.0x
TurboQuant (INT4)	12.3	11.0	4.92x
ONNX OGA (q4)	~14.8	~8.8	5.90x

🛠 Guía de Uso Multimodal

Este modelo es trimodal (Texto, Imagen y Audio). Para su uso, se requiere el procesador de Gemma 4.

1. Uso con ONNX Runtime GenAI (Recomendado)

Ideal para aplicaciones .NET MAUI o Python de alta velocidad. Los archivos están en la carpeta /onnx.

python

import onnxruntime_genai as ogai

# Cargar modelo desde la subcarpeta onnx
model = ogai.Model("path/to/repo/onnx")
tokenizer = ogai.Tokenizer(model)

# Inferencia Multimodal
params = ogai.GeneratorParams(model)
prompt = "<image>\nDescribe esta imagen."
input_tokens = tokenizer.encode(prompt)
params.input_ids = input_tokens

# Generar
generator = ogai.Generator(model, params)
while not generator.is_done():
    generator.compute_next_token()
    print(tokenizer.decode(generator.get_next_tokens()), end="")

2. Uso para Audio (Tokens nativos)

python

# El modelo acepta tokens <audio> directamente en el prompt
prompt = "<audio>\nTranscribe y resume este clip de audio."

📁 Estructura del Repositorio

model.safetensors: Pesos empaquetados TurboQuant (INT4).
/onnx: Bundle completo para ONNX Runtime GenAI (incluye vision y audio encoders).
config.json: Configuración de arquitectura Gemma 4.

⚖️ Licencia

Released under Gemma Terms of Use. Base weights by Google DeepMind. Optimized with TurboQuant Professional Toolkit.