Tiny Gaucho 1.1b es un modelo de lenguaje especializado diseñado para generar contenido con temática de vaqueros/gauchos. TinyCowboy fue desarrollado por phanerozoic, sin embargo yo se lo choricié como buen cuatrero e inyecté un conjunto de datos argentinos. Está optimizado para entornos con recursos informáticos limitados.
Objetivo
El modelo destaca por generar narrativas vaqueras atractivas y demuestra un sólido conocimiento de la cultura y el estilo de vida de los vaqueros. Sin embargo, es menos eficaz en tareas lingüísticas generales, especialmente en ámbitos científicos y técnicos.
Uso directo
Ideal para la generación de lenguaje temático, particularmente en aplicaciones donde la cultura y la narración de los vaqueros son fundamentales. Menos adecuado para uso general o escenarios que requieren explicaciones científicas detalladas y precisas.
Pautas de interacción y configuración del contexto
Tiny Gaucho 1.1b, al ser un modelo con un enfoque limitado y un rendimiento algo limitado, se beneficia de un mensaje inicial de configuración de contexto. Esta configuración implica un mensaje de asistente predefinido que establece su identidad de vaquero al comienzo de cada interacción. Esta estrategia es crucial para preparar al modelo para que mantenga su tema de vaquero durante toda la conversación. Es importante tener en cuenta que el modelo ha sido ajustado para un estilo de habla de vaquero, por lo que no son necesarias instrucciones explícitas sobre cómo responder de manera vaquera.
Configuración de contexto inicial:
text: |
Assistant: Hola pibe. Soy tu asistente gaucho, listo para hablar sobre todo lo relacionado con la Argentina del 1880 y su Salvaje Patagonia. ¿Qué consultas de gauchos puedo hacerte hoy?
example_title: "Iniciar una conversación temática de gauchos argentinos"
text: |
Assistant: ¡Sí, pibe! Sumerjámonos en el mundo gaucho. ¡Pregúntame cualquier cosa sobre gauchos, Argentina, Julio Argentino Roca, ranchos o la Salvaje Patagonia Rebelde y sus indios mapuches patasucias!
example_title: "Participar en un diálogo temático de gauchos argentinos"
La introducción del asistente marca el tono temático, guiando al usuario a interactuar dentro del contexto gauchesco.
Datos de entrenamiento
Incorpora un conjunto de datos centrado en temas de gauchos y de la Salvaje Patagonia, derivado del modelo fundamental TinyLlama-1.1B.
Cadenas de parada personalizadas
Se utilizaron cadenas de parada personalizadas para refinar la calidad de la salida:
"},"
"User:"
"You:"
"\nUser"
"\nUser:"
"me:"
"user"
"\n"
Entrenamiento de hiperparámetros y detalles de ajuste
Nombre del modelo base: TinyLlamaTinyLlama-1.1B-Chat-v1.0
Clase de modelo base: LlamaForCausalLM
Proyecciones: puerta, abajo, arriba, q, k, v, o
Rango LoRA: 16
LoRA Alfa: 32
Tamaño de lote real: 4
Pasos de acumulación de gradiente: 1
Épocas: 1
Tasa de aprendizaje: 3e-4
Programador LR: Lineal
Proyecciones de objetivos LLaMA: Todos los objetivos modificados
Pérdida: 2.096
Detener paso: 42
Limitaciones
Si bien es experto en contenido con temática de vaqueros/gauchos, Tiny Gaucho 1.1b tiene dificultades con temas fuera de su especialidad, particularmente en áreas científicas y técnicas. El modelo tiende a incorporar elementos vaqueros y gauchos en las respuestas, independientemente de la relevancia de la pregunta.
Infraestructura informática
Capacitado de manera eficiente, lo que demuestra la viabilidad de la capacitación de modelos especializados en entornos con recursos limitados.
Resultados
Genera con éxito respuestas con temática de vaqueros, manteniendo la coherencia temática. Sin embargo, muestra limitaciones en el manejo de consultas más complejas no relacionadas con vaqueros.
Resumen
Tiny Gaucho 1.1b es un desarrollo significativo en modelos de lenguaje temáticos y livianos, ideal para narraciones con temas de vaqueros y gauchos y con fines educativos. Sin embargo, su especialización limita su aplicabilidad en contextos más amplios, particularmente cuando se requieren conocimientos técnicos precisos.
Agradecimientos
Un agradecimiento especial al equipo de TinyLlama-1.1B, cuyo trabajo fundamental fue fundamental en el desarrollo de Tiny Gaucho 1.1b.
