Este modelo ha sido desarrollado por LenguajeNatural.AI, con el objetivo de proporcionar a la comunidad de habla hispana herramientas avanzadas para la generación de texto, chat e instrucciones. Es el primero de una serie de modelos que planeamos lanzar.
Licencia
Este modelo se distribuye bajo la licencia Apache 2.0.
Modelo Base
Este modelo se ha afinado a partir de google/gemma-2b, incorporando características avanzadas para una mejor generación de texto y comprensión en tareas de chat e instrucciones en español.
Idioma
El modelo ha sido entrenado exclusivamente en español, con el objetivo de maximizar su efectividad en aplicaciones destinadas a usuarios de habla hispana.
Entrenamiento
El modelo se ha entrenado en tres fases distintas para asegurar un buen rendimiento en una amplia gama de tareas:
Aprendizaje multi-tarea en español: Utilizando múltiples conjuntos de datos supervisados para un entrenamiento al estilo FLAN.
Entrenamiento de instrucciones de alta calidad: Afinando el modelo para entender y generar respuestas a instrucciones complejas.
Entrenamiento de chat y QA abstractivo: Optimizando el modelo para conversaciones fluidas y la generación de respuestas a preguntas abstractas.
En las 3 fases se ha llevado a cabo el entrenamiento gracias a nuestra librería autotransformers.
image/png
Tamaño máximo de secuencia
El tamaño máximo de secuencia para este modelo es de 8192 tokens.
Usos y Limitaciones
Este modelo está diseñado para ser utilizado en aplicaciones de generación de texto, chatbots, y asistentes virtuales en español. Aunque ha sido entrenado para minimizar sesgos y errores, recomendamos evaluar su desempeño en su contexto específico de uso. Los usuarios deben ser conscientes de las limitaciones inherentes a los modelos de lenguaje y utilizar este modelo de manera responsable.
Además, debe tenerse en cuenta que el modelo base es de únicamente 2b parámetros, por lo que este modelo comparte las limitaciones inherentes a los modelos de ese tamaño.
¿Cómo empezar?
Puedes empezar a utilizar este modelo a través de la API de Hugging Face o integrarlo en tus aplicaciones utilizando la biblioteca transformers. Aquí tienes un ejemplo de cómo cargar el modelo:
python
1from transformers import AutoModelForCausalLM, AutoTokenizer
2import torch
34model_name ="LenguajeNaturalAI/leniachat-gemma-2b-v0"5tokenizer = AutoTokenizer.from_pretrained(model_name)6model = AutoModelForCausalLM.from_pretrained(model_name)78# Generar texto9messages =[10{"role":"system","content":"Eres un asistente que ayuda al usuario a lo largo de la conversación resolviendo sus dudas."},11{"role":"user","content":"¿Qué fue la revolución industrial?"}12]13input_ids = tokenizer.apply_chat_template(messages, tokenize=True, return_tensors="pt")14with torch.no_grad():15 output = model.generate(input_ids, max_new_tokens=50)16print(tokenizer.decode(output[0], skip_special_tokens=True))
Evaluación
Para asegurar la calidad del modelo, se ha realizado una evaluación exhaustiva en varios conjuntos de datos, mostrando un rendimiento significativo en la generación de texto y la comprensión de instrucciones en español. Los detalles específicos de la evaluación de los modelos LeNIA-Chat están disponibles en la siguiente tabla.
image/png
Contribuciones
Animamos a la comunidad a contribuir con retroalimentación, sugerencias, y mejoras para este modelo. La colaboración es fundamental para el avance de la inteligencia artificial accesible y ética.
Futuras Versiones
Planeamos continuar mejorando este modelo y lanzar versiones futuras con capacidades ampliadas. Mantente atento a nuestras actualizaciones. Puedes estar al tanto en nuestra página web o nuestra página de LinkedIn.
