Neve-Muse-3-26B-GGUF

Introdução

Destaques do Modelo

• Conversação e Interação Natural: Mantém as capacidades de conversação, compreensão de contexto e seguimento de instruções do Gemma 4 26B A4B, produzindo respostas mais naturais e menos previsíveis.
• Roleplay e Personalidades: Otimizado para interpretação de personagens, simulação de personalidades e manutenção de estilos, emoções e características comportamentais durante interações prolongadas.
• Escrita Criativa e Narrativa: Ajustado exclusivamente com dados narrativos para reduzir clichês, melhorar a variedade de expressões e produzir histórias, cenas e diálogos com estilo mais distinto.
• Raciocínio e Aderência a Prompts: Preserva as capacidades de raciocínio, conhecimento, compreensão de linguagem e seguimento de instruções do modelo-base, incluindo suporte a modos configuráveis de pensamento.

Detalhes da Arquitetura

• Arquitetura: Transformer autorregressivo multimodal com arquitetura Mixture-of-Experts, baseado no Gemma 4 26B A4B, com suporte a texto e visão quando utilizado com um arquivo MMProj compatível.
• Parâmetros: ~26B de parâmetros totais, com aproximadamente 4B ativados por token durante a inferência.
• Janela de Contexto: Até 262.144 tokens.
• Camadas: 30 camadas Transformer com atenção local deslizante e atenção global, 16 cabeças de atenção, 8 cabeças de chave e valor, 128 especialistas e 8 especialistas ativados por token.
• Fine-tuning: Ajuste cirúrgico de estilo realizado exclusivamente sobre a camada de saída lm_head, modificando apenas um tensor da arquitetura para reduzir clichês e alterar o estilo de escrita sem substituir as capacidades centrais do modelo-base.

Como utilizar (GGUF)

Licença

Contato