GGUF — SOLARized-GraniStral-14B_1902_YeAM-HCT (Beta)

WARNING! llama-cpp-python (0.3.16) DO NOT SUPPORT mistral3 arch! Use this: https://github.com/ggml-org/llama.cpp

• Main model repo (HF checkpoint + configs + tokenizer + templates + full docs):
  https://huggingface.co/srs6901/SOLARized-GraniStral-14B_1902_YeAM-HCT

Table of Contents

• RU
• EN
• License

RU

• Основной репозиторий модели (полный HF чекпоинт + конфиги + токенизатор + шаблоны + документация):
  https://huggingface.co/srs6901/SOLARized-GraniStral-14B_1902_YeAM-HCT

Что это за модель (коротко)

Что лежит в этом репозитории

• *.gguf: готовые GGUF-кванты для llama.cpp/совместимых рантаймов.

GGUF / llama.cpp

• Если модель начинает печатать literal [/INST], это обычно проблема метаданных токенизатора (pretok/token types) — см. заметки в основном репозитории модели.
• Для мультимодальности в llama.cpp обычно нужен GGUF модели плюс отдельный mmproj GGUF (projector) — см. основной репозиторий.

EN

• Main model repo (full HF checkpoint + configs + tokenizer + templates + docs):
  https://huggingface.co/srs6901/SOLARized-GraniStral-14B_1902_YeAM-HCT

What this model is (short)

Files in this repo

• *.gguf: ready-to-use GGUF quants for llama.cpp and compatible runtimes.

GGUF / llama.cpp notes

• If you see literal service tokens like [/INST] in output, it is almost always a tokenizer metadata issue (token types / pretok). See the main repo for the exact intended configuration.
• For multimodal usage in llama.cpp, expect a model GGUF plus a separate mmproj GGUF (projector). See the main repo.

License