This repository contains a quantized version of the original model ebinan92/Rukopys-OCR-4B in GGUF format (Q4_K_M).
The original model is designed for optical character recognition (OCR) of handwritten and printed text, with a strong focus on Ukrainian and Cyrillic script languages.
Quantization Type:Q4_K_M (Medium 4-bit quantization, optimal balance between speed, RAM/VRAM usage, and quality retention)
Format: GGUF (compatible with llama.cpp, LM Studio, Ollama, etc.)
💻 Usage
In LM Studio / llama.cpp
Working with GGUF Multimodal/Vision models requires downloading both the main .gguf model file and the corresponding mmproj (multimodal projector) file, or using a compatible version of llama.cpp supporting vision architectures.
Download the .gguf model file from the Files and versions tab.
Load it in LM Studio or run via llama.cpp:
./llama-cli -m rukopys-ocr-4b-q4_k_m.gguf --mmproj mmproj-model-f16.gguf --image /path/to/your/handwritten_image.png -p "Recognize the text in this image:"
🇺🇦 Українська
Цей репозиторій містить квантовану версію оригінальної моделі ebinan92/Rukopys-OCR-4B у форматі GGUF (Q4_K_M).
Оригінальна модель призначена для розпізнавання рукописного та друкованого тексту (OCR), з особливим акцентом на українську та кириличні мови.
Тип квантування:Q4_K_M (Medium 4-bit quantization, оптимальний баланс між швидкістю, використанням пам'яті та збереженням якості)
Формат: GGUF (для використання в llama.cpp, LM Studio, Ollama тощо)
💻 Використання
У LM Studio / llama.cpp
Для роботи з Multimodal/Vision моделями у форматі GGUF необхідно завантажити як основний .gguf файл моделі, так і відповідний mmproj (multimodal projector) файл, або використовувати сумісну версію llama.cpp із підтримкою vision-архітектур.
Завантажте файл моделі .gguf із вкладки Files and versions.
Завантажте модель у LM Studio або запустіть через llama.cpp:
./llama-cli -m rukopys-ocr-4b-q4_k_m.gguf --mmproj mmproj-model-f16.gguf --image /path/to/your/handwritten_image.png -p "Розпізнай текст на цьому зображенні:"
🇷🇺 Русский
Данный репозиторий содержит квантованную версию оригинальной модели ebinan92/Rukopys-OCR-4B в формате GGUF (Q4_K_M).
Оригинальная модель предназначена для распознавания рукописного и печатного текста (OCR), с особым упором на украинский и кириллические языки.
Тип квантования:Q4_K_M (Medium 4-bit quantization, идеальный баланс между скоростью, потреблением памяти и сохранением качества)
Формат: GGUF (для использования в llama.cpp, LM Studio, Ollama и др.)
💻 Использование
В LM Studio / llama.cpp
Для работы с Multimodal/Vision моделями в формате GGUF требуется загрузить как основной .gguf файл модели, так и соответствующий mmproj (multimodal projector) файл, либо использовать совместимую версию llama.cpp с поддержкой vision-архитектур.
Скачайте файл модели .gguf из вкладки Files and versions.
Загрузите модель в LM Studio или запустите через llama.cpp:
./llama-cli -m rukopys-ocr-4b-q4_k_m.gguf --mmproj mmproj-model-f16.gguf --image /path/to/your/handwritten_image.png -p "Распознай текст на этом изображении:"
📄 License & Terms / Ліцензія / Лицензия
The original model is distributed under the Apache 2.0 license. Please refer to the original repository for licensing details.
