Kodify-Nano 🤖

Inference with vLLM

Important! If you encounter the "CUDA out of memory. Tried to allocate..." error despite having sufficient GPU memory, try one of these solutions:

1. Add the --enforce-eager argument
2. Reduce GPU memory utilization (for example --gpu-memory-utilization 0.8)

Note: This may decrease model performance.

Using the Ollama Image

1. Using Docker
2. Locally (provides faster responses than Docker)

Method 1: Running Kodify Nano on OLLAMA in Docker

Without NVIDIA GPU:

With NVIDIA GPU:

Important:

• Ensure Docker is installed and running
• If port 8985 is occupied, replace it with any available port and update plugin configuration

Load the model:

Rename the model:

Start the model:

Method 2: Local Kodify Nano on OLLAMA

1. Download OLLAMA:
   https://ollama.com/download
2. Set the port:

Note: If port 8985 is occupied, replace it and update plugin configuration

1. Start OLLAMA server:

1. Download the model:

1. Rename the model:

1. Run the model:

Plugin Installation

For Visual Studio Code

1. Download the latest Kodify plugin for VS Code.
2. Open the Extensions panel on the left sidebar.
3. Click Install from VSIX... and select the downloaded plugin file.

For JetBrains IDEs

1. Download the latest Kodify plugin for JetBrains.
2. Open the IDE and go to Settings > Plugins.
3. Click the gear icon (⚙️) and select Install Plugin from Disk....
4. Choose the downloaded plugin file.
5. Restart the IDE when prompted.

Changing the Port in Plugin Settings (for Visual Studio Code and JetBrains)

1. Open any file in the IDE.
2. Open the Kodify sidebar:
   • VS Code: Ctrl+L (Cmd+L on Mac).
   • JetBrains: Ctrl+J (Cmd+J on Mac).
3. Access the config.json file:
   • Method 1: Click Open Settings (VS Code) or Kodify Config (JetBrains), then navigate to Configuration > Chat Settings > Open Config File.
   • Method 2: Click the gear icon (⚙️) in the Kodify sidebar.
4. Modify the apiBase port under tabAutocompleteModel and models.
5. Save the file (Ctrl+S or File > Save).

Example API Request

Example Interaction

Kodify-Nano response:

Конечно! Давайте создадим простой сервер на Flask с объяснениями на русском языке. Flask - это мини-модуль для создания веб-приложений на Python, который позволяет быстро и легко разрабатывать приложения с использованием библиотеки Werkzeug.

Установка Flask

Для начала, убедитесь, что у вас установлен Python. После этого установите Flask с помощью pip:

pip install Flask

Пример простого сервера на Flask

Вот пример простого приложения на Flask, которое будет отвечать на запросы на /hello и выводить "Hello, World!".

1. Создайте новый файл, например, app.py.
2. Откройте файл в текстовом редакторе и вставьте следующий код:

from flask import Flask

app = Flask(name)

@app.route('/hello') def hello_world(): return 'Hello, World!'

if name == 'main': app.run(debug=True)

Объяснение кода

1. Импорт Flask: Мы импортируем класс Flask из модуля flask.
2. Создание экземпляра Flask: Создаем экземпляр класса Flask с именем app.
3. Обработчик запросов: Мы декорируем функцию hello_world с помощью @app.route('/hello'). Это означает, что при запросе на /hello Flask вызовет функцию hello_world.
4. Возвращение ответа: Функция hello_world возвращает строку 'Hello, World!'.
5. Запуск сервера: В конце файла добавляем проверку, чтобы при запуске скрипта он запускался в режиме отладки (debug=True).

Запуск сервера

1. Откройте терминал и перейдите в директорию, в которой находится ваш файл app.py.
2. Запустите скрипт с помощью команды:

python app.py

1. Вы увидите сообщение, что сервер запущен на порту 5000. Например:

* Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)

1. Откройте браузер и перейдите на адрес http://127.0.0.1:5000/hello. Вы должны увидеть сообщение "Hello, World!".

Дополнительные функции

Flask предоставляет множество других функций для создания более сложных приложений. Вот некоторые из них:

• Функции маршрутизации: Вы можете добавлять дополнительные маршруты, обрабатывать параметры запросов и т.д.
• Вьюшки: Вы можете создавать вьюшки, которые возвращают HTML-страницы.
• Сессии: Вы можете использовать сессии для хранения данных между запросами.
• БД: Вы можете подключаться к базе данных и выполнять запросы.

Давайте рассмотрим пример с вьюшкой:

from flask import Flask, render_template

app = Flask(name)

@app.route('/') def index(): return render_template('index.html')

if name == 'main': app.run(debug=True)

1. Вьюшка: Создаем файл templates/index.html в папке templates (если он еще не существует) и добавляем следующий код:

html

1<!DOCTYPE html> 2<html lang="ru"> 3<head> 4 <meta charset="UTF-8"> 5 <title>Пример вьюшки</title> 6</head> 7<body> 8 <h1>Привет, мир!</h1> 9 <p>Это пример вьюшки на Flask.</p> 10</body> 11</html>

1. Запуск сервера: Сохраните файлы и запустите сервер снова. Откройте браузер и перейдите на адрес http://127.0.0.1:5000/. Вы должны увидеть HTML-страницу с текстом "Привет, мир!".