В этом репозитории представлен результат обучения LoRA в рамках курса по LLM от VK.
В наших экспериментах используется датасет cardiffnlp/tweet_eval. Решаемая задача - предсказание тональности текста (Sentiment Classification).
Для файнтюна на задачу Sentiment Classification бралась модель OuteAI/Lite-Oute-1-300M-Instruct.
Эта модель имеет около 300 млн обучаемых параметров, размер контекста модели до 4096 токенов.
Отметим, что в zero-shot режиме качество предсказаний модели даже с учётом вспомогательных сценариев (некоторого парсинга ответов модели) остаётся довольно низким.
Детали
Описание модели
DoRA - один из способов эффективного файнтюна модели.
Этот метод является модификацией LoRA.
По аналогии с LoRA используются скелетные разложения вместо полных матриц, однако также выучивается некоторое перемасштабирование внутри каждого DoRA-слоя.
