Qwen Gold Mining LoRAs
LoRA adapters trained on a narrow-domain technical dataset focused on:
gold mining
gold extraction
hydrometallurgy
flotation
cyanidation
metallurgy of precious metals
Base models:
Qwen3-0.6B
Qwen3-4B
Qwen2.5-7B
Qwen3-14B
Training method:
PEFT LoRA
Dataset:
~46M tokens
200+ technical books
This repository contains LoRA adapters used in the experiments described below.
lora-ppl-vs-model-size
LoRA training and PPL evaluation on a technical dataset focused on gold mining, gold extraction, hydrometallurgy, flotation, and precious metals metallurgy.
Изменение PPL в процессе LoRA-обучения моделей Qwen разного размера на корпусе узкой технической области.
Языковые модели обучаются на широких корпусах, включающих значительный объём неформальных и нерецензируемых данных (форумы, социальные сети), в результате чего общий слой знаний содержит неконтролируемую долю неточных, противоречивых и ложных сведений.
При этом уровень понимания узких технических областей остаётся недостаточным и требует целенаправленной адаптации.
Бытует мнение, что LoRA-дообучение на специализированном корпусе является эффективным способом адаптации.
При этом возможно, что в узкой области более компактная модель с LoRA может оказаться точнее в ответах, чем более крупная модель.
Проверим это на практике.
На текущем этапе задача не в получении конечного решения, а в фиксации наблюдений: как модели разного размера реагируют по метрике PPL при адаптации к узкой технической области.
Ранее (
ocr-book-clustering ) с помощью визуального метода кластеризации был выделен узкий датасет книг по тематике разведки, добычи, обогащения, извлечения и аффинажа золота и других благородных металлов.
На основе этого датасета сформирован корпус для LoRA-обучения, используемый во всех экспериментах ниже.
Dataset
200+ книг
61 986 source chunks
25 772 blocks для LoRA (~1800 tokens)
81% blocks в диапазоне 1400–2048 tokens
Всего: ~46 млн tokens
Dataset split:
Split Rows Train 25 151 Valid 621
Source Books
Список книг (развернуть)
Геология / Месторождения / Опробования / Разработка
Поиски и разведка месторождений полезных ископаемых | Бирюков В.И., Куличихин С.Н., Трофимов Н.Н. | 1987
Геология месторождений урана | Бойцов В.Е. | 1989
Геологический справочник по тяжелым литофильным редким металлам | Бурков В.В., Семенов Е.И. и др. | 1987
Что такое рудные месторождения, где и как их искать, 2-е изд. (Библиотечка участника геологического похода | Вольфсон Ф.И. | 1959
Геология южной Африки. | Дю Тойт А. | 1957
Определитель минералов | — | 1992
Самородки | — | 1935
Заварицкий коренные месторождения платины | — | 1922
Поиски и разведка месторождений полезных ископаемых. Производство геолого-разведочных работ | Каждан А.Б. | 1985
ПОЛЕЗНЫЕ ИСКОПАЕМЫЕ СИБИРИ | РЕУТОВСКИЙ В.Е. | 1905
Золото | — | 1970
Золоторудные провинции мира. | Константинов М.М. | 2006
Электрические свойства минералов и горных пород | Ерофеев Л.Я. | 1994
Определитель главнейших минералов руд в отраженном свете | Исаенко М.П., Боришанская С. С, Афанасьева Е. Л. | 1986
Минералы Благородных Металлов. Справочник | Коллектив Авторов | 1986
Где и как искать золото (Библиотечка искателя полезных ископаемых | Рожков И.С. | 1962
Геохимия Рудоносных Кор Выветривания | Бурмин Ю.А. | 1987
Геохимия Золота | Звягинцев О.Е. | 1941
Хаин, Ломизе-Геотектоника с основами геодинамики | — | 2005
Геология месторождений поделочных камней, 2-е изд. | Киевленко Е.Я., Сенкевич Н.Н. | 1983
Алмазы и благородные металлы Тимано-Уральского региона Материалы Всероссийского совещания | — | 2006
Металлогения золота | Буряк В.А. Бакулин Ю.И. | 1998
Оценка прогнозных ресурсов алмазов, благородных и цветных металлов. Выпуск Алмазы | Ваганов В.И., Голубев Ю.К., Минорин В.Е. | 2002
Петрология и геохимия даек щелочно-ультраосновных пород и кимберлитов | Бородин Л.С., Лапин А.В., Пятенко И.К. | 1976
Геология месторождений драгоценных камней | Киевленко Е.Я., Сенкевич Н.Н., Гаврилов А.П. | 1982
Геология. | Кравцов А.И., Бакалдина А.П. | 1979
Россыпные месторождения золота | — | 1977
Том 1 | Рудные месторождения СССР. | 1978
Том 2 | Рудные месторождения СССР. | 1978
Том 3 | Рудные месторождения СССР. | 1978
Гидротермальные месторождения фторкарбонатов редких земель | Семенов Е.И., Хомяков А.П. | 1971
Методическое руководство по определению прогнозных ресурсов золота и серебра ЦНИГРИ | Флеров И.Б., Щепотьев Ю.М., Буйнов А.А. | 1982
Учение о россыпях. Теория россыпеобразующих рудных формаций и россыпей | Шило Н.А. | 2002
Опробование и подсчет запасов твердых полезных ископаемых- год | Якжин А.А. | 1954
Геохимические методы поисков рудных месторождений. | Смирнов В.И. | 1954
Точность разведочных данных и подсчет запасов на россыпях (Техническая библиотечка дальстроевца | Трушков Ю.Н. | 1955
Историческая геология | Хаин, В., Короновский, Н., Ясаманов, Н. | 1997
Геология и геохимия рудных месторождений (Науки о Земле. Том 33 | Щербина В.В. (ред.) | 1971
Вторичное обогащение рудных месторождений. | Эммонс У.Х. | 1935
Технология разработки золоторудных месторождений. | Неганов В.П. | 1995
Технология и комплексная механизация разработки россыпных месторождений, 2-е изд. | Шорохов С.М. | 1973
Березовское золоторудное месторождение | Клейменов Д.А. и др. | 2005
Проектирование открытых гидромеханизированных и дражных месторождений | Ялтанец И.М. | 2003
Геохимические методы поисков месторождений полезных ископаемых | Алексеенко В.А., Войткевич Г.В. | 1979
Геология, минеральный состав, геохимия и особенности металлогении | Амирян Ш.О. - Золоторудные формации Армянской ССР. | 1984
Поиски и разведка месторождений полезных ископаемых лабораторный практикум | Аристов В.В., Безирганов Б.Г., Бортников А. | 1989
Поиски и разведки золота и платины. | Арсентьев А.В. | 1932
Геохимические методы поисков рудных месторождений | Барсуков В.Л., Григорян С.В., Овчинников Л.Н. | 1981
Краткий курс месторождений полезных ископаемых | Бетехтин А.Г., Зверев В.Н., Татаринов П.М. | 1938
Месторождения благородных, радиоактивных и редких металлов | Бойцов В.Е., Пилипенко Г.Н. и др. | 1999
Н-Методика разведки золоторудных месторождений | Воларович Г. П., Иванов В. | 1991
Главнейшие типы рудных месторождений (2е изд. | Вольфсон Ф.И., Дружинин А.В. | 1982
Главнейшие типы рудных месторождений | Вольфсон Ф.И., Дружинин А.В. | 1975
Месторождения платины Исовского и Нижнетагильского районов на Урале | Высоцкий Н. К. | 1913
Геологический Очерк Повенецкого Уезда Олонецкой Губернии И Его Рудных Месторождений | Иностранцев А.А. | 1877
Комплексные медно-молибденовые месторождения | Исаенко М.П., Мовсесян С.А. | 1974
Минералогия Медно-Никелевых Месторождений Кольского Полуострова | Коллектив Авторов | 1981
Поиски и разведка месторождений полезных ископаемых т.2 | Крейтер В.М. | 1961
Опробование руд коренных месторождений золота ЦНИГРИ | Кувшинов В.П., Бакулин Ю.А. и др. | 1992
Геометризация и учет запасов месторождений твердых полезных ископаемых | Кудряшов П.И., Кузьмин В.И. | 1981
Рудные месторождения- год | Магакьян И.Г. | 1955
Методическое руководство по разведке россыпей золота и олова | — | 1955
Промышленная геология золота | Нарсеев В.А. | 1996
Принципы прогноза и оценки месторождений полезных ископаемых (2е изд. | Покалов В.Т. (ред.) | 1984
Рудничная геология. Альбов | — | 1956
Геология полезных ископаемых | Смирнов В.И. | 1976
Прогнозирование скрытого оруденения на основе зональности гидротермальных месторождений | Соколов Г.А. (ред.) | 1976
Геологические структуры рудных полей и месторождений | Яковлев Г.Ф. | 1982
Разработка рудных и россыпных месторождений | Агошков М.И., Борисов С.С., Боярский В.А. | 1962
Опробование месторождений полезных ископаемых- год | Альбов М.Н. | 1975
Поиски и разведка месторождений полезных ископаемых | Бирюков В.И., Куличихин С.Н., Трофимов Н.Н. | 1973
Разработка россыпных месторождений | Лешков В.Г. | 1985
Технология разработки золоторудных месторождений | Неганов В.П. | 1995
Обогащение: флотационное, гравитационное, электрические, магнитные
Флотационные методы обогащения | Абрамов А.А. | 1984
Основы обогащения полезных ископаемых. Т. 1. | Авдохин В.М. | 2006
Основы обогащения полезных ископаемых. Т. 2. | Авдохин В.М. | 2006
Теория и технология флотации руд 363с | Богданов | 1990
Возникновение и развитие гравитационых методов обогащения полезных ископаемых 258с | Глембоцкая | 1991
М-Флотация | Годэн А. | 1959
Микрофлотация. Водоочистка, обогащение | Дерягин Б.В., Духин С.С., Рулев Н.Н. | 1986
Замятин Обогащение золотоносных песков и конгломератов 264с | — | 1975
Основы обогащения полезных ископаемых. | Зверевич В.В., Перов В.А. | 1971
Электромагнитные сепараторы для обогащения слабомагнитных руд и россыпей | Крутий В. В., Скродский В. Е. | 1968
Радиометрическое обогащение нерадиоактивных руд | Мокроусов В.А., Лилеев В.А. | 1979
Флотационное обогащение комплексных титановых и циркониевых руд | Найфонов Т.Б., Белобородов В.И., Захарова И.Б. | 1994
Обогащение руд и россыпей редких и благородных металлов | — | 1987
Электрические методы обогащения | Олофинский Н. Ф. | 1977
Подготовка минерального сырья к обогащению и переработке | Ревнивцев В[1].И. и др. | 1987
Кинетика флотации | Рубинштейн Ю.Б., Филиппов Ю.А. | 1980
Отсадка. | Самылин Н.А. и др. | 1976
Справочник по обогащению руд. Том 1 | — | 1982
Справочник по обогащению руд. Том 2 | — | —
Справочник по обогащению руд. Том 3 | — | 1983
Справочник по обогащению руд. Том 4 | — | 1984
Химическое обогащение руд | Черняк А.С. | 1987
Справочник по обогащению руд черных металлов 527с | Шинкоренко С.Ф. | 1980
Флотационные реагенты в процессах обогащения минерального сырья Кн1 400с | Шубов | 1990
Флотационные реагенты в процессах обогащения минерального сырья Кн2 263с | Шубов | 1990
Оценка эффективности использования пневматических флотомашин Allflot в обогащении шламовой фракции лежалых хвостов - Норильской обогатительной фабрики | — | 2021
Обогатимость минеральных комплеков | Барский Л.А., Данильченко Л.М. | 1977
Флотационные методы обогащения, 4-е изд. | Абрамов А.А. | 2016
Lab experiments using different flotation cell geometries | de Souza C.V. | 2020
Таггарт. Справочник по обогащению полезных ископаемых. Том 3. Опробование и испытание. | Андреев С.Е. (ред.) | 1933
Обогащение руд цветных и редких металлов | Дуденков С.В., Шубов Л.Я. | 1976
Проектирование обогатительных фабрик | Разумов К.А., Перов В.А. | 1982
Извлечение / Гидрометаллургия
Применение хлора в металлургии редких и цветных металлов. | Морозов И.С. | 1966
Черных. Горное дело и металлургия древнейшей Болгарии | — | 1978
Металлургия платиновых металлов | Борбат В.Ф. | 1977
Новые процессы в металлургии никеля и кобальта | Борбат В.Ф., Лещ И.Ю. | 1976
Благородные металлы | Бредихин В.Н., Кожанов В.А., Маняк Н.А., Кушнерова Е.Ю. | 2009
Общая металлургия (3е изд. | Воскобойников В.Г., Кудрин В.А., Якушев А.М. | 1979
Общая металлургия (4е изд. | Воскобойников В.Г., Кудрин В.А., Якушев А.М. | 1985
Электролитическое осаждение сплавов | Вячеславов | 1977
Гальванотехника благородных и редких металлов | Вячеславов П.М. и др. | 1970
Пирометаллургия меди (2-е изд. | Газарян Л.М. | 1965
Гальванические и химические покрытия драгоценными и редкими металлами | — | 1975
Цветная металлургия в годы Великой Отечественной войны | Генералов В.А. | 1995
Двойные и многокомпонентные системы на основе меди | Дриц М.Е. (ред.) | 1979
Сплавы щелочных и щелочноземельных металлов | Дриц М.Е., Зусман Л.Л. | 1986
Металлургия ядерного горючего. Учебник для вузов. Изд. 2-е. | Емельянов В.С., Евстюхин А.И. | 1968
Металлургия редких металлов | Зеликман А.Н. | 1980
Синтетические ионообменные материалы | Зубакова Л.Б., Тевлина А.С, Даванков А.Б. | 1978
Изготовление ювелирных украшений | — | 1991
Гидрометаллургия цинка. Очистка растворов и электролиз | Казанбаев Л. | 2006
Активные угли и их промышленное применение | Кинле Х., Бадер Э. | 1984
Кипящий слой в цветной металлургии | Клушин Д.Н., Серебренникова Э.Я. и др. | 1978
Иониты и ионный обмен (Вопросы современной химии | Кокотов Ю.А. | 1980
Литейное производство цветных и редких металлов | Курдюмов А.В., Пикунов М.В., Чурсин В.М. | 1982
Металлургия свинца (2е изд. | Лакерник М.М. | 1965
Электротермия в металлургии меди, свинца, цинка (2 изд. | Лакерник М.М. | 1971
Металлургия цинка и кадмия. Учебное пособие | Лакерник М.М., Пахомова Г.Н. | 1969
Металлургия цветных металлов | Лакерник М.М., Севрюков Н.Н. | 1957
Гидрометаллургия. Сборник статей | Ласкорин Б.Н. (отв. ред.) | 1971
Иониты в цветной металлургии | Лебедев К.Б. (ред) | 1975
Металлургия свинца_ учебное пособие | Лоскутов Ф.М. | 1965
Безобжиговое окускование руд и концентратов. | Лотош В.Е., Окунев А.И. | 1980
Очерк о первой меди | Максимов М. М. Горнунг М. Б. | 1976
Металлургия редких металлов | Меерсон Г.А., Зеликман А.Н. | 1955
Занимательная металлургия | Мезенин Н.А. | 1967
Гальванические покрытия диэлектриков | Мелащенко Н.Ф. | 1987
Металлургия ртути | Мельников С.М. | 1971
Аэродинамическая классификация порошков | Мизонов В.Е., Ушаков С.Г. | 1989
Основы технологии горного производства. | Некрасовский Я.Э., Колоколов О.В. | 1981
Занимательная гальванотехника (2-е изд. | Одноралов Н.В. | 1965
Занимательная гальванотехника (3-е изд. | Одноралов Н.В. | 1979
Растворение и выщелачивание горных пород | — | 1955
Металлургия вольфрама, молибдена и ниобия. Сборник статей | Резниченко В.А. (ред.) | 1967
Селективные иониты | Синявский В.Г. | 1967
Мет меди, никеля и кобальта. Часть 2. Мет ник и коб | Смирнов В.И., Цейдлер А.А., Худяков И.Ф., Тихонов А.И. | 1966
Благородные металлы. Серебро (Новое в жизни, науке, технике, серия Наука о земле | Соболевский В.И. | 1971
Редкоземельные металлы | Спеддинг Ф.Х., Даан А.Х. (ред.) | 1965
Гельферих - Иониты. Основы ионного обмена | Ф. | 1959
Часть 1. Металлургия меди | — | 1977
Часть 2. Металлургия никеля и кобальта | — | 1977
Металлургия свинца | Чижиков Д.М. | 1944
Металлургия тяжелых цветных металлов | Чижиков Д.М. | 1948
Металлургия благородных металлов | Чугаев Л.В. (ред.) | 1987
Металлургия полупроводников | Шашков Ю.М. | 1960
Металлургия свинца и цинка. Учебник | Шиврин Г.Н. | 1982
Электродные материалы в прикладной электрохимии | Якименко | 1977
Использование физико-технических геотехнологий для повышения эффективности переработки сырья | — | 1993
Хлоридной технологии извлечения золота | Нормуротов Р. | 2010
Условия применения технологий тиокарбамидного выщелачивания золота и серебра | — | 1991
ВЫБОР РЕЖИМОВ ЭЛЕКТРОГИДРАВЛИЧЕСКОГО дробления руды | — | 2016
ИЗВЛЕЧЕНИЯ ЗОЛОТА тиомочевинным | — | 2020
переработка техногенного золотосодержащего сырья | — | 2021
перспективы переработки пиритных хвостов | — | 2003
РАЗВИТИЕ ТЕОРИИ ТОНКОГО ИЗМЕЛЬЧЕНИЯ | ПрядкоНС_ | 2015
Практика применения тиосульфатного выщелачивания благородных металлов из природных материалов | — | 2003
Применение анионита АМ-2Б для извлечения микроколичеств палладия из хлоридных растворов | — | —
Гулишамбаровъ - Благородные металлы и сплавы | — | 1904
научных трудов - Норильск | Сборник | 2012
Исследования по извлечению золота из хвостов флотации руды нижних горизонтов Джиджикруского месторождения тиомочевиной | — | 2013
Treatise_on_Concentration_of_All_Kinds | A_ | 1867
Process simulation and environmental footprint of gold chlorination and cyanidation processes | Elomaa H. et al. | 2017
The Metallurgy of Gold: A Practical Treatise | Eissler M. | 1896
Hydrometallurgy: Fundamentals and Applications | Free M.L. | 2013
Leaching Gold and Silver Ores | Aaron C.H. | 1881
Электролиз в гидрометаллургии | Баймаков Ю.В., Журин А.И. | 1963
Бекпулатов.Методика применения ионообменных смол при извлечении золота из руд.УДК 622.(575 1 | Ж.М. | 2017
металлов_за_полярным_кругом_Технологическое_пособие (2 | Производство_ | 2007
Благородные металлы | Савицкий Е.М. (ред.) | 1984
цианирование | схема_ | —
Кучное выщелачивание благородных металлов | Фазлуллин М.И. (ред.) | 2001
ПРОБИРНОЕ / АНАЛИТИКА
Краткое руководство по опробованию россыпей на золото и редкие металлы | Войтович А.К. | 1941
Справочник по цветным и редким металлам и их соединениям, применяемым в лабораторной практике | Пороженко Б.Л. | 1962
Минералогия и геохимия редких и радиоактивных металлов | Терехов В.Я., Егоров Н.И. и др. | 1987
Основы радиохимии | Давыдов Ю.П. | 2014
Занимательная геохимия | Ферсман А.Е. | 1959
Методика НСАМ № 497-ХС | — | 2017
Диагностика шлиховых минералов | — | 1986
Полевой определитель минералов | Кузин М. Ф., Егоров Н. И. | 1983
Пробирное искусство. Методы сухого пути | — | 1915
Новые реагенты в анализе благородных металлов | Басаргин Н.Н., Розовский Ю.Г. | 1982
Химия рутения, родия, палладия, осмия, иридия, платины | Ливингстон С. | 1978
Уэндландт - Термические методы анализа | У. | 1978
ААС определение ПАЛЛАДИЯ В СУЛЬФИДОНОСНЫХ ПОРОДАХ | — | 2017
Особенности эмиссионных методов анализа золота в потоке плазмы двухструйного плазматрона | — | 2016
Гинзбург | АНАЛИТИЧЕСКАЯ ХИМИЯ ПЛАТИНОВЫХ МЕТАЛЛОВ_С.И. | 1962
Редкие металлы и сплавы. Физико-химический анализ и металловедение | Савицкий Е.М., Бурханов Г.С. | 1980
Пробоотбирание и анализ благородных металлов | Барышников И.Ф. (ред.) | 1978
Лабораторные методы исследования | — | 1913
Elementa Artis Docimasticae(Основы пробирного искусства | — | 1744
Лабораторные методы определения благородных металлов в рудах и продуктах горного производства | — | 2004
АФФИНАЖ
Аффинаж золота, серебра и металлов платиновой группы | Звягинцев О.Е. | 1945
Основы рафинирования цветных металлов. | Колобов Г.А. и др. | 2010
Электроосаждение драгоценных металлов, 6-е изд. (Библиотечка гальванотехника. Выпуск 1 | Буркат Г.К. | 2011
Электролитическое осаждение благородных и редких металлов. | Ямпольский А.М. | 1977
Справочная книга золотых и серебряных дел мастеров. | Тихонов П. | 1904
АППАРАТЫ / ПРОЦЕССЫ
Процессы и аппараты химической технологии ч.1 | Дытнерский Ю.И. | 1995
Процессы и аппараты химической технологии ч.2 | Дытнерский Ю.И. | 1995
Механика твердых дисперсных сред в процессах химической технологии | — | 2002
Аппаратурное оформление производства редких металлов | Юрченко Л.Д. и др. | 1981
Печи для цветных и редких металлов | Крапухин В.В. | 1980
Вращательное и шарошечное бурение скважин на карьерах | Перетолчин В.А. | 1983
Дробление, измельчение и грохочение полезных ископаемых. | Серго Е.Е. | 1985
ЭКОЛОГИЯ
Термические методы обезвреживания промышленных отходов (ГИПХ - Выпуск 61 | Беспамятнов Г.П., Ботушевская К.К., Зеленская Л.А. и др. | 1969
Электрохимическая очистка вод от цианидов | — | 2006
Очистка сточных вод флотацией | Мацнев А.И. | 1976
Experiment
Измеряется изменение validation PPL при LoRA-обучении моделей разного размера.
Условия:
один и тот же dataset
один и тот же validation set
одинаковый метод оценки (PPL)
Контрольные точки:
base (без LoRA)
0.25
0.50
0.75
1.00 epoch
Models (PPL)
Model Base LoRA 0.25 LoRA 0.50 LoRA 0.75 LoRA 1.00 Qwen3-0.6B 16.62 8.60 7.96 7.70 7.65 Qwen3-4B 9.12 6.60 6.36 6.26 6.24 Qwen2.5-7B 7.36 5.57 5.28 5.15 5.13 Qwen3-14B 6.52 4.79 4.62 4.53 4.51
PPL Improvement from Base
Model LoRA 0.25 LoRA 0.50 LoRA 0.75 LoRA 1.00 Qwen3-0.6B 48.27% 52.10% 53.65% 53.95% Qwen3-4B 27.63% 30.26% 31.35% 31.58% Qwen2.5-7B 24.33% 28.26% 30.03% 30.30% Qwen3-14B 26.53% 29.22% 30.55% 30.83%
Charts
PPL vs Epoch
PPL Dynamics
На графике видно:
Основное снижение PPL происходит на начальном этапе обучения (0 → 0.25) у всех моделей.
После 0.5 эпохи улучшение замедляется и выходит на плато.
Более крупные модели имеют более низкий PPL на всех этапах.
Разница между 0.75 и 1.00 эпохами минимальна.
PPL Improvement %
Примечание: процентное снижение PPL считается относительно базовой модели (base). Поэтому более компактные модели показывают больший относительный прирост: Qwen3-0.6B — ~54% против ~30% у более крупных моделей, несмотря на более высокий абсолютный PPL.
Perplexity (PPL) показывает, насколько модели удобно подбирать слова по данной тематике.
Важно: это не метрика правильности ответа.
Низкий PPL означает, что модель лучше соответствует статистике текста, но не гарантирует фактическую корректность или достоверность ответов.
Следующий этап — сравнение ответов моделей: без LoRA, с LoRA и между моделями разного размера.
Вы также можете выполнить это самостоятельно — версия LoRA (epoch 1.00) приложено для каждой модели.
Вероятно, в будущем будут созданы компактные и быстрые модели, заточенные под узкие области знаний и способные работать локально.
LoRA Weights
Author