Дедуплицированный корпус текстовых фрагментов (и связанных изображений) из
технической базы знаний по металлургии/горному делу/обогащению — источник
для построения векторного индекса (Annoy) в пайплайне RAG.
Индекс НЕ включён в этот репозиторий — эмбеддинги и Annoy-индекс
строятся во время выполнения ноутбука Google Colab (на GPU, это быстрее,
чем на CPU), используя corpus.jsonl как исходные данные. Модель… See the full description on the dataset page:
https://huggingface.co/datasets/brics-edtech/nornikel-metallurgy-rag-index.
