Из датасета взяты только (answer_lang) eq (ru) и (prompt_lang) eq (ru|en) В тренировочном датасете test["output"] пустые
train - 82.48% of data after filtering.
Всего train["input"] - input_ids: 125226 | Наибольшая длинна: 4985 | Количество overflow при ctx(4096): 3
Всего train["output"] - input_ids: 125226 | Наибольшая длинна: 3731 | Количество overflow при… See the full description on the dataset page:
https://huggingface.co/datasets/ai-bond/ru-alpaca-grandpro.
