litlsun/

task2_advanced

Разметка представленного датасета выполнена в рамках курса по компьютерной лингвистике НИУ ВШЭ (СПб).

Был пороведен статистический анализ текста, включающий:

Анализ уникальности данных Доля уникальных слов: 0.0032

Частотный анализ биграмм и триграмм

Анализ распределений: Длины предложений, слов и n-грамм

Средняя длина предложения: 15.82 Стандартное отклонение длины… See the full description on the dataset page: https://huggingface.co/datasets/litlsun/task2_advanced.