-
C
-
C
-
B
-
C
-
C
-
B
-
B
-
C
-
C
-
B
-
B
-
B C A
-
B D H K F G E J C I A
-
E (BPE - поддерживаем мультиязычность)
-
Польскольку это всего лишь абстракция которая решает проблемы подгрузки датасета
15.1. Т.е Если датасет большой можно разбить на батчи
15.2. Можно паралельно загружать
15.3. Абстракция что бы агрегировать информацию служебную для датасета, востановить токены, или лейблы
15.4. Можно гибко использовать остальные функции torch, переиспользовать уже написанные функции
15.5. По идеи можно из сериализовать
15.4. Из минусов оверхед
-
Схожий пайплайн, в котором указываем оптимизатор, модель.
16.1. Но. в TF - модель компилируется, и на момент компиляции необходимо указать все параметры обучения.
16.2. Torch последовательный питоновский скрипт с возможностью call вызовов низкоуровневых библиотек
16.3. В Torch бывают другие нахвания функций) Но кому это важно.
16.4. в TF все функции и модули находятся почти в одном месте и имеют более гибкую и удобную адаптацию
16.5. В Торче же, каждый чих свой модуль, и будет ли он поддерживать стиль кто его знает
16.6. В Торче можно намного более глубоко залазить в детали реализации конкретного механизма и писать собственные, на TF я таким не занимался
-
Хм.
17.1. Самая узкая вещь это AutoModelForSequenceClassification - она решает конкретную задачу классификации, но с трансформером из AUTOMODEL
17.2. AutoTokenaizer - Очеквидно что это токенайзер, который относительно названия модели подбирает его тип, их же там много. ОЧень важная и узкая вещь, которая привязана к конкретной архитектуре
17.3. AutoModel - просто обертка над арзитектурой по имени, как я понял по имени оно выбирает архитектуру и можно слои доставать. Общая вещь
