해당 모델은 AI hub의 많은 데이터셋을 한번에 학습시킨 것이 특징입니다.
ASR은 domain에 대한 의존도가 매우 큽니다. 이 때문에 하나의 데이터셋에 학습을 시키더라도 다른 데이터셋에 대해서 테스트를 진행하면 성능이 크게 떨어지게 됩니다.
이런 부분을 막기 위해 최대한 많은 데이터셋을 한 번에 학습시켰습니다.
추후 사투리나 어린아이, 노인의 음성은 adapter를 활용하면 좋은 성능을 얻을 수 있을 것입니다.

데이터셋 이름	데이터 샘플 수(train/test)
고객응대음성	2067668/21092
한국어 음성	620000/3000
한국인 대화 음성	2483570/142399
자유대화음성(일반남녀)	1886882/263371
복지 분야 콜센터 상담데이터	1096704/206470
차량내 대화 데이터	2624132/332787
명령어 음성(노인남여)	137467/237469
전체	10916423(13946시간)/1206588(1474시간)

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 32
eval_batch_size: 16
gradient_accumulation_steps: 2
warmup_ratio: 0.01,
num_train_epoch: 1

tomAndJetty/whisper-small-ko

whisper-small-ko

Training results

dataset

Training procedure

Training hyperparameters

tomAndJetty/
whisper-small-ko