You can deploy this model and start earning money today!

sarpba/
whisper-hu-large-v3-turbo-finetuned

Name: whisper-hu-large-v3-turbo-finetuned
Availability: InStock

automatic-speech-recognition

generated_from_trainer

openai/whisper-large-v3-turbo

finetune

mit

endpoints_compatible

Views

No views yet

fontos információ, mielött használnád, tesztelnéd

Sajnos úgy tűnik, hogy a Ct2 kvantálás során valami elvész, elromlik a modellben, szinte használhatatlanná válik, az max output tokenek száma drasztikusan leesik, nagyon csonkolja a mondatokat. Még nem tudom hol a határ időben, token számban ahol eklezd csonkolni, de max 10 sec körül vagy inkább alatta. Natív F32-ben szépen dolgozik ahogy a teszteredmények is mutatják, így viszont elveszti a sebességét, ami az értelme lenne. Lehet újra indítom a finomhangolást nativan Float16-on, hogy lássam azzal a modellel mi történik a kvantálás során. (Az original modell is Float16-ban van)

whisper-large-v3-turbo-finetuned-hu

This model is a fine-tuned version of openai/whisper-large-v3-turbo on the custom dataset. It achieves the following results on the evaluation set:

Loss: 0.0287
Wer: 0.0748

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
distributed_type: multi-GPU
num_devices: 2
total_train_batch_size: 32
total_eval_batch_size: 32
optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 500
num_epochs: 2
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
0.0574	0.1176	2000	0.0581	0.1432
0.0495	0.2352	4000	0.0517	0.1283
0.0474	0.3528	6000	0.0479	0.1184
0.0454	0.4704	8000	0.0440	0.1107
0.0409	0.5880	10000	0.0416	0.1024
0.0402	0.7056	12000	0.0419	0.1045
0.0377	0.8231	14000	0.0387	0.0941
0.0377	0.9407	16000	0.0371	0.0950
0.0253	1.0583	18000	0.0360	0.0899
0.0244	1.1759	20000	0.0352	0.0884
0.0238	1.2935	22000	0.0342	0.0884
0.023	1.4111	24000	0.0329	0.0851
0.0224	1.5287	26000	0.0320	0.0819
0.0212	1.6463	28000	0.0310	0.0805
0.0196	1.7639	30000	0.0301	0.0778
0.0189	1.8815	32000	0.0292	0.0762
0.0193	1.9991	34000	0.0287	0.0748

Framework versions

Transformers 4.47.0
Pytorch 2.5.1+cu118
Datasets 3.1.0
Tokenizers 0.21.0

sarpba/whisper-hu-large-v3-turbo-finetuned

fontos információ, mielött használnád, tesztelnéd

whisper-large-v3-turbo-finetuned-hu

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

sarpba/
whisper-hu-large-v3-turbo-finetuned