Whisper Tiny za srpski — destilacija znanja
Whisper Tiny obučen destilacijom znanja iz modela Sagicc/whisper-large-v3-sr-combined. Hibridni gubitak L = 0.5·CE + 0.5·T²·KL, T = 4, top-50 logita učitelja.
Model je nastao u okviru master rada na temu optimizacije malih modela za
automatsko prepoznavanje govora na srpskom jeziku.
Rezultati
Svi modeli su mereni istim postupkom nad istim test skupom od 2.239 uzoraka koji
nijedan model nije video tokom obučavanja. Tekst se pre poređenja normalizuje:
mala slova, bez interpunkcije, pismo svedeno na latinicu.
| model | podudarnost | prosečan WER | zbirni WER | medijana WER | WER > 100 % |
|---|
| whisper-tiny bez treninga | 29.01 % | 95.25 % | 90.21 % | 77.8 % | 171 |
| whisper-tiny-sr-finetuned | 76.14 % | 56.80 % | 39.62 % | 23.1 % | 85 |
| whisper-tiny-sr-distilled | 74.64 % | 39.80 % | 36.25 % | 26.7 % | 39 |
| whisper-tiny-sr-distilled-iterative | 76.03 % | 35.71 % | 33.68 % | 24.4 % | 38 |
| Sagicc/whisper-large-v3-sr-combined (učitelj) | 81.40 % | 30.01 % | 26.11 % | 17.6 % | 22 |
Podudarnost je udeo poklapanja na nivou reči (difflib.SequenceMatcher), veće je
bolje. Zbirni WER je ukupan broj grešaka podeljen ukupnim brojem reči i otporniji
je na kratke iskaze od proseka po uzorku. Kolona WER > 100 % broji uzorke na
kojima je hipoteza duža od reference, što po pravilu znači da je dekodiranje
upalo u petlju.
Korišćenje
1from transformers import pipeline
2
3pipe = pipeline("automatic-speech-recognition", model="BogdanTomic/whisper-tiny-sr-distilled")
4rezultat = pipe("snimak.wav", generate_kwargs={"language": "serbian",
5 "task": "transcribe"})
6print(rezultat["text"])
Podaci
Korpus od oko 200 sati govora na srpskom jeziku iz javno dostupnih izvora.
Priprema obuhvata segmentaciju dugih zapisa, grupisanje uzoraka po boji glasa,
stratifikovanu podelu, prisilno poravnanje zvuka i teksta i proveru
konzistentnosti transkripata. Konačan skup ima 41.082 uzorka za obučavanje, uz
odvojene validacioni (2.219) i test skup (2.239).
Ograničenja
Model je obučen na jednom korpusu srpskog jezika, pa se ponašanje na drugačijem
akustičkom materijalu, spontanom govoru ili dijalektima nije proveravalo. Izlaz
može biti mešovitog pisma, jer učitelj piše ćirilicom a reference su latinične;
pri merenju se pismo svodi na latinicu.
