WER / CER on each dialect's 200 held-out clips, easiest to hardest. Gulf/Levantine transcribe best; Maghrebi (Tunisian/Algerian/Moroccan) is hardest — consistent across every model.
Dialect
WER
CER
n
Saudi/Gulf (sa)
0.271
0.078
200
Egyptian (eg)
0.291
0.088
200
Yemeni (ye)
0.360
0.133
200
Palestinian (ps)
0.370
0.132
200
Syrian (sy)
0.379
0.144
200
Iraqi (iq)
0.405
0.114
200
Sudanese (sd)
0.417
0.157
200
Bahraini (bh)
0.424
0.154
200
Libyan (ly)
0.427
0.156
200
Lebanese (lb)
0.476
0.165
200
Algerian (dz)
0.525
0.181
200
Moroccan (ma)
0.546
0.179
200
Tunisian (tn)
0.611
0.255
200
Overall
0.423
0.148
2600
v2 comparison — all models on the balanced dataset
Same dialect-balanced test split (~2,600 clips, oddadmix/lahgtna-v3-small), same clean_text scoring, seed 42.
Model
Params
WER
CER
whisper-large-v3-v2
1.54B
0.320
0.120
whisper-large-v3-turbo-v2
809M
0.332
0.125
whisper-medium-v2
769M
0.342
0.128
whisper-small-v2
244M
0.403
0.153
nemotron-3.5-asr-v2 (streaming)
638M
0.423
0.148
qwen3-asr-1.7b-v2
1.7B
0.478
0.182
cohere-transcribe-arabic-07-2026-dialectal-v2
2.07B
0.514
0.294
qwen3-asr-0.6b-v2
0.6B
0.551
0.215
whisper-large-v3-turbo-v2 is the best; Whisper fine-tunes furthest. nemotron is the streaming option. (v1 models were trained on the earlier augmentation-expanded set.)
Examples — base vs. fine-tuned (one clip per dialect)
13 held-out test clips, one per dialect. Base is nvidia/nemotron-3.5-asr-streaming-0.6b untouched; fine-tuned (v2) is this model. Text is clean_text-normalized (undiacritized), matching the WER scoring. Press play to listen.
Dialect
Audio
Reference
Base
Fine-tuned
Egyptian (eg)
لا، في كافيه هنا كده جنب الدار، مع أحمد خطيبها، وزمانها جاي.
لافك فيه هنا كده جنب الدار مع أحمد خاطبها وزمنها
لا فيك فيه هنا كده جنب الدار، مع أحمد خاطبها وزمانها
Lebanese (lb)
ما كون مأمنة حالي. ما أقدر اتحكم. امم. في عندي خوف، إيه.
ما كن أمني حال ما أقدر أتحكم في عندي خوف إيه
ما كن مأمني حالي، ما أقدر أتحكم. امم. في عندي خوف إيه.
Syrian (sy)
يعني إنت كان في عندك نظام فاقد الشرعية الدولية، دول ما كانت تعترف فيه. إقامة و دول
يعني أنت كان في عندك نظام ثاقد الشرعية الدولية الدول ما كان تعترف فيه آه إقامة ودول
يعني أنت كان في عندك النظام فاقد الشرعية الدولية الدول ما كان تعترف فيه. إيه إقامة ودول
Palestinian (ps)
إ- إزميل أنس واستشهد والده.
زميل أناس واستشهد واولته.
زميل أنس واستشهد والده.
Iraqi (iq)
اشتروا كونتينر او نگدر نگول كرفان حديد، واخذوه بمنطقة بعيدة جدا ودفنوه تحت الأرض. وبعد ما انتهوا من فعلا،
لي اشتراوا كونتينر أو نقدر نقول كرافان حديد وأخذوه بمنطقة بعيدة جدا ودفنوه تحت الأرض وبعد ما انتهوا من فعلت.
اشتراو كونتينر أو نقدر نقول كرفان حديد وأخذوا بمنطقة بعيدة جدا ودفنوه تحت الأرض، وبعد ما انتهم من فعلت
Saudi/Gulf (sa)
ومن نسمع إشارتك، ترانا نازلين مستميتين، ما عندنا شي نخسره.
ومن نسمع إشارتك ترى ننازلين المستميتين ما عندنا شيء خسرة
ومن نسمع إشارتك ترانا نازلين مستميتين ما عندنا شيء خسرة.
Bahraini (bh)
ولد وكل بنت، لأنه إذا يبون رب العالمين يسر لهم؟
ولد وكل بنت لأنه إذا يبون رب العالمين يسر لهم
ولد وكل بنت لأن إذا يبون رب العالمين يسر لهم
Yemeni (ye)
وهذا كان ال ال ال ال يعني تستطيع تعتبرها
وهذا كان ال يعني تستطيع تعتبرها
وهذا كان يعني تستطيع تعتبرها
Libyan (ly)
هلبة والله يا بشرى ما ما يحضرنيش حاجة. في بلاد أو برا من البلاد؟
هل بقى والله بشرة ما ي ما يحضرنيش في البلاد أو برم البلاد
هلبة والله بشرة ما يحضرنيش البلاد أو برم البلاد.
Tunisian (tn)
ال الإحتجاجية ما همش م مستأنسين بالأماكن المقابلة اللي هي صالونات الحكم.
ال الاحتجاجية ما هم مستنسين بالأماكن المقابلة اللي هي صلونة الحكم
الاحتجاجية ما همش مستنسين بالأماكن المقابل اللي هي صلونات الحكم
Algerian (dz)
دو عامين. بصح وكان يبياعني أنا ندي عشر سنين ونشوفو هو يخرج أليز في بلاليبرتي.
صح كنبي عنيه أنت عشر و سنين ونشوفه وهو يخرج آلاز بلا لي بختي.
دو عامين. صح وكان يبي عيني أنا دي عشر سنين ونشوفوا هو يخرج آلاز بلا لي باختي.
Moroccan (ma)
ضارت، و طردت، و كاع داك الشي اللي فيها من الجن. وسكنت فيها. و الحمد لله من بعد تزوجت بفرح، و أسامة تزوج بكوثر.
ترضي جعدك شي اللي فيها ملجين وسكنت فيها والحمد لله من بعد زوج ففراح وسامة زوج بكوسر.
وضردوا قاعدك شي اللي فيها من الجن، وسكنت فيها والحمد لله من بعد زوجت بفراح وسامة تزوج بكوتر.
Sudanese (sd)
آاا همارات بينزلها في الفيس، أو بعد ال هنا أقوم أحضر الخطبة بتاعة طارق الهادي. يعني
آه هو راديا نزيلة في الفيس أو بعد هنا يقوم أحضر الخطبة بتاعت آه طارقة الهادي يعني
آآ هم راد بينزله في الفيس أو بعد هنا يقوم أحضر الخطبة بتاعت طارق الهادي، يعني
