Mean WER per example: 91.46% Median WER: 100.00% Std Dev: 25.56% Perfect predictions (0% WER): 3/155 Good predictions (<10% WER): 3/155 Bad predictions (>50% WER): 139/155

✓ Evaluation complete!

Wer on finetuned model

Mean WER per example: 22.80% Median WER: 20.00% Std Dev: 20.09% Perfect predictions (0% WER): 22/155 Good predictions (<10% WER): 45/155 Bad predictions (>50% WER): 13/155

✓ Evaluation complete!

====================

Sample predictions:

Example 1: Reference: "میں اپنی صحت کے بارے میں سب سے پہلے صبح اٹھ کے جوس پیتا ہوں، اور اس کے تھوڑے ٹائم بعد فروٹ لے لیتا ہوں" Predicted: "میں اپنی سیٹ کے باریں نے سب سے پہلے صبح اکھیے جوس پیتا ہوں، اور اس کے تھوڑے ٹائم بعد فروٹ لے لیتا ہوں"

Example 2: Reference: "کیا آپ اِس طرح کا سروس دیتے ہیں؟ کسٹمر کو آپ کی گاڑی کی کنڈیشن ایک دم خراب ہے" Predicted: "کیا آپ اِس طرح کا سروس دیتے ہیں؟ کسٹمر کو آپ کی گاڑی کی کنڈیشن اکتم خراب ہے"

Example 3: Reference: لیکن دہلی میں ایسا کوئی بیچ یا سمندر نہیں ہے جہاں پر ہم جا سکتے ہیں... Predicted: "لیکن دہلی میں ایسا کوئی پیج یا سمندر نہیں ہے جاں پر ہم جا سکتے ہیں"

whisper-urdu-base

This model is a fine-tuned version of openai/whisper-base on an unknown dataset.

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 2
eval_batch_size: 1
seed: 42
gradient_accumulation_steps: 8
total_train_batch_size: 16
optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 100
training_steps: 1500

Training results

Framework versions

Transformers 4.52.2
Pytorch 2.9.0+cu126
Datasets 4.0.0
Tokenizers 0.21.

EVAL

============================================================ Example 1/155

Reference: "میں اپنی صحت کے بارے میں سب سے پہلے صبح اٹھ کے جوس پیتا ہوں، اور اس کے تھوڑے ٹائم بعد فروٹ لے لیتا ہوں" Predicted: "میں اپنی سیٹ کے بارے نے سب سے پہلے صبح اکھیے جوس پیتا ہوں، اور اس کے تھوڑے ٹائم بعد فروٹ لے لیتا ہوں" WER: 16.0%

============================================================ Example 2/155

Reference: "کیا آپ اِس طرح کا سروس دیتے ہیں؟ کسٹمر کو آپ کی گاڑی کی کنڈیشن ایک دم خراب ہے" Predicted: "کیا آپ اِس طرح کا سروس دیتے ہیں؟ کسٹمر کو آپ کی گاڑی کی کنڈیشن اکتم خراب ہے" WER: 10.5%

============================================================ Example 3/155

Reference: لیکن دہلی میں ایسا کوئی بیچ یا سمندر نہیں ہے جہاں پر ہم جا سکتے ہیں... Predicted: "لیکن دہلی میں ایسا کوئی پیج یا سمندر نہیں ہے جہاں پر ہم جا سکتے ہیں" WER: 6.2%

============================================================ Example 4/155

Reference: "فصیح الدین، عرشیل، اشرف، مصعب، آصف، عرش، عارف" Predicted: "فسیح دین ارجیل، اشرف، مصاب، آسف، ارج، آرِف" WER: 87.5%

============================================================ Example 5/155

Reference: "ٹیوشن بھی ضروری ہے، اور گھاٹا تو بالکل نہیں ہے" Predicted: "ٹیوشن بھی ضروری ہیں، اور گھاتا تو بلکول نہیں ہے، دیلو برف وٹو" WER: 60.0%

============================================================ Example 6/155

Reference: "مجھے ایک ابھی میٹنگ کے لیے اتنی لیٹ ہو رہی ہے اوہ... اور مجھے کس طرح وہاں پہنچنا ہے؟ اب آپ بتائیے... ہم کو آپ کی گاڑی یہاں بند پڑی ہے" Predicted: "مجھے ایک ابھی میٹن کے لیے اتنی لیٹ ہو رہی ہے، آہ… اور مجھے کس طرح وہاں پہنچنا ہے، ہواد پتہی ہے، ہم کو آپ کی گاڑینا ہاں بند پڑی ہے" WER: 22.6%

============================================================ Example 7/155

Reference: "جیسے مندر میں پوجا پاٹھ کے لیے لوگوں کو بلایا جاتا ہے، اور اچھی اچھی باتیں سکھائی جاتی ہیں" Predicted: "جیسے مندر میں پوچھا پارٹ کے لیے لوگوں کو بلایا جاتا ہے، اور اچھی اچھی باتیں سکھائی جاتی ہیں" WER: 10.5%

============================================================ Example 8/155

Reference: "اس کے علاوہ، چھاتی کے سرطان کی دیگر درجہ بندیاں موجود ہیں، اور دنیا بھر میں کوئی یکساں نظام مستقل طور پر نہیں اپنایا گیا ہے" Predicted: "اِس کے علاوہ چھاتی کے سرطان کی دیکھر درجہ بنڈیا موجود ہیں، اور دنیا بھر میں کو یکسانظم مستقل طور پر نہیں اپنایا گیا ہے" WER: 23.1%

============================================================ Example 9/155

Reference: "چوہوں کے لیے چوہا دانی لگاتے ہیں تاکہ وہ گندگی نہ پھیلائیں" Predicted: "جوہوں کے لیے جو آدانی لگاتے ہیں تاکہ وہ گندگین نہ پھل آئے" WER: 50.0%

============================================================ Example 10/155

Reference: "جیسے کہ سردی کے موسم میں ایک پکوان ہے جسے ہم لوگ انگشتی کہتے ہیں" Predicted: "جیسے کہ سردہی کے موسم میں ایک پکوان ہے، جیسے ہم لوگ انگشتی کہتے ہیں" WER: 13.3%

============================================================ Example 11/155

Reference: "اردو ایک بہت پیاری زبان ہے، اور یہ ایک میٹھی زبان ہے، کہا جاتا ہے کہ اگر کوئی شخص اردو بولے تو اس کی باتوں سے پھول جھڑتے ہیں" Predicted: "اردو ایک بہت پیاری زبان ہے، اور یہ ایک میٹھی زبان ہے، کہا جاتا ہے کہ اگر کوئی شخص اردو بولے تو اس کی باتوں سے بھول جھڑتے ہیں" WER: 3.4%

============================================================ Example 12/155

Reference: "تو اس طور پہ اگر دیکھا جائے تو ہیمر کی بے پناہ فائدے ہیں، کم وقت میں ہم زیادہ سے زیادہ کام کر لیتے ہیں" Predicted: "تو اس طور پہ اگر تیکھا جائے، تو ہیمر کی بے پنا فائدے ہیں، کم وقت میں ہم زیادہ سے زیادہ کام کر لیتے ہیں" WER: 8.0%

============================================================ Example 13/155

Reference: "کیا میرے مہاراشٹرا گرامین بینک اکاؤنٹ میں اتنے پیسے ہیں کہ میں ہزار روپے کا ٹرانجیکشن کر سکوں؟" Predicted: "کیا میرے مہاراشٹرا گرامین بینک اکاونٹ میں اتنے پیسے ہیں کہ میں ہزار روپے کر ٹرانز اکشن کر سکوں؟" WER: 22.2%

============================================================ Example 14/155

Reference: "اِسی طرح، اِس کے علاوہ، ہماری تہذیب، ہماری ثقافت، اِس سے جُڑی ہوئی ہیں" Predicted: "اسی طرح اس کے علاوہ ہماری تہذیب ہماری تقافت اس سے جوڑی ہوئی ہیں" WER: 35.7%

============================================================ Example 15/155

Reference: "اگر ان نسخوں پر کوئی انسان پابندی سے عمل کر لے، تو اس کا وزن بہت جلدی کم ہو سکتا ہے" Predicted: "بکر ان نس کو پر کوئی انسان بھابندی سے امل کر لے تو اس کا وزن بہت جلدی کم ہو سکتا ہے" WER: 23.8%

============================================================ Example 16/155

Reference: "ہاں… بہت ہی خراب نکلا وہ، ہاں… اس کے لیے میں دیکھ رہا ہوں… بہت اچھا نکلا یہ تو" Predicted: "ہاں، بہت یہ خرام نکلا وہ، ہاں، اِس کے لیے میں دیکھرام، بہت اچھا نکلا یہ تو" WER: 42.1%

============================================================ Example 17/155

Reference: "اس میں کافی لوگوں کی جو ہے پریشانیاں ہوئیں، اوہ... وہ چٹیاں کاٹنے کے بعد... اس پہ پھر بری اثرات اور ہر طرح کی چیزیں جو ہیں... لگتی رہتی تھیں۔۔۔" Predicted: "اس میں کافی لوگوں کی جو ہے پریشانیاں ہوں ہی، اوہ... وہ چوٹیاں کارٹنے کے بعد... اس پہ پھر بوری اثرات اور ہر طرحے کی چیزنگ... لگتی ہے، تین تھی" WER: 40.0%

============================================================ Example 18/155

Reference: "ایک بار آپ مینو کارڈ بتا دیجیے کیا کیا ہے؟" …

"سٹارٹر میں جی؟" …

"ٹھیک ہے، فل چکن تندوری کر دیجیے!" Predicted: "ایک بار آپ مینو کارڈ بتا دیجیے، کیا کیا ہے؟ اسٹارٹر میں جی، یہ کہ فول چکن تندوری کر دیجیے" WER: 27.3%

============================================================ Example 19/155

Reference: "وہ مجھے کبھی نہیں ڈانٹتے ہیں—
وہ میری باتوں کو بہت اہمیت دیتے ہیں" Predicted: "وہ مجھے کبھی نہیں ڈانڈتے ہیں، وہ میری باتوں کو بہت اہمیت دیتے ہیں" WER: 7.1%

============================================================ Example 20/155

Reference: "آپ اپنا کام جلدی جلدی کرنے لگیں گے اور جسم میں پھرتیلاپن آئے گا، اور سوچنے کی شکتی بڑھے گی اور ڈپریشن جیسی دماغی بیماریوں سے بہت زیادہ راحت ملے گی" Predicted: "آپ اپنا کام جلدے جلدی کرنے لگیں گے، اور جسم میں پھر تیلا پناے گا اور سوچنے کی شکتی بڑے گی، اور ٹیپریشن جیسی دماغی بیماریوں سے بہت زیادہ رہت ملے گی" WER: 22.6%

============================================================ Example 21/155

Reference: "ہر ہال کا اپنے اپنے الگ ہاسٹل ہوتے ہیں" Predicted: "ہر حال کا اپنے اپنے الگ ہاسٹل ہوتے ہیں" WER: 11.1%

============================================================ Example 22/155

Reference: "جی، میں نے اپنی مادری زبان سے مختلف زبان میں کئی کتابیں پڑھی ہیں، اور یہ تجربہ بہت ہی عمدہ رہا ہے" Predicted: "جی، میں نے اپنی مادری زبان سے مختلف زبان میں کئی کتابیں پڑھی ہیں، اور یہ تجربہ بہت ہی عمدار رہا ہے" WER: 4.5%

============================================================ Example 23/155

Reference: "پھر پانچویں بات یہ ہے کہ اس کا ٹچ سسٹم بہت اچھا ہے، اور چھٹی بات یہ ہے کہ اس کا انٹرنل اسٹوریج جو ہے وہ چونسٹھ جی بی کا ہے" Predicted: "تیر پانجری بات یہ ہے کہ اس کا ٹرچ اسٹم بہت اچھا ہے اور چھٹ ٹی بات یہ ہے کہ اس کا انٹرنہ لسٹوریج چو ہے، وہ چورسٹ ڈی بھی کا ہے" WER: 38.7%

============================================================ Example 24/155

Reference: "جیسے کہ عام طور پر اگر ہم لوگوں کو اپنی بات دوسروں تک پہنچانی ہوتی ہے تو ہم لوگ واٹس ایپ کے ذریعے یا فیس بک کے ذریعے سے یا پھر ٹویٹر کے ذریعے سے دوسروں تک پہنچتے ہیں" Predicted: "جیسے کہ عام دور پر اگر ام لوگوں کو اپنی بات دوسروں تک پہنچانی ہوتے ہیں، دعام لوگ وات سب کے ذریعے یا فیس بک کے ذریعے سے، یا تر ٹویٹر کے ذریعے سے دوسروں تک پہنچتے ہیں" WER: 23.1%

============================================================ Example 25/155

Reference: "ویسے تو کچھ چیزیں مجھے اچھے طرح آتی تھیں اور کچھ چیزیں نہیں آتی تھیں، جیسے کہ کچھ میٹھے بنانے آتے تھے، نہیں آتے تھے" Predicted: "ویسے تو کچھ چیزیں مجھے اچھے طرح آتی تھیں، اور کچھ چیزیں نہیں آتی تھیں جیسے کہ کچھ میٹھے بنانے آتے تھے، نہیں آتے تھے" WER: 0.0%

============================================================ Example 26/155

Reference: "براہ کرم، پی آر آئے این نمبر ایک چھ دو ایک تین چھ ایک پانچ آٹھ آٹھ آٹھ تین کے لیے، اٹل پینشن یوجنا میں گزشتہ مہینے کی میری تاوان کی رقم دکھائیں" Predicted: "برا کرم، پیار آئی این نمبر ایک چھ دو ایک تین، چھ ایک پانچ آٹھ آٹھ کر لیے اٹل پینشن یوجنا میں پوزشتہ مہینے کی میری تاران کی رقم دکھائیں" WER: 27.3%

============================================================ Example 27/155

Reference: "تو سب سے پہلی جو حفظان صحت کی بات کی جائے، تو ہمیں ایسے گندے پانی یا پانی جمع کر کے کھلا ہوا نہیں چھوڑنا چاہیے" Predicted: "تو سب سے پہلی جو ہیوزان ایسے ہت کی بات کی جائے، تو ہمی ایسے گندے پانی یا پانی جمع کر کے کلا ہوا نہیں چھوڑنا چاہیے" WER: 19.2%

============================================================ Example 28/155

Reference: "اس سے پہلے جب فون نہیں تھے، ہم چھوٹے چھوٹے تھے… تب ٹی وی پہ گیمس آتے تھے" Predicted: "اس سے پہلے جک فون نہیں تھے، ہم چھوٹے چھوٹے تھے، تب ٹی وی پہ گیم ساتے تھے" WER: 22.2%

============================================================ Example 29/155

Reference: "وہ میرا ہر وقت خیال رکھتی ہیں، بہت زیادہ خیال رکھتی ہیں" Predicted: "وہ میرا ہر وقت خیال وقتی ہیں، بہت زیادہ خیال وقتی ہیں" WER: 16.7%

============================================================ Example 30/155

Reference: ہیلو جی، راج ونتی سے بات کر رہے ہیں… Predicted: "ہیلو جی، راج ونٹی سے بات کر رہے ہیں" WER: 22.2%

============================================================ Example 31/155

Reference: "یہ ساری چیزیں آپ مجھے بتا دیجیے، تاکہ میں آپ کے پاس آ کر کے جمع کر دوں، اور اِس کے علاوہ کلو میٹر کے حساب سے بھی بتا دیجیے، اور پر ڈے کا بھی حساب بتا دیجیے" Predicted: "یہ ساری چیزیں آپ مجھے بتا دیجیے، تاکہ میں آپ کے پاس آ کر کے جمع کر دوں، اور اس کے علاوہ کلو میٹر کے حساب سے بھی بتا دیجیے، اور پر ڈے کا بھی حساب بتا دیجیے" WER: 2.6%

============================================================ Example 32/155

Reference: "بس ایسا کچھ ہوتا نہیں ہے، دعا تعویذ سے کچھ نہیں ہوتا ہے، لیکن ایک انسان کے اندر ایک وہم ہو جاتا ہے" Predicted: "بس ایسا کچھ ہوتا نہیں ہے، دعا تعویس سے کچھ نہیں ہوتا ہے، لیکن ایک انسان کے اندر ایک وہم ہو جاتا ہے" WER: 4.3%

============================================================ Example 33/155

Reference: "فوٹو گرافی کے ذریعے ہم معاشرہ کی عکاسی کرتے ہیں، کر سکتے ہیں کہ ہمارے معاشرے کا آج حال کیا ہے" Predicted: "فوٹو گرافی کے ذریعے ہم وہاشرہ کی اکا سی کرتے ہیں، کر سکتے ہیں کہ ہمارے وہاشرے کا آج حال کیا ہے" WER: 19.0%

============================================================ Example 34/155

Reference: "انہیں لنکڈ اِن پر شامل کریں، اور اس گفتگو کا ذکر کریں جو آپ نے تقریب میں کی تھی" Predicted: "انہیں لنکن پر شامل کریں، اور اسکفتگوں کا سکر کریں جو آپ نے تقریب میں کی تھی" WER: 26.3%

============================================================ Example 35/155

Reference: "جس میں کبھی کبھار اگر میٹھا میٹھی ڈش تیار کر رہے ہیں، تو اُس میں چینی زیادہ ہو جاتی ہے، یا کوئی نمکین چیز تیار کرتے ہیں، تو اُس میں نمک زیادہ ہو جاتا ہے" Predicted: "چس میں کبھی کدھار گڑھ لوگ میٹھامیٹھی ڈش تیار کر رہے ہیں، تو اس میں چینی زیادہ ہو جاتی ہے یا کوئی نمکین چیس تیار کرتے ہیں، تو اس میں نمکی زیادہ ہو جاتا ہے" WER: 25.7%

============================================================ Example 36/155

Reference: "انہوں نے میراتھن نہیں دوڑے، لیکن شروع سے ہی شرکاء کو لہرا کر ان کی حوصلہ افزائی کی" Predicted: "انہوں نے میرا تھا نہیں دوڑے، لیکن شروع سے ہی شرکا کو لہرا کر ان کی خاصلاب ذہی کی" WER: 27.8%

============================================================ Example 37/155

Reference: "اِسی طرح فرائی پن ہیں، فرائی پن پہ بھی ہم کام لیتے ہیں، انڈے وغیرہ کا آملیٹ بناتے ہیں" Predicted: "اِسی طرح فرائی پن ہیں، فرائی پن پھے بھی ہم کام لیتے ہیں، انڈے وغیرہ کا عاملیٹ بناتے ہیں" WER: 10.5%

============================================================ Example 38/155

Reference: ہیلو جی، آپ زہرا ہوٹل سے بات کر رہے ہیں Predicted: "ہیلو جی، آپ صہرہ ہوتل سے بات کر رہے ہیں" WER: 20.0%

============================================================ Example 39/155

Reference: "پرانے دنوں میں یہ آلات موجود نہ ہونے کی وجہ سے کھانے کی تیاری زیادہ مشقت اور وقت ضائع کرتی تھی" Predicted: "پرانے دنوں میں یہ آلات مو جوڑنا ہونے کی وجہ سے کھانے کی تیاری زیادہ مشقت اور وقت ضایع کرتی تھی" WER: 14.3%

============================================================ Example 40/155

Reference: ٹھیک ہے، شکریہ Predicted: "ٹھیک ہے، شکریہ" WER: 0.0%

============================================================ Example 41/155

Reference: "پیرس، نیو یارک، ٹوکیو، میکسیکو سٹی، دبئی" Predicted: "پیرس، نیو یارک، ٹوکیو، میکسی کو سیٹی دپائی" WER: 57.1%

============================================================ Example 42/155

Reference: "گردوارے میں کیرتن ہوتا ہے، تو وہ کیرتن سُننے کے لیے جاتے ہیں" Predicted: "گردوارے میں کیرتن ہوتا ہے، تو وہ کیرتن سننے کے لیے جاتے ہیں" WER: 7.7%

============================================================ Example 43/155

Reference: "علی گڑھ ہمارے دل میں بستا ہے، علی گڑھ" Predicted: "علی گڑھ ہمارے دل میں بستا ہے، علی گڑھ" WER: 0.0%

============================================================ Example 44/155

Reference: "اس کی جو ہے ہلکی کڑواہٹ ہو اور موموز کی جو کڑواہٹ والی چٹنی ہو وہ خوب اچھی طریقے سے کڑوا ہو" Predicted: "اس کی جو ہے ہل کی کرواہٹ ہو، اور موموز کی جو کرواہٹ والی چٹنی ہو، موہو" اچھے طریقے سے کروا ہو WER: 36.4%

============================================================ Example 45/155

Reference: "میں نے اپنے پاس پہلے کے جو سکے ہیں، وہ جمع کر رکھے ہیں" Predicted: "میں نے اپنے پاس پہلے کے جو سکے ہیں، وہ جمع کر رکھے ہیں" WER: 0.0%

============================================================ Example 46/155

Reference: "کشمیر جو ہے، کشمیر بہت ہی زیادہ خوبصورت مانے جاتے ہیں، اور بہت ہی زیادہ بیوٹیفل اور ہیون آن دا ارتھ اُس کو کہا جاتا ہے" Predicted: "کشمیر جو ہے، کشمیر! بہت ہی زیادہ خوبصورت مانے جاتے ہیں، اور بہت ہی زیادہ بیوٹفل اور ہیونون دہ ارت اُس کو کہا جاتا ہے" WER: 19.2%

============================================================ Example 47/155

Reference: "آج کل کے لوگ خود پر کم اور باباؤں داداؤں پر زیادہ وشواس کرتے ہیں" Predicted: "آچ کل کے لوگ خود پر کم اور بابابوں داداؤں پر زیادہ وشواص کرتے ہیں" WER: 20.0%

============================================================ Example 48/155

Reference: "کیا مجھے ضلع مرزا پور میں کوویکسین ویکسین مل سکتی ہے؟" Predicted: "کیا مجھے ضلع مرزا پور میں کو ویکسین، ویکسین مل سکتی ہے؟" WER: 18.2%

============================================================ Example 49/155

Reference: "ان کے علاوہ عورتوں میں، ویمن میں جو اسپورٹس پرسن ہیں، ان کا کارنامہ حیرت انگیز ہے" Predicted: "نکیلا وار تو میں دیمن میں جو اسپورٹس پرسن ہے، ان کا کرنامہ حیرتنگیز ہے" WER: 52.9%

============================================================ Example 50/155

Reference: "مجھے بتاؤ، کہ کیا میں فروخت کے ٹرانزیکشن کے لیے ایس آئی پی کی درخواست کر سکتا ہوں؟" Predicted: "مجھے بتاؤں کہ کیانے فروخت کے ٹرانسیکشن کے لیے ایسائیپی کی در خاصت کر سکتا ہوں" WER: 50.0%

============================================================ Example 51/155

Reference: "ابھی کچھ دیر پہلے میں نے آڈر کیا تھا: بریانی، چکن چنگیزی، تھمس اپ" Predicted: "ابھی کچھ دیر پہلے میں نے آڈر کیا تھا، بریانی، چکن چنگیزی، تھم سب" WER: 28.6%

============================================================ Example 52/155

Reference: "میں علی گڑھ میں رہتی ہوں، مجھے یہاں کی کافی ساری چیزیں بہت پسند ہیں، ان میں سے جیسے کہ چائے، بریانی، اور سب سے اول درجے پہ آتی ہے تہذیب" Predicted: "میں علی گڑھ میں رہتی ہوں، مجھے یہاں کی کافی ساری چیزیں بہت پسند ہیں، اُن میں سے جیسے کہ چائے، بھیریانی اور سب سے اول درجے پے آتی ہے تہذیب" WER: 9.7%

============================================================ Example 53/155

Reference: "ہمارے یہاں پکوانوں میں بہت سے بہت طرح کے پکوان پکائے جاتے ہیں، لیکن کچھ بہت خاص پکوان ایسے ہیں جو دور تک مشہور و معروف ہیں" Predicted: "ہمارے یہاں پکوانوں میں بہت سے بہت طرح کے پکوان پگائے جاتے ہیں، لیکن کچھ بہت خاص پکوان ایسے ہیں جو دور تک مشہورو ماروف ہے" WER: 18.5%

============================================================ Example 54/155

Reference: "ایک طریقے سے تو اِس لیے میں گانا گاتی ہوں، آہ اور مجھے گانا گانے میں دِلچسپی یہیں سے آئی… اوہ" Predicted: "ایک طریقے سے تو اس لیے میں گانا گاتی ہوں، آہو، اور مجھے گانا گانے میں دلچسپی یہی سے آئی" WER: 28.6%

============================================================ Example 55/155

Reference: "گوالیار پہنچنے کے لیے پنجاب میل کا شیڈیول ٹائم کیا ہے؟" Predicted: "گوالے اور پانچنے کے لیے پنجاب میل کا شڈیول ٹائم کیا ہے؟" WER: 36.4%

============================================================ Example 56/155

Reference: "السّلام علیکم! کیا آپ وازوان ریسٹورینٹ سے بات کر رہے ہیں؟ آہ،میں عبد المُعیز ہوں،آپ کا ریگولر کسٹمر ہوں" Predicted: "اسلام علے کم، کیا آپ واضح ونڈریسٹورینسی بات کر رہے ہو؟"
"آہ، میں آپ دل موہیز ہوں، آپ کا ریگولر کسٹمر ہوں" WER: 73.7%

============================================================ Example 57/155

Reference: "میری امی بہت اچھی سیوئیں بناتی ہیں، سیوی بناتی ہیں، دہی پھلکی، چنا مٹر، دہی بڑا، اور شاہی ٹکڑا سب بناتی ہیں جو مجھے بہت پسند ہوتا ہے" Predicted: "میری امی بہت اچھی سیوے بناتی ہیں، سیوے بناتی ہیں، دہی بھل کی جنا مٹر، دہی بڑا، اور شاہی ٹکڑا سب بناتی ہیں جو مجھے بہت پسند ہوتا ہے" WER: 17.9%

============================================================ Example 58/155

Reference: "اگر جیسے کہیں جانے والے گاڑی ہے، جیسے ہمیں ہمیں یہاں سے جانا ہے راہل وہار، ہمیں یہاں سے بہت اچھی طرح سے ہمیں شفٹ مل جاتی ہے، لفٹ مل جاتی ہے" Predicted: "اگر جیسے کہیں جانے والی گاڑی ہے، مجھے سے ہمیں ہمیں یہاں سے جانا ہے رال وہار، ہمیں یہاں سے بہت اچھی طرح سے ہم شفت مل جاتی ہے، لفٹ مل جاتی ہے" WER: 18.8%

============================================================ Example 59/155

Reference: "مہربانی ہوگی، شکریہ" Predicted: "مہربانی ہوگی، شکریہ" WER: 0.0%

============================================================ Example 60/155

Reference: "مسجدوں میں ہر جمعہ نماز سے پہلے خطبہ دیا جاتا ہے، جس میں قرآن اور حدیث کی تعلیم کے ساتھ ساتھ بھائی چارہ اور محبت کا علم دیا جاتا ہے" Predicted: "نسچدوں میں ہر جو معنمہ سے پہلے خطبہ دیا جاتا ہے، جس میں قرآن اور حدیس کی تعلیم کے ساتھ ساتھ بھائی چارہ اور محبت کا علنڈیا جاتا ہے" WER: 23.3%

============================================================ Example 61/155

Reference: "اسی طرح سے ہم لوگ پانی کا انتظام کرتے ہیں" Predicted: "اسی طرح سے ہم لوگ پانی کا ان دظام کرتے ہیں" WER: 20.0%

============================================================ Example 62/155

Reference: "میں نے وہ ہیڈ فونس آڈر کر دیئے، لیکن جب آج وہ ہیڈ فونس مجھے ملے تو میں بہت اداس ہو گیا، کیوں کہ یہ بہت بھاری ہیں اور ان سے سر میں درد ہونے لگتا ہے" Predicted: "میں نے وہ ہیڈ فونس آڈر کر دیے، لیکن جب آج وہ ہیڈ فونس مجھے ملے، تو میں بہت اداس ہو گیا کیونکہ یہ بہت بھاری ہیں آرن سے سر میں ڈرد ہونے لگتا ہے" WER: 16.2%

============================================================ Example 63/155

Reference: "دو ایک مشینیں بھی ہیں، کچھ اون کی چیزیں بھی ہیں" Predicted: "دو ایک مشینیں بھی ہیں، کچھ اون کی چیزیں بھی ہیں" WER: 0.0%

============================================================ Example 64/155

Reference: "اس کو لگانے سے کان میں درد ہونے لگتا ہے، اور آواز اچھی نہیں آتی اس میں، اور لگانے سے بیٹری بھی جلدی ڈاؤن ہو جاتی ہے" Predicted: "اس کو لگانے سے گان میں در دونے لگتا ہے، اور آواز اچھی نہیں آتی اس میں، اور لگانے سے بیٹری بھی جلدی ڈاؤن ہو جاتی ہے" WER: 11.1%

============================================================ Example 65/155

Reference: "جب میں نے ٹی وی دیکھنا اسٹارٹ کیا، تو اُس میں بہت سارے گانوں کے چینل تھے... اور اُس پہ گانے آتے تھے" Predicted: "جب میں نے ٹی وی دیکھنا اسٹارٹ کیا، تو اس میں بہت سارے گانوں کے چینلزیں اور اس پہ گانے آتے ہیں" WER: 21.7%

============================================================ Example 66/155

Reference: I'm sorry, I can't assist with that request. Predicted: I'm sorry, I can't assist with that request. WER: 0.0%

============================================================ Example 67/155

Reference: "اوکے، اچھا، اچھا، ٹھیک ہے" Predicted: "اوکے اچھا اچھا ٹھیک ہے" WER: 0.0%

============================================================ Example 68/155

Reference: "ہمیں دو، تقریباً دو ہزار روپے کا پڑا تھا، لیکن اُس کو لینے کے بعد وہ کمپنی کا تھا" Predicted: "ہمیں دو تقریبندو ہزار روپیا کا پڑا تھا، لیکن اس کو لینے کے بعد وہ کمپنی کا تھا" WER: 21.1%

============================================================ Example 69/155

Reference: "ایک ڈرائنگ روم ہوتا ہے اسکول میں... جس کے ذریعے بچوں کو دستکار ی سکھائی جاتی ہے" Predicted: "ایک ٹرائنگ روم ہوتا ہے اِسکول میں جس کے ذریعے وچوں کو تست کاری سکھائی جاتی ہے" WER: 29.4%

============================================================ Example 70/155

Reference: "میں نے دیکھا ہے کہ اسپتالوں میں کئی مسائل ہیں" Predicted: "میں نے دیکھا ہے کہ اسپتالوں میں کئی مسائل ہیں" WER: 0.0%

============================================================ Example 71/155

Reference: I'm sorry, but I can't assist with that request. Predicted: I'm sorry, but I can't assist with that request. WER: 0.0%

============================================================ Example 72/155

Reference: "شاہجہاں پور، علی گڑھ، فیروز آباد، رامپور، آگرہ" Predicted: "شاجہاں پور علی گئے، فیروز آباد رام پور، آگرہ" WER: 75.0%

============================================================ Example 73/155

Reference: "جی، جی، جی، اگر پچیس سو میں آپ لے چلیں تو ٹھیک ہے" Predicted: "جی جی، جی، جی، اگر پچی سو میں آپ لے چلے تو ٹھیک ہے" WER: 23.1%

============================================================ Example 74/155

Reference: "پانچ جنوری، دو ہزار تین، دس فروری، دو ہزار دس، پانچ اکتوبر، دو ہزار بارہ، سولہ جولائی، دو ہزار دو، پچیس دسمبر، دو ہزار اکیس" Predicted: "پانچ چنجری دو ہزار تین، دس فروری دو ہزار دس، پانچ اکتو بر دو ہزار بارہ، سولہ جلائی دو ہزار دو، اچیز دسمبر دو ہزار اکیس" WER: 20.0%

============================================================ Example 75/155

Reference: "ضیا، جنوبی گوا میں قریب کا میڈیکل اسٹور تلاش کرو" Predicted: "زیا، جنوبی گوا میں قریب کم میڈیکل اسٹور تراش کرو" WER: 30.0%

============================================================ Example 76/155

Reference: "دودھ بھی اچھا رہ رہا ہاں، دہی بھی جما سک رہا، اس میں اچھا فریشنیش رہ رہا، سب اچھے تازہ رہ رہا" Predicted: "دودھ بھی اچھا رہ رہا، دہی، بھی جمع سکرہ، اِس میں اچھا فریشنے شرہ رہا، سب اچھے تازار رہا" WER: 40.9%

============================================================ Example 77/155

Reference: "گووندا کے ورتک کالج وسائی سے بیچلر آف کمرس کی ڈگری حاصل کرنے کے بعد، ان کے والد نے انہیں فلموں میں جانے کا مشورہ دیا" Predicted: "کووندہ کے یوور تک کالجی وصائی سے بیچلر آف کمرس کی ڈگری حاصل کرنے کے بعد، ان کے والد نے انہیں فلموں میں جانے کا مشورہ دیا" WER: 19.2%

============================================================ Example 78/155

Reference: "پچھلے ہفتے میرے کمرے کا ایک پنکھا خراب ہو گیا تھا، تو میں نے سوچا کہ ایک پنکھا لے لیا جائے" Predicted: "پچھلے ہفتے میرے کمرے کا ایک پنکھا خراب ہو گیا تھا، تو میں نے سوچا کہ ایک پنکھا لے لیا جائے" WER: 0.0%

============================================================ Example 79/155

Reference: "اور اس کے نگیٹیو پوائنٹس یہ تھے کہ… اور جب میں نے اسے یوز کرنے لگی تو اس پہ گرےوی کے اسٹینس پڑ گئے… جو صاف ہی نہیں ہو رہے تھے" Predicted: "اور اس کے نگیٹیو پوائنٹ یہ تھے کہ... اور جب میں نے اسے یوز کرنے لگی تو... اس پہ کیریوی کے اسٹینس پڑ گئے... جو صافی نہیں ہو رہے تھے" WER: 19.4%

============================================================ Example 80/155

Reference: "یہاں پہ لوگوں کا رہنے کا طریقہ، یہاں پہ ہاؤسنگ جو ہے، باہر کے ممالک سے بہت زہادہ ڈفرینس ڈفرینٹ ہے" Predicted: "یہاں پہ لوگوں کا رہنے کا طریقہ، یہاں پہ ہاؤسنگ جو ہے، باہر کے ممالک سے بہت زیادہ ڈفرینس ڈفرینٹ ہے" WER: 4.8%

============================================================ Example 81/155

Reference: "اور آپ اتنا رکھنا کہ ہمیں کوئی دقت نہ ہو، کار وغیرہ میں کوئی گندگی وغیرہ نہ ہو، کہایں صاف ستھرا سا ہو" Predicted: "اور آپ اتنا رکھنا کہ ہمیں کوئی دقتنا ہو، گھار وغیرہ میں کوئی گندگی وغیرہ نہیں ہو، کہیں صاف سترہ آسا ہو" WER: 30.4%

============================================================ Example 82/155

Reference: ہیلو ٹریویل ایجنسی سے بات کر رہے ہیں… Predicted: "ہیلو ٹریول ایجنسی سے بات کر رہے ہیں" WER: 25.0%

============================================================ Example 83/155

Reference: "پیرملور، بھارتی ریاست تمل ناڈو کا ایک قصبہ ہے" Predicted: "پھر ملور بہار تیریعہ ستتمل ناڈو کا ایک قصبہ ہے" WER: 55.6%

============================================================ Example 84/155

Reference: "کیا چائے کی چیزیں، فریشنر آئٹمس، مسالہ کرنے والی اشیا دستیاب ہیں؟" Predicted: "کیا چاہی کی چیزیں فریشنرائٹمس مسالہ کرنے والی اشیاء دستیاو ہے؟" WER: 50.0%

============================================================ Example 85/155

Reference: "کیونکہ اس سے جب ہم رقص کرتے ہیں تو اس سے ہمارا بلڈ سرکولیشن وہ ہے... وہ بہت ٹھیک رہتا ہے" Predicted: "کیونکہ اس سے جب ہم رکھس کرتے ہیں تو اس سے ہمارا بلڈ سرکلیشن وہ ہے، وہ بہت ٹھیک رہتا ہے" WER: 9.5%

============================================================ Example 86/155

Reference: "محمد افضل خان، محمد عبدالرزاق بھائی، محمد جابر حسین، محمد سکندر رضا بخش، محمد گل بدین، فواز خان" Predicted: "محمد افضل خان، محمد اقتل رزاق بھائی، محمد جابر ہو سین، محمد سکندر رزا اپاخ، محمد گلپتین، فواز خان" WER: 44.4%

============================================================ Example 87/155

Reference: "تو اور اس کے بنانے کا جو مسئلہ ہے، اس کے بنانے کا یہ ہے کہ ہمارے گھروں کا بھی یہی مسئلہ ہے" Predicted: "تو اور اس کے بنانے کا جو مسئلہ ہے، اس کے بنانے کا یہ گئے کہ ہمارے گھروں کا بھی یہیں مسئلہ ہے" WER: 8.7%

============================================================ Example 88/155

Reference: "چیزیں ظاہر ہے... وہ فیس دے رہا ہے، تو اُس میں کوچنگ ٹیوشن... ضروری ہے" Predicted: "چیزیں زاہر ہیں، وہ فیس دیرا ہے، تو اس میں کوچنگ کیوشن ضروری ہے" WER: 40.0%

============================================================ Example 89/155

Reference: "سات تین دو چھ سات دو پن کوڈ کے آس پاس کی تمام آئی ایس آئی سی سینٹروں کی فہرست دکھاؤ" Predicted: "سات تین دو، چھ سات دو پن کوڈ کے آس پاس کی تمام آئی سائی سی سینٹروں کی فہرست دکھاؤ" WER: 9.5%

============================================================ Example 90/155

Reference: "مجھے وہ بہت پسند ہیں، اور وہ مجھ سے بہت پیار کرتی ہیں، اور میں بھی ان سے بہت زیادہ پیار کرتی ہوں" Predicted: "مجھے وہ بہت پسند ہے، اور وہ مجھ سے بہت پیار کرتی ہے، اور میں بھی ان سے بہت زیادہ پیار کرتی ہوں" WER: 8.7%

============================================================ Example 91/155

Reference: "اور جہاں تک بات ہے کہ اس کی صنعت کاری، تو یہاں ہمارے ہندوستان میں یہاں پہ تالے کا کاروبار سب سے زیادہ ہوتا ہے—ہمارے علی گڑھ علی گڑھ میں" Predicted: "اور جہاں تک بات ہے کہ اس کی سنت کاری، تو یہاں ہمارے ہندوستان میں، یہاں پہ تالے کا کاروبار سب سے زیادہ ہوتا ہے ہمارے علی گڑھ علی گڑھ میں" WER: 10.0%

============================================================ Example 92/155

Reference: I'm sorry, but I can't assist with that. Predicted: I'm sorry, but I can't assist with that. WER: 0.0%

============================================================ Example 93/155

Reference: "اکبر نے دربار کے کئی دیگر اُمراء کے ساتھ ذاتی طور پر… امیر کا دورہ کیا، اور اِس شادی میں شرکت کی" Predicted: "اکبر نے دربار کے کئی دیگر امرا کے ساتھ زاتی طور پر عمیر کا دورہ کیا اور اِس شادی میں شرکت کی" WER: 18.2%

============================================================ Example 94/155

Reference: "کچھ کھانے جو خاص کر تحواروں پر بنتے ہیں… جیسے ہمارے یہاں عید پر خاص کر سیوئیں، دہی پھلکی، چنے مٹر، یہ رمضان یا تو عید پر ہی بنتے ہیں" Predicted: "کچھ کھانے جو خاص کرتے وہاں روپے بنتے ہیں، جیسے ہمارے یہاں اید پر خاص کر سیرے، دہی پھل کی اچھنے مٹر یہ رمزان یا تو اید پر ہی بنتے ہیں" WER: 36.7%

============================================================ Example 95/155

Reference: "اور موسٹلی یہ اکثر مدرسوں میں اس کو تعلیم نصاب بنایا گیا ہے" Predicted: "اور موسلیے حکسر مدر رسوں میں اس کو تعلیم نصاب بنایا گیا ہے" WER: 30.8%

============================================================ Example 96/155

Reference: "دو پلیٹ لولی پاپ ہے، چکن لولی پاپ جی" Predicted: "دو پلیٹ لولی پاد ہے، چکن لولی پاد، جی" WER: 22.2%

============================================================ Example 97/155

Reference: "گانے کا نام کیا ہے؟" Predicted: "قآنے قانام کیا ہے؟" WER: 60.0%

============================================================ Example 98/155

Reference: "ایک قابلِ ذکر کوشش شیورام گرنتھ کی تھی، جس نے مقامی فنکاروں کا استعمال اور تربیت کرتے ہوئے یکش گانا بیلے تیار کیا اور اس کی نمائش کی" Predicted: "ایک قاابیلے ذکر کوشی شیدرام گرمت کی تھی، جس نے مقامی فنکاروں کا استعمال اور تربیت کرتے ہوئے یکش گانا بیلے تیار کیا، اور اس کی نمائش کی" WER: 14.3%

============================================================ Example 99/155

Reference: "ایک پڑھے لکھے انسان... اس گانے کو سمجھ پاتے تھے" Predicted: "ایک پہلیکھے انسان، اس گانے کو سمجھ پاتے تھے" WER: 20.0%

============================================================ Example 100/155

Reference: "اسی طرح سے ہم لوگ پانی کا انتظام کرتے ہیں بڑی مقدار میں، اور ہمارے سارے مہمان پانی کا لطف اٹھاتے ہیں" Predicted: "اسی طرح سے ہم لوگ پانی کا انتظام کرتے ہیں بڑی مقدار میں اور ہمارے سارے مہمان پانی کا لطفوٹ ہاتے ہیں" WER: 9.1%

============================================================ Example 101/155

Reference: "تھوڑا مہنگا بھی تھا، لیکن دیکھنے میں صحیح تھا، اس لیے میں نے اس کو آڈر کر دیا تھا" Predicted: "تھوڑا مہنگا بھی تھا، لیکن دیکھنے میں صحیح تھا، اس لیے میں نے اس کو آرڈر کر دیا تھا" WER: 5.3%

============================================================ Example 102/155

Reference: "میں نے آن لائن سرچ کیا تو مجھے ایک پنکھا پسند آیا، میرے دوست نے بھی مشورہ دیا کہ وہ پنکھا لے آ لے لو" Predicted: "میں نے آن لائن سچ کیا تو مجھے پنکھا پسند آیا، میرے دوس نے بھی مشورا دیا کہ وہ پنکھا لے آ لیڈو" WER: 24.0%

============================================================ Example 103/155

Reference: "بہت اچھی طریقے سے، اسموتھ طریقے سے، ترکاری کٹ رہی ہے" Predicted: "بہت تچی طریقے سے، سموت طریقے سے ترکاری کارٹ رہی ہے" WER: 27.3%

============================================================ Example 104/155

Reference: "ان کو پیسوں سے بہت زیادہ—ان سے مال ٹھگتے ہیں… اور بہت سے لوگ دیتے چلے جاتے ہیں" Predicted: "ان کو پیسوں سے بہت زیادہ ان سے مال ٹھگتے ہیں، اور بہت سے لوگ تیتے چلے جاتے ہیں" WER: 22.2%

============================================================ Example 105/155

Reference: I'm sorry, but I can't assist with that request. Predicted: I'm sorry, but I can't assist with that request. WER: 0.0%

============================================================ Example 106/155

Reference: "ایسے ای ایس آئی سی سینٹرز تلاش کیجیے، جو یو ٹی آئی قسم کے ہوں اور حادثاتی سروسیز آفر کرتے ہوں، اور جو ضلع دہلائی میں واقع ہوں" Predicted: "ایسے ای ایس آئی سی سینٹرز تلاش کیجیے جو یو ٹی آئی قسم کے ہوں، اور ہاں دساتی سروسز آفر کرتے ہوں، اور جود ضلع دہلائی میں واقع ہوں" WER: 14.3%

============================================================ Example 107/155

Reference: "بس وہ انسانوں کے اندر ایک وہم ہوتا ہے جو انسان اپنے اندر خود پیدا کرتا ہے، اس وہم کو اور خود اس سے لڑ رہا ہوتا ہے" Predicted: "بس وہ انسانوں کے اندر ایک وہم ہوتا ہے، جو انسان اپنے اندر خود پیدا کرتا ہے، اس وہم کو اور خود اس سے لڑ رہا ہوتا ہے" WER: 0.0%

============================================================ Example 108/155

Reference: "اور اگر بات کریں میں اپنے کپڑوں کے پہننے کی، تو میں جینس، شرٹ، ٹی شرٹ وغیرہ کپڑے پہنتا ہوں…" Predicted: "اور اگر بات کرے میں اپنے کپڑوں کے پہنے کی... تو میں چینس شیٹھ ٹی شیٹھ وغیرہ کپڑے پہنتا ہوں" WER: 30.0%

============================================================ Example 109/155

Reference: "تو ان کے لیے جو چیلنج ہوتے ہیں، اس میں سب خاص جو ہوتا ہے وہ کھیتی کا ہوتا ہے" Predicted: "تو ان کے لیے جو چیلنج ہوتے ہیں، اُس میں سب خاص جو ہوتا ہے، وہ کھیتی کا ہوتا ہے" WER: 5.0%

============================================================ Example 110/155

Reference: "اپنے علاقے میں میں مقامی صفاتی مہم میں حصہ لیتا ہوں... اور ریسائکلنگ کو فروغ دیتا ہوں" Predicted: "اپنے علاقے میں میں مقامی سے فاتی محنے حصہ لیجا ہوں، اور ری سائکلنگ کو فروک دیتا ہوں" WER: 41.2%

============================================================ Example 111/155

Reference: "تو اِس طریقے سے یہ کاروبار پیٹ چلانے کے لیے بہت بہتر ہے، اور پردے میں رہ کر کے یہ کام کرنے لیے بھی بہت بہتر ہے" Predicted: "تو اِس طریقے سے یہ کاروبار پیڑ چلانے کے لیے بہت بہتر ہے، اور پردے میں رہ کر کے یہ کام کرنے لیے بھی بہت بہتر ہے" WER: 3.7%

============================================================ Example 112/155

Reference: "میں جن کیمروں سے کبھی ذاتی تصویر لیتا ہوں، اور جو انسٹاگرام وغیرہ کے لیے جو اچھی تصویریں ہوتی ہیں—تو وہ بھی لیتے ہیں اپلوڈ کرنے کے لیے" Predicted: "میں جن قیمروں سے کا بھی آتی تصویر لیتا ہوں، اور جو انسیگرام وغیرہ کے لیے جو اچھی تصویریں ہوتی ہیں، تو وہ بھی لیتے ہیں اپلوڈ کرنے کے لیے" WER: 25.0%

============================================================ Example 113/155

Reference: "بہت سارے لوگ اس میں اپنا پیسہ لگاتے ہیں اور اس میں کاروبار کرتے ہیں، انویسٹ کرتے ہیں اپنا پیسہ" Predicted: "بہت سارے لوگ اس میں اپنا پیسہ لگاتے ہیں، اور اس میں کاروبار کرتے ہیں، ویسٹ کرتے ہیں اپنا پیسہ" WER: 5.0%

============================================================ Example 114/155

Reference: "کوکر میں گوشت وغیرہ آسانی کے ساتھ جلد پک جاتا ہے" Predicted: "ککر میں گوشت وغیرہ آسانی کے ساتھ جلد پچاتا ہے" WER: 27.3%

============================================================ Example 115/155

Reference: "ہندوستانی فلمیں مجھے بہت اچھی لگتی ہیں" Predicted: "ہندوستانی فلم ہے مجھے بہت اچھی لگتی ہیں" WER: 28.6%

============================================================ Example 116/155

Reference: "یہ مجھے بہت پسند ہیں، اور مجھے اور بھی کھیل کھیلنا پسند ہیں" Predicted: "یہ مجھے بہت پسند ہے، اور مجھے اور بھی کھیل کھیلنا پسند ہے" WER: 15.4%

============================================================ Example 117/155

Reference: "اور میں الحمد اللہ اِسی پر بہت زیادہ فخر محسوس کرتا ہوں، … اور میں الحمد اللہ اِسی راستے پر گامزن ہوں، … اور میں اب لوگوں کو علم سکھا رہا ہوں" Predicted: "اور میں علم دلہ اشی پر بہت زیادہ فخر محسوس کرتا ہوں، اور میں علم دلہ اشی راسٹے پر کامزن ہوں، اور میں اب لوگوں کو علم سکھا رہا ہوں" WER: 31.2%

============================================================ Example 118/155

Reference: "جب بھی مجھے کوئی نئی چیز بنانی ہوتی ہے، تو تب میری بہت ہیلپ کرتی ہیں وہ، اور ان کے ساتھ گزارا ہوا وقت مجھے بہت اچھا لگتا ہے، کیونکہ ان سے مجھے نئی چیز سیکھنے کو ملتی ہے" Predicted: "جبھی مجھے کوئی نئی چیز بنانی ہوتی ہے، تو طب میری بہت ہیلپ کرتی ہیں وہ، اور ان کے ساتھ گزارہ ہوا وقت مجھے بہت اچھا لگتا ہے، کیوں کہ ان سے مجھے نئی چیز سیکھنے کو ملتی ہے" WER: 15.4%

============================================================ Example 119/155

Reference: "کیا میں اپنے کام کی فہرستیں دیکھ سکتا ہوں؟" Predicted: "کیا میں اپنے کام کی فہرستیں دیکھ سکتا ہوں؟" WER: 0.0%

============================================================ Example 120/155

Reference: "ابھی ابھی میں پڑھائی کر رہا ہوں، کیونکہ مجھے پڑھائی کرنا بہت پسند ہے" Predicted: "اوہی ابھی میں پڑھائی کر رہا ہوں، کوں کے مجھے پڑھائی کرنا بہت پسند ہے" WER: 21.4%

============================================================ Example 121/155

Reference: "انہوں نے اس بچے کا ہاتھ کس کر پکڑ رکھا تھا، اور ایک پانی کی دوکان پر وہ کچھ باتیں کر رہے تھے" Predicted: "انہوں نے اس بچے کا ہاتھ کس کر پکڑ رکھا تھا اور ایک پانی کی دکان پر وہ کچھ باتے کر رہے تھے" WER: 8.7%

============================================================ Example 122/155

Reference: "دیکھ لیجے... جو کم ہو جائے، وہ آپ کر دیجیے" Predicted: "دیکھ لیجے جو کم ہو جائے، وہ آپ کر دیجیے" WER: 0.0%

============================================================ Example 123/155

Reference: "یورینس کے چاند یوروپا پر موزوں ماحول میں پانی کے موجودگی کا اشارہ ممکن ہے، اس پر ہونے والی ماہیتی اقامة کی ممکن ہے اور جو بیرونی زندگی کی بات کرتی ہے" Predicted: "یورئنس کے چاند یوروپاپرموزوں ماحول میں پانی کے موجود کی قائشارہ ممکن ہے، اس پر ہونے والی ماہیتی ایک عامت کی ممکن ہے اور جو بیرونی زندگی کے بات کرتی ہے" WER: 31.2%

============================================================ Example 124/155

Reference: "یہ ساری چیزیں ہیں جو گملوں میں بھی اگ جاتی ہیں اور آسانی کے ساتھ کم دیکھ بھال میں بھی بڑھ جاتی ہیں" Predicted: "یہ ساری چیزیں ہیں جو گملوں میں بھی اوگچاتی ہیں اور آسانی کے ساتھ کم دیکھ بھال میں بھی پڑ جاتی ہیں" WER: 13.0%

============================================================ Example 125/155

Reference: "تو وہاں کے کتب خانے سے بھی کافی فائدہ حاصل کیا ہے" Predicted: "تو وہاں کے کتب خانے سے بھی کافی فائدہ حاصل کیا ہے" WER: 0.0%

============================================================ Example 126/155

Reference: "کوٹن کے تمام پروڈکٹس دکھاؤ، جو فوری ڈیلیوری کے لئے موجود ہیں" Predicted: "پاتن کی تمام پروڈکٹس دکھاؤ جو فوری علیوری کے لیے موجود ہیں" WER: 41.7%

============================================================ Example 127/155

Reference: "کیا سات آٹھ پانچ نو ایک نوصفر ایک صفر آٹھ صفر پے یو منی پر ہے؟" Predicted: "سیا سا تارٹ پانچ نو ایک، نو سفر، ایک سفر آٹھ سفر پہ یو منی پر ہیں" WER: 56.2%

============================================================ Example 128/155

Reference: "گڈمارننگ، میں نے آپ کے جیو مارٹ سے ایک ٹپر ویئر کا ڈبہ لیا تھا… وہ ڈبہ جو ہے وہ توٹا ہوا ہے، ایک سائڈ سے" Predicted: "گڑھ موننگ، میں نے آپ کے جیومات سیکٹ پر ویئر کا ڈپا لیا تھا، وہ ڈبا جو ہے وہ توٹا ہوا ہے، ایک سائٹ سیٹ" WER: 46.2%

============================================================ Example 129/155

Reference: "اس کے علاوہ ہم ایک دوسرے کے ہاں جاتے ہیں—اور پھر ان لوگوں کی مہمان نوازی کی جاتی ہے…" Predicted: "اس کے علاوہ ہم ایک دوسرے کے ہان جاتے ہیں، اور پھر ان لوگوں کی مہمان نوازی کی جاتی ہے" WER: 21.1%

============================================================ Example 130/155

Reference: "ڈاک ٹکٹ، سکے، اور چٹان، اِن تمام چیزوں کو جمع کرنے کی تعلیمی قدر بہت اہم ہے" Predicted: "اوکے، کاکٹ ٹکتے ان تمام چیزوں کو جماکرنے کی تعلیمی قدر بہت اہم ہیں" WER: 52.9%

============================================================ Example 131/155

Reference: "ہم نے منگوایا تھا آپ اپنے کسٹمر سے پوچھ لیجیے" Predicted: "ہم نے منگوایا تھا پب نے کسٹمر سے پوچھ لیجیے" WER: 20.0%

============================================================ Example 132/155

Reference: "پولیس لاپتا کار کی تلاش بھی کر رہی ہے، جو دو ہزار سات کی سرمائے نسان میکسیما ہے" Predicted: "پولیس لاپتا کار کی تلاش بھی کر رہی ہے... جو تو ہزار ساتھ کی سرمای نسان میکسیمہ ہے" WER: 22.2%

============================================================ Example 133/155

Reference: "اِسی لیے میں حدیث کی اِس فِقے پہ عمل کرتے ہوئے اِس چیز کو آگے بڑھا رہا ہوں" Predicted: "اِسیں لیے میں آتیس کی اِس فیکے پہ عمل کرتے ہوئے، اِس چیز کو آ کے پڑا رہا ہوں" WER: 33.3%

============================================================ Example 134/155

Reference: "اس کے علاوہ... میں نے گھر میں کچھ لیموں کے پودے بھی اگا رکھے ہیں" Predicted: "اس کے علاوہ، میں نے گھر میں کچھ لیموں کے بہتے بھی اگار اکھیے" WER: 26.7%

============================================================ Example 135/155

Reference: "یہ سو دسمبر دو ہزار آٹھ میں آن ایڈ ہوا" Predicted: "یہ سو دسمبر دو ہزار آٹھ میں آنےٹ ہوا" WER: 20.0%

============================================================ Example 136/155

Reference: I'm here to assist you with text and information. If you have any questions or need assistance, please let me know. Predicted: I'm here to assist you with text and information. If you have any questions or need assistance, please let me know. WER: 0.0%

============================================================ Example 137/155

Reference: ہیلو، زہرا ریسٹورنٹ سے بول رہے ہیں۔ Predicted: "ہلوم زیرار اسٹارن سے بول رہے ہیں" WER: 42.9%

============================================================ Example 138/155

Reference: "چلیے، کوئی بات نہیں" Predicted: "چلیے کوئی بات نہیں" WER: 0.0%

============================================================ Example 139/155

Reference: "اور جب میں اسے اپنے گھر والوں کے سامنے رکھتی ہوں تو میرے گھر والوں کو بھی میرے ہاتھ کی بنائی ہوئی سبزی بہت پسند آتی ہے" Predicted: "اور جب میں اسے اپنے گھر والوں کے سامنے رکھتی ہوں، تو میرے گھر والوں کو بھی میرے ہاتھ کی بنائی ہوئی سبزی بہر پسند آتی ہے" WER: 3.7%

============================================================ Example 140/155

Reference: I'm sorry, but I can't assist with that request. Predicted: I'm sorry, but I can't assist with that request. WER: 0.0%

============================================================ Example 141/155

Reference: "تو صرف شوگر کی چائے کچھ لوگ پسند کرتے ہیں، تو کہنے کا مطلب یہ ہے کہ ہندوستان میں بہت طرح کی چائے پی جاتی ہے اور لوگ پسند بھی کرتے ہیں" Predicted: "تو صرف شوگر کی چائے کچھ لوگ پسند کرتے ہیں، تو کہنی کا مطلب یہ ہے کہ ہندوستان میں بہت طرح کی چائے پی جاتی ہیں، اور لوگ پسند بھی کرتے ہیں" WER: 6.2%

============================================================ Example 142/155

Reference: "اتر پردییش نے ہندستان کی آزادی میں نمایاں ررررررررول ادا کیا ہے" Predicted: "اُتر پردیش یہ ہمارے لائیاتی میں نمای عبر آپر رہے اِس کے واللق… فاقنا" WER: 116.7%

============================================================ Example 143/155

Reference: "اور دوسری بات یہ ہے مجھے اس کا کیمرا بہت نیکسٹ لیول کا لگا جو بہت بہتر لگا" Predicted: "اور دوسری بات یہ ہے مجھے اس کا کیمرہ بہت نیکسٹ لیول کا لگا، جو بہت بہتر لگا" WER: 5.6%

============================================================ Example 144/155

Reference: "بس ایک پروف ہوتا ہے کہ ہاں ہم بنارس سے آئے ہیں، دِلی سے آئے ہیں، لکھنؤ سے آئے ہیں، مدراس سے آئے ہیں، چنئی سے آئے ہیں" Predicted: "بس ایک پروف ہوتا ہے کہ ہاں، ہم بنارس سے آئے ہیں، دلی سے آئے، لکھنوں سے آئے ہیں، مدرہ سے آئے، چننی سے آئے" WER: 25.0%

============================================================ Example 145/155

Reference: "مجھے بتاؤ، مقامی شاپنگ ڈسٹرکٹ کا کون سا ہے؟" Predicted: "مجھے بتاؤ مقامی شاپنگ ڈسٹرکٹ کا کون سا ہے؟" WER: 11.1%

============================================================ Example 146/155

Reference: "مجھے کھیل کا کافی شوق ہے—اور کتابوں کا مطالعہ کرنے کا" Predicted: "مجھے کھیل کا کافی شوق ہے اور کتابوں کا مطالع کرنے گار" WER: 36.4%

============================================================ Example 147/155

Reference: "کیا آپ آئس کریم برتن بالوں کی دیکھ بھال کی اشیاء رکھتے ہیں؟" Predicted: "کیا آپ آئس کریم برتن بالوں کے دیکھ بال کے اشیاء رکھتے ہیں؟" WER: 23.1%

============================================================ Example 148/155

Reference: "دیوریا، گونڈہ، بلرام پور، بستی، ارریہ" Predicted: "اتی وریا، گونہ، پلارامپور، برستی، پریا" WER: 100.0%

============================================================ Example 149/155

Reference: "جی ہاں، مجھے الرجی ہے" Predicted: "جی ہاں، مجھے الار جی ہے" WER: 40.0%

============================================================ Example 150/155

Reference: "گوتم بدھ نگر لوک سبھا حلقہ شمالی ہندوستان کی ریاست اتر پردیش کے اسی لوک سبھا حلقوں میں سے ایک ہے، بلند شہر اور گوتم بدح نگر اضلاع میں پھیلا ہوا ہے" Predicted: "گوتم بدھنگر لوک سبھا حلقہ شمالی ہندوستان کی ریاست اتر پردیش کے اسی لوک سبھا حلقوں میں سے ایک ہے، بلن شہر اور گوتم بدھنگر اضلامے پھیلا ہوا ہے" WER: 21.9%

============================================================ Example 151/155

Reference: "کیا ڈالر کا ریٹ بڑھا ہے؟" Predicted: "کیا دالر کاریت بڑا ہے؟" WER: 66.7%

============================================================ Example 152/155

Reference: "پلنگ" Predicted: "پلنگ" WER: 0.0%

============================================================ Example 153/155

Reference: "ہم تک نہیں پہنچا ہے" Predicted: "ہم تک نہیں پہنچا ہے" WER: 0.0%

============================================================ Example 154/155

Reference: "جی ہاں، مجھے ریڈیو پر خبریں سننا پسند ہے، کیونکہ ریڈیو پر ہمیں زیادہ کچھ کرنا نہیں ہوتا ہے" Predicted: "جی ہاں، مجھے ریڈیو پر خبریں سننا پسند ہے، کیوں کہ ریڈیو پر ہمیں زیادہ کچھ کرنا نہیں ہوتا ہے" WER: 10.5%

============================================================ Example 155/155

Reference: "محمد رفیق، محمد شعیب، محمد افضل، محمد ارشد، محمد اسد" Predicted: "محمد رفیک، محمد شعب، محمد افسل، محمد اشد، محمد اشد" WER: 50.0%

============================================================ FINAL RESULTS ON 155 EXAMPLES

WER (with symbols): 24.39% WER (without symbols): 21.40% Accuracy: 78.60%

============================================================ SAMPLE PREDICTIONS (WITH SYMBOLS)

Example 36: Reference: "انہوں نے میراتھن نہیں دوڑے، لیکن شروع سے ہی شرکاء کو لہرا کر ان کی حوصلہ افزائی کی" Predicted: "انہوں نے میرا تھا نہیں دوڑے، لیکن شروع سے ہی شرکا کو لہرا کر ان کی خاصلاب ذہی کی" WER (no symbols): 27.8%

Example 89: Reference: "سات تین دو چھ سات دو پن کوڈ کے آس پاس کی تمام آئی ایس آئی سی سینٹروں کی فہرست دکھاؤ" Predicted: "سات تین دو، چھ سات دو پن کوڈ کے آس پاس کی تمام آئی سائی سی سینٹروں کی فہرست دکھاؤ" WER (no symbols): 9.5%

Example 92: Reference: I'm sorry, but I can't assist with that. Predicted: I'm sorry, but I can't assist with that. WER (no symbols): 0.0%

Example 143: Reference: "اور دوسری بات یہ ہے مجھے اس کا کیمرا بہت نیکسٹ لیول کا لگا جو بہت بہتر لگا" Predicted: "اور دوسری بات یہ ہے مجھے اس کا کیمرہ بہت نیکسٹ لیول کا لگا، جو بہت بہتر لگا" WER (no symbols): 5.6%

Example 110: Reference: "اپنے علاقے میں میں مقامی صفاتی مہم میں حصہ لیتا ہوں... اور ریسائکلنگ کو فروغ دیتا ہوں" Predicted: "اپنے علاقے میں میں مقامی سے فاتی محنے حصہ لیجا ہوں، اور ری سائکلنگ کو فروک دیتا ہوں" WER (no symbols): 41.2%

Example 22: Reference: "جی، میں نے اپنی مادری زبان سے مختلف زبان میں کئی کتابیں پڑھی ہیں، اور یہ تجربہ بہت ہی عمدہ رہا ہے" Predicted: "جی، میں نے اپنی مادری زبان سے مختلف زبان میں کئی کتابیں پڑھی ہیں، اور یہ تجربہ بہت ہی عمدار رہا ہے" WER (no symbols): 4.5%

Example 62: Reference: "میں نے وہ ہیڈ فونس آڈر کر دیئے، لیکن جب آج وہ ہیڈ فونس مجھے ملے تو میں بہت اداس ہو گیا، کیوں کہ یہ بہت بھاری ہیں اور ان سے سر میں درد ہونے لگتا ہے" Predicted: "میں نے وہ ہیڈ فونس آڈر کر دیے، لیکن جب آج وہ ہیڈ فونس مجھے ملے، تو میں بہت اداس ہو گیا کیونکہ یہ بہت بھاری ہیں آرن سے سر میں ڈرد ہونے لگتا ہے" WER (no symbols): 16.2%

Example 52: Reference: "میں علی گڑھ میں رہتی ہوں، مجھے یہاں کی کافی ساری چیزیں بہت پسند ہیں، ان میں سے جیسے کہ چائے، بریانی، اور سب سے اول درجے پہ آتی ہے تہذیب" Predicted: "میں علی گڑھ میں رہتی ہوں، مجھے یہاں کی کافی ساری چیزیں بہت پسند ہیں، اُن میں سے جیسے کہ چائے، بھیریانی اور سب سے اول درجے پے آتی ہے تہذیب" WER (no symbols): 9.7%

Example 3: Reference: لیکن دہلی میں ایسا کوئی بیچ یا سمندر نہیں ہے جہاں پر ہم جا سکتے ہیں... Predicted: "لیکن دہلی میں ایسا کوئی پیج یا سمندر نہیں ہے جہاں پر ہم جا سکتے ہیں" WER (no symbols): 6.2%

Example 49: Reference: "ان کے علاوہ عورتوں میں، ویمن میں جو اسپورٹس پرسن ہیں، ان کا کارنامہ حیرت انگیز ہے" Predicted: "نکیلا وار تو میں دیمن میں جو اسپورٹس پرسن ہے، ان کا کرنامہ حیرتنگیز ہے" WER (no symbols): 52.9%

============================================================ ERROR ANALYSIS (WITHOUT SYMBOLS)

🎯 BEST PREDICTIONS (Lowest WER):

WER: 0.0% Reference: "ویسے تو کچھ چیزیں مجھے اچھے طرح آتی تھیں اور کچھ چیزیں نہیں آتی تھیں، جیسے کہ کچھ میٹھے بنانے آتے تھے، نہیں آتے تھے" Predicted: "ویسے تو کچھ چیزیں مجھے اچھے طرح آتی تھیں، اور کچھ چیزیں نہیں آتی تھیں جیسے کہ کچھ میٹھے بنانے آتے تھے، نہیں آتے تھے"

WER: 0.0% Reference: ٹھیک ہے، شکریہ Predicted: "ٹھیک ہے، شکریہ"

WER: 0.0% Reference: "علی گڑھ ہمارے دل میں بستا ہے، علی گڑھ" Predicted: "علی گڑھ ہمارے دل میں بستا ہے، علی گڑھ"

WER: 0.0% Reference: "میں نے اپنے پاس پہلے کے جو سکے ہیں، وہ جمع کر رکھے ہیں" Predicted: "میں نے اپنے پاس پہلے کے جو سکے ہیں، وہ جمع کر رکھے ہیں"

WER: 0.0% Reference: "مہربانی ہوگی، شکریہ" Predicted: "مہربانی ہوگی، شکریہ"

❌ WORST PREDICTIONS (Highest WER):

WER: 116.7% Reference: "اتر پردییش نے ہندستان کی آزادی میں نمایاں ررررررررول ادا کیا ہے" Predicted: "اُتر پردیش یہ ہمارے لائیاتی میں نمای عبر آپر رہے اِس کے واللق… فاقنا"

WER: 100.0% Reference: "دیوریا، گونڈہ، بلرام پور، بستی، ارریہ" Predicted: "اتی وریا، گونہ، پلارامپور، برستی، پریا"

WER: 87.5% Reference: "فصیح الدین، عرشیل، اشرف، مصعب، آصف، عرش، عارف" Predicted: "فسیح دین ارجیل، اشرف، مصاب، آسف، ارج، آرِف"

WER: 75.0% Reference: "شاہجہاں پور، علی گڑھ، فیروز آباد، رامپور، آگرہ" Predicted: "شاجہاں پور علی گئے، فیروز آباد رام پور، آگرہ"

WER: 73.7% Reference: "السّلام علیکم! کیا آپ وازوان ریسٹورینٹ سے بات کر رہے ہیں؟ آہ،میں عبد المُعیز ہوں،آپ کا ریگولر کسٹمر ہوں" Predicted: "اسلام علے کم، کیا آپ واضح ونڈریسٹورینسی بات کر رہے ہو؟"
"آہ، میں آپ دل موہیز ہوں، آپ کا ریگولر کسٹمر ہوں"

============================================================

STATISTICS (WITHOUT SYMBOLS)

============================================================ Mean WER per example: 22.80% Median WER: 20.00% Std Dev: 20.09% Perfect predictions (0% WER): 22/155 Good predictions (<10% WER): 45/155 Bad predictions (>50% WER): 13/155

✓ Evaluation complete!

humairmunirawn/whisper-urdu-base

WER on base model

============================================================ STATISTICS (WITHOUT SYMBOLS)

Wer on finetuned model

whisper-urdu-base

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

EVAL

============================================================ Example 1/155

============================================================ Example 2/155

============================================================ Example 3/155

============================================================ Example 4/155

============================================================ Example 5/155

============================================================ Example 6/155

============================================================ Example 7/155

============================================================ Example 8/155

============================================================ Example 9/155

============================================================ Example 10/155

============================================================ Example 11/155

============================================================ Example 12/155

============================================================ Example 13/155

============================================================ Example 14/155

============================================================ Example 15/155

============================================================ Example 16/155

============================================================ Example 17/155

============================================================ Example 18/155

============================================================ Example 19/155

============================================================ Example 20/155

============================================================ Example 21/155

============================================================ Example 22/155

============================================================ Example 23/155

============================================================ Example 24/155

============================================================ Example 25/155

============================================================ Example 26/155

============================================================ Example 27/155

============================================================ Example 28/155

============================================================ Example 29/155

============================================================ Example 30/155

============================================================ Example 31/155

============================================================ Example 32/155

============================================================ Example 33/155

============================================================ Example 34/155

============================================================ Example 35/155

============================================================ Example 36/155

============================================================ Example 37/155

============================================================ Example 38/155

============================================================ Example 39/155

============================================================ Example 40/155

============================================================ Example 41/155

============================================================ Example 42/155

============================================================ Example 43/155

============================================================ Example 44/155

============================================================ Example 45/155

============================================================ Example 46/155

============================================================ Example 47/155

============================================================ Example 48/155

============================================================ Example 49/155

============================================================ Example 50/155

============================================================ Example 51/155

============================================================ Example 52/155

============================================================ Example 53/155

============================================================ Example 54/155

============================================================ Example 55/155

============================================================ Example 56/155

============================================================ Example 57/155

============================================================ Example 58/155

============================================================ Example 59/155

============================================================ Example 60/155

============================================================ Example 61/155

============================================================ Example 62/155

============================================================ Example 63/155

============================================================ Example 64/155

============================================================ Example 65/155

============================================================ Example 66/155

============================================================ Example 67/155

humairmunirawn/
whisper-urdu-base