졸업 논문 과제 수행

사용 데이터

필요성

• 대부분의 음성 인식 모델은 어른 음성 데이터에 초점이 맞춰져 있고, 어린이들의 경우 어린이 예능을 시청할 때 자막이 없으면 내용 이해가 어려움

기대효과

• 어린이 대상 제품 및 서비스 개선
• 다시 보기 자막 생성
• 어린이 콘텐츠 이해도 향상

발전 계획

• 더욱 정확한 음성 인식이 되기 위해 사용하지 않은 어린이 음성 데이터 추가

데이터셋 구축

Aihub에서 제공하는 어린이 방송 음성/맥락 데이터 셋 활용

• 어린이 방송 음성/맥락 데이터 : 20,000건의 WAV와 JSON 형식으로 구성
• 카테고리 : 미취학 아동 발달 교육, 어린이 교육, 어린이 드라마, 어린이 예능
• 대화 주체 : 어린이 <-> 성인 (약 96%), 어린이 <-> 어린이 (약 4%)로 구성
• 카테고리 중 어린이 예능 음성/맥락 데이터 셋 활용
• 자연스러운 언어 사용 패턴과 감정을 잘 반영할 수 있을 것 같아 선정
• 130건의 WAV와 JSON 파일을 활용

데이터 전처리

• 데이터셋 준비.ipynb 에서 확인

Whisper 모델을 fine-tuning 하여 어린이 음성 인식에 특화된 whisper 개발

모델 선정 이유

• Whisper는 특이한 액센트나 강한 배경 소음과 같은 어려운 환경에서 효과적으로 음성을 인식할 수 있는 능력을 갖추고 있음
• 어린이 예능의 경우 배경 음악이 깔리는 경우가 많아 , Whipser 모델이 적합하다고 생각
• 다국어를 지원하는 모델 ( 한글 지원 )

Fine-tuning

• finetuning-whisper.ipynb 에서 확인

WER vs CER ( 평가 지표 )

• WER

• CER

평가 결과

모델 사용 ( colab이 아닌 jupyter notebook에서 사용 )

using-whisper.ipynb 확인

출처