hf-june/

HW-202337458-imdb-preprocessing

	HW-202337458-imdb-preprocessing




	


	Assignment

05월 21일 데이터셋 전처리 파이프라인 구현 과제입니다.

Student ID: 202337458 Hugging Face ID: hf-june

Original dataset: IMDB Tokenizer: bert-base-uncased

Train split 유지 Validation split 생성 Test split 유지

빈 문장 제거 텍스트 길이가 10 이하인 샘플 제거 filter 사용 map 사용 padding=max_length truncation=True max_length=128 save_to_disk 사용