Tutoruslabs/

ELEMENTARY_MATH

Evaluation toolkit

구성: 공간 지각, 패턴 인식, 논리적 사고 등 초등학생 수준의 수학적 사고력을 요구하는 이미지와 한국어 질의문 및 답변으로 구성된 벤치마크 데이터셋 데이터 수량: 질의/답변 데이터 448개 특징: 단순 계산이 아닌 시각적 추론이 필요한 문제(ex. 여러 방향에서 본 블록 개수 추론, 도형 회전 및 변환 등)로, 이미지 기반 공간 인지 및 논리적 사고 능력 평가 목적: 시각-언어 모델의 초등 수준 수학적 사고력, 시각적 추론 능력, 공간 지각 능력을 종합적으로 평가하기 위한 벤치마크 데이터셋

	Evaluation Results




	

Scale Model Elementary school

2B ~ 3B Qwen2-VL-2B 6.25

Qwen2.5-VL-3B 9.15

InternVL3-2B 7.81

InternVL3.5-2B 7.14

7B ~ 8B… See the full description on the dataset page: https://huggingface.co/datasets/Tutoruslabs/ELEMENTARY_MATH.