한국어 학습 과정에서 "한 번 실수하면 뭐가 잘못되었는지 모른 채 같은 오류를 계속 반복 검증하려는 현상"이 다시 발생함.
실패 예시
질문: Carla는 200GB 파일을 다운로드 중입니다. 보통 1분에 2GB를 다운로드할 수 있지만, 다운로드의 40%가 진행됐을 때 Windows가 \
업데이트 설치를 위해 재시작합니다. 이 과정은 20분이 걸립니다. 그러고 나서 Carla는 다운로드를 처음부터 다시 시작해야 합니다. 파일을 \
다운로드하는 데 총 얼마나 걸리나요?
답변: <thought>
...(생략)
그런데 다른 가능성은 없을까? 예를 들어, 재시작 후에 다운로드를 시작할 때, 이미 다운로드가 진행되고 있는 상태에서 재시작이 되면, \
그 부분을 다시 다운로드해야 하는 경우가 있을 수 있지 않을까? 그런데 문제에서는 "다운로드를 처음부터 다시 시작해야 한다"고 했으니까, \
재시작 후에는 처음부터 다시 다운로드를 시작하는 것 같아. 즉, 재시작 후에는 남은 데이터를 처음부터 다운로드하는 게 아니라, 이미 \
다운로드한 40%를 다시 다운로드하는 게 아니라, 그냥 다시 시작해서 남은 60%를 다운로드하는 거야. 아니면, 재시작 후에 다시 다운로드를 \
시작할 때, 이미 다운로드한 40%를 다시 다운로드해야 하는지?
이 부분이 헷갈리네. 문제를 다시 읽어보자. "다운로드의 40%가 진행됐을 때 Windows가 업데이트 설치를 위해 재시작합니다. 이 과정은 \
20분이 걸립니다. 그러고 나서 Carla는 다운로드를 처음부터 다시 시작해야 합니다."
여기서 "처음부터 다시 시작해야 한다"는 것은, 재시작 후에 다운로드를 처음부터 다시 시작하는 것이 아니라, 재시작 과정이 끝나고 나서 \
다운로드를 다시 시작하는데, 이때 이미 다운로드한 40%를 다시 다운로드해야 하는 건가? 아니면, 재시작 후에는 남은 60%를 다운로드하는 \
건가?
문제의 맥락상, 재시작을 위해 시스템이 재시작되면 다운로드가 중단되고, 재시작이 완료된 후에 다시 다운로드를 시작하는데, 이때는 처음부터 \
다시 시작하는 것이 아니라, 이미 다운로드한 부분은 유지한 채로 남은 부분을 다운로드해야 할 것 같아. 그런데 문제에서는 "처음부터 다시 \
시작해야 한다"고 했으니까, 재시작 후에는 처음부터 다시 다운로드를 시작해서, 이미 다운로드한 40%를 다시 다운로드해야 하는 상황이 될 수 \
있나?
만약 그렇다면, 재시작 후에 다시 다운로드를 시작할 때, 이미 40%가 다운로드된 상태에서 시작하는 게 아니라, 처음부터 다시 다운로드를 \
시작해서 40%를 다시 다운로드해야 한다면, 시간이 더 걸릴 수 있겠지. 하지만 문제에서 "처음부터 다시 시작해야 한다"는 표현은 아마도 재시작 \
과정이 끝나고 나서 다운로드를 다시 시작하는데, 이때는 이미 다운로드한 데이터를 다시 다운로드하는 것이 아니라, 남은 데이터를 다운로드하는 \
것을 의미할 수도 있어.
(하략)...
영어 모델에서는 틀리더라도 풀이과정이 틀려서 틀린 답이 나올 뿐, 이 정도로 이상한 논리를 반복하지는 않음
Future work
원래 EXAONE-Deep이 가지고 있었던, 간단한 질문에 대해서는 생각하지 않는 능력을 유지시키기
