This llama model was trained 2x faster with
Unsloth and Huggingface's TRL library.
위에서 제공한 basic template를 이용해 번역요청을 하시면 transformer의 pipeline에서 translation을 사용한 것처럼 깔끔한 번역이 가능해집니다.
번역 전, 특수문자들을 제거하거나 하이픈(-)으로 replace 해주세요. 특히 콜론( : )이 환각 유발의 주범입니다.
데이터셋을 계속 바꿔가며 파인튜닝 테스트를 하다보니 공개가 늦어지고 있습니다. 처음에는 야심차게 수만개의 데이터를 만들어 돌렸으나 결국 2천개도 되지 않는 데이터만으로도 파인튜닝이 잘된다는걸 깨달았습니다.
ai허브의 샘플 데이터 소량과 직접만든 {영어:한글} 데이터셋으로 학습시켰습니다.
이런 데이터셋을 추가한 이유는 영어 단어 하나만 번역하라고 시켰을 경우 ai의 특성상 '말이 많기 때문에' 번역만 하는게 아니라 필요없는 사족들이 계속 붙어서입니다.
특별할게 없는 데이터셋이지만 업로드 후 이곳에 다시 알리겠습니다 → 업로드 완료했습니다.
지금 코드는 도다리 일반번역과 달리 보통사람들이 사용하기 어려운 ux를 가지고 있습니다. s3코드나 email발송, 사용시간 타이머처럼 일반사람들에게 필요없는 기능들도 있습니다.
여기에 gguf를 통해 cpu로 구동할수 있게 만들고 vllm을 사용할 수 없는 환경에서도 번역이 가능하도록 수정해야합니다.
공개가 되면 여기에도 업데이트 해놓겠습니다.
