You can deploy this model and start earning money today!

Quart512/
aisaac-qwen2.5-1.5b-gguf

Name: aisaac-qwen2.5-1.5b-gguf
Availability: InStock

Views

No views yet

aisaac-qwen2.5-1.5b-gguf

A QLoRA fine-tune of Qwen2.5-1.5B on a small physics Q&A set, quantized to Q4_K_M GGUF. Built as the local, API-key-free fallback model for AIsaac, a science research assistant.

This is a weak model, released for transparency rather than performance. Scored 0.132 standalone on a held-out benchmark where claude-haiku scored 0.915 under identical grading. See 한계.

개요

AIsaac이 API 키 없이도 최소한 돌아가도록 두는 로컬 폴백 모델이다. 성능이 좋아서가 아니라, 키가 없는 사용자도 앱의 동작을 확인할 수 있게 하려고 배포한다. 실제 사용 품질은 Gemini·Claude 쪽이 비교가 안 되게 낫다.

항목	값
베이스 모델	Qwen/Qwen2.5-1.5B
파인튜닝	QLoRA, r=16, 6 에폭
학습 데이터	자체 작성 QA 45문항 (아래 "학습 데이터" 참고)
Training loss	3.510 → 0.209
양자화	Q4_K_M (GGUF), 986MB
서빙	llama.cpp `llama-server` (OpenAI 호환 API)

쓰는 법

llama-server로 띄우면 OpenAI 호환 엔드포인트가 열린다.

llama-server -m qwen_finetuned_Q4_K_M.gguf --port 8080

AIsaac은 이 엔드포인트에 ChatOpenAI(base_url="http://localhost:8080/v1")로 붙는다 (models.py). 로컬 서버라 API 키는 필요 없다.

평가

held-out 31문항, 채점은 claude-haiku LLM-as-judge로 전 실험 고정(채점자가 바뀌면 실행 간 비교가 오염되므로).

구성	평균 점수
이 모델 단독 (Q4)	0.132
AIsaac 그래프 + 이 모델 (verify도 이 모델)	0.176
AIsaac 그래프 + 이 모델 (verify는 claude)	0.445
`claude-haiku` 단독 (참고용 상한)	0.915

읽어낼 것은 모델 점수가 아니라 구조의 기여도다. 같은 모델이 에이전트 그래프 안에서 0.132 → 0.445로 3.4배 올랐다 — 약한 모델일수록 좋은 verifier와 파이프라인이 크게 기여한다. 실험 전체 기록은 docs/README_09.md에 있다.

한계 (반드시 읽을 것)

단독 성능이 매우 낮다 (0.132). 실용 목적으로 쓸 모델이 아니다.
tool calling·structured output을 학습하지 않았다. 학습 데이터가 순수 QA 45문항이라 함수 호출이나 JSON 스키마 준수를 가르치지 않았고, 그 두 가지에 의존하는 AIsaac의 논문 분석·추천 기능은 이 모델로 정상 동작하지 않을 수 있다.
컨텍스트가 짧다. AIsaac은 이 모델에 6,000자 예산을 잡는다(다른 모델은 15만~200만자). 논문 전문처럼 긴 입력은 예산 초과로 거부된다.
과적합 가능성이 크다. 45문항 × 6에폭이라 학습 예시를 상당 부분 암기했을 수 있다.
한국어가 섞여 나오는 경우가 있다. 확인된 이슈이며 아직 안 고쳤다.

학습 데이터

라이선스

베이스 모델 Qwen2.5-1.5B의 라이선스를 따라 Apache-2.0으로 배포한다. 베이스 모델 대비 변경 사항은 위에 적은 QLoRA 파인튜닝과 Q4_K_M 양자화다.

앞으로

로깅을 붙여 실사용 실패 사례를 모으고, 학습 데이터를 넓혀 다시 학습할 계획이다. 개선 이력은 AIsaac 저장소에 남긴다.

Quart512/aisaac-qwen2.5-1.5b-gguf