이 모델의 파인튜닝은 실패이며 전혀 동작하지 않습니다. 다운로드 받지 마세요 그냥 이제까지 작업했던 기록으로 남겨 두었습니다.
DTRO-gemma3n_finetuned은 대구교통공사 3호선 전력관제 업무에 특화된 로컬 LLM입니다.
기존의 Gemma-3n 모델을 기반으로, 업무 관련 문서(매뉴얼, 사규, 용어집, 과거 장애보고서 등)를 Q&A 형태로 정제한 총 1,624건의 데이터셋으로 약하게(1 에포크) 파인튜닝하여, 검색 기반 DB와 결합했을 때 운영자에게 보다 전문적이고 상황에 적합한 AI 브리핑을 제공하도록 설계했습니다.
이 프로젝트의 핵심 목표는 다음과 같습니다.
장애 발생 시 검색된 관련 문서와 실시간 로그를 근거로 항목화된 ‘AI 브리핑’을 생성하여 운영자의 판단을 보조합니다.
파인튜닝은 모델의 일반 능력을 훼손하지 않도록 의도적으로 약하게 수행(1 에포크)하여, LLM 단독 성능 저하를 최소화합니다.
저사양 PC에서도 운용 가능한 GGUF(q4/q6) 형식을 제공하여, 사내 오프라인·보안 환경에서 안전하게 활용할 수 있도록 합니다.
핵심 포인트(요약)
파인튜닝 데이터: 1,624건 (업무 관련 Q&A, 매뉴얼·사규·용어·장애보고서 기반)
학습 전략: 1 에포크의 약한 파인튜닝 — 모델 훼손(minimal) 우선
파일 아티팩트: dtro-gemma3n_finetuned_q6_k.gguf, dtro-gemma3n_finetuned_q4_k_m.gguf, Modelfile_dtro_final, Modelfile_dtro_final_q4km
컨텍스트: 최대 32k 토큰 지원
목적: 검색 기반 DB 결과를 근거로 한 전문적 AI 브리핑(요약, 원인 가설, 우선 점검 항목, 권장 조치)
기대 향상: AI 브리핑 정확도 20–40% 개선(내부 평가 기준)
왜 ‘약한(1 에포크) 파인튜닝’인가?
본 파인튜닝은 LLM을 단독 질의응답기(Q&A)로 바꾸려는 목적이 아닙니다. 그 대신 검색에서 추출된 도메인 문서를 LLM에 제공했을 때, 문체·용어·업무 관점에서 더 정확하고 신뢰성 있는 브리핑을 생성하도록 모델의 응답 성향을 보정하는 목적입니다.
주요 고려사항:
모델 훼손 최소화: 과도한 파인튜닝은 원래의 일반화 능력을 저하시킬 수 있으므로, 1 에포크의 ‘약학습’으로 도메인 적응만을 목표로 했습니다.
DB-증강(검색 결합): 모델은 검색 결과를 근거로 추론하도록 설계되어, 검색된 소스의 질이 최종 브리핑의 근거가 됩니다.
운영자 중심: 출력은 항상 운영자 검토를 전제로 한 권고형(참고용)으로 제공됩니다.
따라서, 모델 자체만으로 모든 질문에 완벽한 정답을 보장하지는 않습니다. 단독 사용 시에는 일부 정확도에 한계가 있을 수 있으며, 이는 설계상 의도된 동작입니다 — 본 모델은 ‘검색·DB를 보강한 브리핑 생산기’로 이해해야 합니다.
시스템 아키텍처 (개요)
아래 다이어그램은 전체 파이프라인의 흐름을 간단히 보여줍니다.
mermaid
1flowchart LR
2 A[운영 로그 & 센서 데이터]--> B[검색 인덱스 / 장애 DB]3 C[매뉴얼·사규·용어집·과거보고서(1,624)]--> B
4 B --> D[검색(Top-N)]5 D --> E[프롬프트 구성기]6 E --> F[로컬 LLM (GGUF, Gemma-3n 파인튜닝)]7 F --> G[AI 브리핑(요약·원인·우선순위·권장 조치)]8 G --> H[운영자 검토 → 피드백 저장]9 H --> I[재학습/미세조정(주기적)]10 F --> J[전력시스템 시뮬레이터]--- H
