이 모델의 파인튜닝은 실패이며 전혀 동작하지 않습니다. 다운로드 받지 마세요 그냥 이제까지 작업했던 기록으로 남겨 두었습니다.
현재 사내용으로 개발된 프로그램 테스트 용도로 사용중이며 블로썸 모델과는 별도로 테스트용으로 생성했습니다.
또한 공식적인 사용버전이 아님을 명시합니다.(에포크 3회이며 단일 모델 올라마 테스트시 답변은 매우 부정확합니다. 다만 일부 DC용 차단기를 HSCB라고 쓰는것까지는 확인했습니다.)
예전 블로썸 모델로 실험시 파인튜닝이 아닌 버전과 파인튜닝 버전과는 서로 다른 답변이 나오는것을 확인했습니다.
(이는 올라마 크리에이트시 프롬프팅된 임무 부여만으로 동작의 방식이 달라지는지는 검증하지 못했습니다.)
이번 파인튜닝에 데이터셋 확인시 불필요 데이터 다수 확인되어 일부 개정 후 파인튜닝 했습니다.
블로썸 모델과 카나나 모델로 원모델/파인튠상태/파인튠된상태에서 크리에이트시 프롬프팅유무 로 나누어서 프로그램 호출에 의한 LLM의 AI브리핑시 답변 품질의 실험도 예정입니다.
다만 기존 장애 분석 예측 프로그램의 UI 개선 및 본래의 회사 업무로 인한 시간이 모자란 관계로 업데이트는 매우 느립니다.
파인튜닝 및 양자화 방법은 별도 첨부된 파일에 기록되어 있습니다.(VS CODE의 깃헙 코파일럿 그록 코드 패스트 1 로 작성된 파이썬 코드입니다.)
사내 활용 용도로 장애 보고서 기반 SQL DB 생성 후 장애 유형별 ML기반 장애 예측과 로컬 모델로 AI 분석 브리핑 지원을 하는 프로그램(현재 gemma 3n을 사용중)을 위한 LLM이며
AI브리핑 실행시 장애보고서 기반 데이터 호출 후 업무 관련 용어와 정의와 조치 방법들을 제작된 Q&A데이터셋로 5~10 스페닛을 프로그램상 호출 및 중복된 LLM에 파인튜닝된 데이터로 추론에 정확도를 향상시켜
할루시네이션을 방지하고 더 정확한 분석에 활용할 용도로 여러가지 모델들을 파인 튜닝 및 실험 중 입니다.
kanana-1.5-2.1b-DTRO-3LINE-POWER-q4-k-m은 대구교통공사 3호선 전력설비 업무에 특화된 로컬 LLM입니다. 기존의 kakaocorp/kanana-nano-2.1b-nstruct 모델을 기반으로, 업무 관련 문서(매뉴얼, 사규, 용어집, 과거 장애보고서 등)를 Q&A 형태로
정제한 데이터셋으로 파인튜닝하여, 검색 기반 DB와 결합했을 때 운영자에게 보다 전문적이고 상황에 적합한 AI 브리핑을 제공하도록 기획했습니다.
이 프로젝트의 핵심 목표는 다음과 같습니다.
• 장애 발생 시 검색된 관련 문서와 실시간 로그를 근거로 항목화된 'AI 브리핑'을 생성하여 운영자의 판단을 보조합니다.
• 파인튜닝은 모델의 일반 능력을 훼손하지 않도록 의도적으로 수행하여, LLM 단독 성능 저하를 최소화합니다.
• 저사양 PC에서도 운용 가능한 GGUF(q4_k_m) 형식을 제공하여, 사내 오프라인·보안 환경에서 안전하게 활용할 수 있도록 합니다.
핵심 포인트(요약)
• 파인튜닝 데이터: 업무 관련 Q&A, 매뉴얼·사규·용어·장애보고서 기반
• 학습 전략: QLoRA 파인튜닝 — 모델 훼손 최소화 우선
• 파일 아티팩트: kanana-1.5-2.1b-DTRO-3LINE-POWER-q4-k-m.gguf, Modelfile
• 컨텍스트: 최대 16,384 토큰 지원
• 목적: 검색 기반 DB 결과를 근거로 한 전문적 AI 브리핑(요약, 원인 가설, 우선 점검 항목, 권장 조치)
• 기대 향상: AI 브리핑 정확도 및 한국어 이해도 개선
왜 'QLoRA 파인튜닝'인가?
본 파인튜닝은 LLM을 단독 질의응답기(Q&A)로 바꾸려는 목적이 아닙니다. 그 대신 검색에서 추출된 도메인 문서를 LLM에 제공했을 때, 문체·용어·업무 관점에서 더 정확하고 신뢰성 있는 브리핑을 생성하도록 모델의 응답 성향을 보정하는 목적입니다.
주요 고려사항:
• 모델 훼손 최소화: QLoRA를 통한 효율적인 파인튜닝으로 원래의 일반화 능력을 유지
• DB-증강(검색 결합): 모델은 검색 결과를 근거로 추론하도록 설계되어, 검색된 소스의 질이 최종 브리핑의 근거가 됩니다.
• 운영자 중심: 출력은 항상 운영자 검토를 전제로 한 권고형(참고용)으로 제공됩니다.
따라서, 모델 자체만으로 모든 질문에 완벽한 정답을 보장하지는 않습니다. 단독 사용 시에는 일부 정확도에 한계가 있을 수 있으며, 이는 설계상 의도된 동작입니다 — 본 모델은 '검색·DB를 보강한 브리핑 생산기'로 이해해야 합니다.
시스템 아키텍처 (개요)
아래 다이어그램은 전체 파이프라인의 흐름을 간단히 보여줍니다.
flowchart LR
A[운영 로그 & 센서 데이터] --> B[검색 인덱스 / 장애 DB]
C[매뉴얼·사규·용어집·과거보고서] --> B
B --> D[검색(Top-N)]
D --> E[프롬프트 구성기]
E --> F[로컬 LLM (GGUF, Kanana 파인튜닝)]
F --> G[AI 브리핑(요약·원인·우선순위·권장 조치)]
G --> H[운영자 검토 → 피드백 저장]
H --> I[재학습/미세조정(주기적)]
F --> J[전력설비 시뮬레이터] --- H
사용 방법 (간단 예시 — Ollama)
GGUF와 Modelfile을 허깅페이스에서 내려받아 로컬에 저장합니다.
Ollama에 모델 등록(생성)
# Modelfile 경로를 실제 위치로 수정
ollama create kanana-finetuned -f "C:\path\to\Modelfile"
안전한 테스트 실행 (낮은 온도, 제한된 토큰)
ollama run kanana-finetuned "최근 24시간 전력설비 이벤트 로그를 기반으로 우선 점검 항목 5가지를 요약해줘." --temperature 0 --num_predict 256
권장 Modelfile 기본값(예시):
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER top_k 40
PARAMETER num_ctx 16384
PARAMETER num_predict 512
PARAMETER repeat_penalty 1.1
SYSTEM """당신은 대구교통공사 3호선 모노레일 전력설비 장애분석 전문 AI입니다. 답변은 자세하고 완전하게 한글로 작성해서 하세요."""
프롬프트 설계 원칙 (권장)
• 시스템 메시지: "당신은 대구교통공사 3호선 모노레일 전력설비 장애분석 전문 AI입니다. 답변은 자세하고 완전하게 한글로 작성해서 하세요."
• 입력: 검색된 Top-N 결과를 출처와 함께 구조화하여 제공(각 블록에 문서ID/발생일 등 포함)
• 출력 포맷: 1) 요약 2) 원인 가설(우선순위순, 근거 문서 표기) 3) 권장 점검 항목(우선순위 및 예상 영향)
• 항상 '출처 라벨(문서ID)'을 함께 표기하여 근거 추적성 보장
성능 및 검증 계획
• 기대 개선: AI 브리핑 정확도 및 한국어 전문성 향상
• 권장 측정 지표: 응답 정확도, 운영자 만족도, 처리 시간
• 검증 방법: 과거 사건 데이터를 통한 평가
한계와 주의사항 (중요)
• 모델 단독 결과의 한계: 본 모델은 '검색 결과를 기반으로 브리핑을 보강'하기 위해 튜닝된 모델입니다. 따라서 LLM 단독으로 정답을 항상 보장하지 않습니다. 모델 응답은 운영자 검토를 전제로 한 '참고용'이며, 자동조치 권한을 부여해서는 안 됩니다.
• 데이터 및 개인정보: 입력되는 로그/문서에서 PII(개인식별정보)는 사전 마스킹 후 사용해야 합니다.
• 모델 업데이트: 운영 피드백과 라벨링 결과를 주기적으로 수집하여, 재학습 또는 미세조정 계획을 수립하세요.
보안 및 배포 권고
• 로컬 실행 권장: 외부 API 호출 차단 또는 엄격 모니터링
• 접근 제어: 모델·데이터 접근은 권한 기반으로 제한
• 감사 로그: 누가 언제 모델을 사용했는지 기록
• LFS/스토리지: GGUF 파일은 수 GB 단위이므로 저장 공간과 전송 대역폭 확인
아티팩트 및 파일 목록
• kanana-finetuned-q4_k_m.gguf - Q4_K_M 양자화 모델
• Modelfile - Ollama용 모델 설정 파일
• README.md - 이 설명서 파일
• dataset_from_data_txt_merged.json - 파인튜닝 데이터셋
재현성 및 오픈소스 계획
허깅페이스에는 모델 아티팩트와 간단 사용법을 게시했습니다. 파인튜닝·전처리·평가 스크립트 등은 향후 GitHub 리포지토리에 업로드할 예정이며, 이를 통해 내부 재현성과 투명성을 보장합니다.
저작권 및 라이선스 권장
내부 전용 사용 또는 제한적 재배포 정책을 권장합니다. (예: 외부 배포 금지, 비상업적 내부 사용 허가) 모델·데이터에 포함된 외부 저작물에 대한 라이선스 의무를 반드시 확인하세요.
