otpensource-vision LoRA

모델 설명

주요 특징

• LoRA 기반 경량 어댑터: 기존 모델의 성능을 유지하면서도 적은 자원으로 추가 학습이 가능
• Vision-Language 태스크 지원: 이미지를 입력받아 텍스트 정보를 생성하고, 텍스트 입력만으로 자연어 처리 수행
• 패션 데이터를 활용한 학습: otpensource_data를 활용해 패션 카테고리, 색상, 계절 등의 정보를 분석하는 데 최적화
• 빠른 적용 및 확장성: 기존 모델을 미세 조정(Fine-tuning)할 때 LoRA 어댑터를 활용하여 빠르게 적용 가능

모델 세부사항

학습 데이터

• otpensource_dataset:
  • 약 9000개의 패션 데이터로 구성
  • 옷의 카테고리, 색상, 계절, 특징, 이미지 URL 등을 포함하여 Vision-Language 학습에 최적화

학습 방식

• 기반 모델: Bllossom/llama-3.2-Korean-Bllossom-AICA-5B
• 최적화 기법: LoRA 적용
• GPU 요구사항: A100 40GB 이상 권장
• 훈련 효율성: LoRA를 활용하여 기존 모델 대비 2배 빠른 학습 수행

주요 사용 사례

Vision-Language 태스크

1. 이미지 분석 및 설명
   • 입력된 이미지에서 옷의 카테고리, 색상, 계절, 특징을 추출하여 JSON 형식으로 반환.
   • 예시:
     json

     1{ 2 "category": "트렌치코트", 3 "gender": "여", 4 "season": "SS", 5 "color": "네이비", 6 "material": "", 7 "feature": "트렌치코트" 8}
2. 텍스트 분석 및 분류
   • 텍스트 입력만으로 감정 분석, 질문 응답, 텍스트 요약 등의 자연어 처리 태스크 수행 가능.

코드 예시

Vision-Language 태스크

업로드된 모델 정보

• 개발자: hateslopacademy
• 라이선스: CC-BY-4.0
• LoRA 학습 모델: otpensource-vision 기반