SHREK ENM ModelSHREK_ENM Diffusion Model v0.1
Model Details
- 슈렉 캐릭터 생성에 특화된 diffusion model
- 전체 가중치 재학습, 모델 아키텍처는 Flux Krea 사용
- Developed: Jihun.Hong
- Datasets: Seungwoo.Kim, Jiyeon Lee
- Model type: Text-to-Image Diffusion Model
- Base Model architecture: Flux.1_Krea_dev
- Training approach: Full weight fine-tuning (Complete Retraining)
- Release date: September 19, 2025
- Version: v0.1
Model Sources
- Demo[coming soon]: End to End with Bytedance Waver 1.0, GIF Sample Below
SHREK Animation
Training Details
Training Results
[모델 3개 비교] 좌측부터 3가지 Epoch(2차학습 각각 4시간, 8시간, 12시간)에 따른 변화를 보여줍니다. 테스트 과정으로 30 Epoch 학습만 진행했으며, 프로덕션 레벨을 위해서는 약 40시간의 추가 학습이 필요합니다.
Training Progress and Epoch ComparisonEpoch별 모델 발전 과정, 샘플 출력 및 성능 지표
Training Data
SHREK Animation
- 데이터셋: 커스텀 SHREK 데이터셋
- 데이터셋 크기: augmentation 포함 2.4GB, 820장, 1024×1024, Shrek 얼굴 기준 SAM2 Segment, Yolo CROP
- 데이터 전처리: Image augmentation, 1024×1024 리사이징, face detection 기반 크롭핑(Yolo, SAM2 기반)
Training Configuration
SHREK Animation
- 하드웨어: NVIDIA L40S GPU
- 학습 시간: PR: 30시간 02분, SC: 12시간 11분, Total: 42시간 13분
- Batch size: 7
- Learning rate: 2e-06, 4e-06, 6e-06
- Training steps: 256 × 40 / 7 = 1480 스텝
Usage
다양한 UI 애플리케이션 호환
이 모델은 ComfyUI, SwarmUI, Forge, Automatic1111 등 AI UI 애플리케이션에서 원활하게 작동합니다.
ComfyUI
SHREK Animation
SwarmUI
SHREK Animation
설치 단계
-
모델 파일 다운로드:
SHREK_ENM.safetensors - 메인 모델 파일ae.safetensors - VAE 모델clip_l.safetensors - CLIP text encodert5xxl_enconly.safetensors - T5 text encoder
-
올바른 디렉토리에 파일 배치
-
ComfyUI에서 로드:
- 각 구성 요소에 적합한 loader node 사용
- workflow에 따라 node 연결
- "Load Diffusion Model" node를 사용하여
SHREK_ENM.safetensors 로드
- 해당 loader node를 사용하여 text encoder와 VAE 로드
권장 설정
- CFG Scale: 1.0 (이 값을 유지하는 것을 강력히 권장)
- Sampling Steps: 35-45
- Sampler: iPNDM 또는 Euler a
