불필요한 오해를 만드는 것 같아서 모델명 이름을 바꾸었습니다. 조선시대의 화가와 현대 한국화 작품, 그리고 수묵화 데이터를 가지고 미세조정했습니다.
I renamed the model because I felt it was creating unnecessary misunderstandings. I fine-tuned it with data from Joseon era painters, modern Korean paintings, and ink paintings.
하이퍼네트워크와 SD1.5 기반의 모델을 만들고 난 뒤 몇 달 지나지 않아 SDXL이란 모델이 나왔습니다. 그 당시 SD2.1 기반의 모델은 작업을 하지 않았습니다. 그 이유는 컨트롤넷을 사용하기 어려운 점과 명확하게 SD1.5 보다는 낫지 않았기 때문에 꺼려졌습니다. 프롬프트에 따른 변화는 명확하게 줄 수 있고, 알려진 피사체에 대한 재현은 좀 더 나아 보이지만 높아진 사양에 비해서는 명확한 이점은 없었습니다. 하지만 SDXL의 경우 컨트롤넷과 여러 가지 기능이 바로 지원될 것이라고 이야기와 지원되는 해상도에 대비해서 그렇게 많은 사양을 요구하지 않았기에 시도를 해보았습니다.
A few months after creating the hypernetwork and the SD1.5-based model, a model called SDXL came out. At that time, I didn't work on the SD2.1-based model because I was reluctant to use ControlNet and because it wasn't clearly better than SD1.5. You can definitely change things based on prompts, and the reproduction of known subjects looks a little bit better, but there was no clear advantage over the higher specs. But with SDXL, they said that ControlNet and a bunch of other things would be supported out of the box, and they didn't ask for that many specs for the supported resolutions, so I gave it a shot.
조선시대 화가의 그림은 수량이 적기 때문에, 그림을 조각내고 좌우 반전을 통해서 그림 장수를 늘렸습니다. 총 5684장.
Since the paintings of Joseon Dynasty painters are few in number, the paintings were fragmented and reversed to increase their longevity. 5684 paintings in total.
디지털 K-art 데이터 / Digital K-art data
11246장 중 6253장으로 줄였습니다. aihub에 있는 자료는 정말 엄청나게 많기 떄문에, 일단 그중 라벨링이 되어있는 데이터로 줄였습니다. 그렇게 11246장이 나왔으며 그 중 정사각형에 가까운 이미지를 골라서 내서 6253장이 나왔습니다.
So out of the 11,246 images, I narrowed it down to 6,253. There's a lot of data on AIHUB, so I just narrowed it down to the data that was labeled, and that gave me 11,246 images, and I picked out the ones that were close to a square, and that gave me 6,253 images.
한국 전통 수묵화 화풍별 제작 데이터 / Production data for traditional Korean ink paintings by style
5860장의 이미지를 정사각형으로 잘라낸 자료를 사용했습니다. 이 데이터도 엄청 많기 때문에 수량을 늘릴 수 있으나 조선시대 화가의 데이터와 비슷한 양으로 설정했습니다.
I used a baseline of 5860 images cropped into squares. This is a lot of data, so you can increase the quantity, but I set it to a similar amount to that of a Joseon painter.
사용 가이드 / User Guide (SDXL ver)
사용 팁 / Usage Tips
일반적으로 CFG scale이 높을수록 품질이 좋지 않습니다. 10 이상으로 설정하는 것은 추천하지 않습니다. 다만 짧은 단어는 영향을 거의 받지 않는 것으로 보입니다.
In general, the higher the CFG scale, the worse the quality. We don’t recommend setting it above 10. However, shorter words seem to be less affected.
긴 문장을 입력할수록 일반적인 사진으로 나올 가능성이 높습니다. 그렇다고 트리거 단어의 가중치를 늘린다고 하더라도 결과물이 더 나아지지 않습니다.
The longer sentences you type, the more likely you are to get a generic photo, and increasing the weight of the trigger word doesn’t make the result any better.
추천하는 CFG scale은 4-8 사이입니다.
The recommended CFG scale is between 4-8.
품질이 떨어지는 트리거 단어를 단독으로 사용하지 마세요.
Don’t use poor-quality Trigger Words in isolation.
트리거 단어 여러개를 동시에 사용해서 테스트를 하진 않았지만, 일반적으로 더 좋게 나올 것으로 추측됩니다.
I haven’t tested using multiple trigger words at the same time, but I’m guessing it will generally work better.
이미지가 사진처럼 나올 경우 'painting' 이나 'style'이란 프롬프트도 같이 사용하면 좀 더 나은 결과를 볼 수 있습니다. ex) kimhongdo painting
If your image comes out looking like a photo, you may see better results if you also use the "painting" or "style" prompts. ex) kimhongdo painting
아직은 많이 사용하지 않아서 이후에 제시된 방법이 수정될 수 있습니다.
I haven't used it much yet, so the methods presented here may be modified in the future.
트리거 단어 리스트 / Trigger Words List
참고로 화가의 실제 그림체를 제대로 반영하지는 못합니다.
Note that this is not a true representation of the painter’s actual painting style.
whtjs
조선시대 화가의 평균적인 화풍을 구현합니다. / Emulates the average painting style of a Joseon era painter.
kangsehwang
가장 단순한 형태로 그려집니다. / It is drawn in its simplest form.
kimhongdo
가장 품질이 뛰어납니다. / The highest quality.
sinyunbok
두 번째로 품질이 뛰어납니다. / Second highest quality.
simsajeong
그림에서 여성의 얼굴이 나올 확률이 높습니다. / A woman’s face is more likely to be in the image.
anjungsik
가장 품질이 좋지 않습니다. / The lowest quality.
jangseungeop
두 번째로 품질이 좋지 않습니다. / Second worst quality.
heoryeon
가장 색상이 적은 결과물이 나옵니다. / The result is the one with the least colour.
gksrnr
현대적인 형태를 만듭니다. 신체 오류가 자주납니다. / Creates modern shapes. Body errors are frequent.
tnanr
아래 세 가지 수묵화 기법의 평균적인 모습을 만듭니다. / Produces an average look of the three ink painting techniques below.
baengmyo
whtjs의 결과와 유사하게 나올 때가 많습니다. / The results are often similar to those of ‘whtjs’
gureuk
얇은 경계가 있는 느낌으로 그림이 나옵니다. / The result is a picture with a thin border.
molgol
경계가 없는 결과물을 만들어 냅니다. / Produces results that have no boundaries.
