기존 모델들로는 좀처럼 신윤복 화백님의 그림체가 나오지를 않아서 직접 만들기로 했습니다.

https://civitai.com/models/27670

 

학습에 사용된 그림들은 공유마당에서 받았습니다.

https://gongu.copyright.or.kr/gongu/authr/authr/viewWrtrPage.do?menuNo=200186&authrSn=2353

 

그중 30장을 골라 512x512로 변경 후에 학습에 사용했습니다.

SD webui에 있는 Dreambooth확장을 사용했고 Training Steps Per Image (Epochs) 는 50, Class Images Per Instance Image 는 10 을 썼습니다. 제 GPU로는 VRAM이 부족해서 CPU로 학습을 시켰네요. 아래는 학습 시킬때 출력되었던 설정값입니다.

 

Initializing bucket counter!

  ***** Running training *****

  TRAINING WITH CPU ONLY

  Num batches each epoch = 60

  Num Epochs = 50

  Batch Size Per Device = 1

  Gradient Accumulation steps = 1

  Total train batch size (w. parallel, distributed & accumulation) = 1

  Text Encoder Epochs: 0

  Total optimization steps = 1500

  Total training steps = 3000

  Resuming from checkpoint: False

  First resume epoch: 0

  First resume step: 0

  Lora: False, Optimizer: Lion, Prec: no

  Gradient Checkpointing: True

  EMA: True

  UNET: True

  Freeze CLIP Normalization Layers: False

  LR: 1e-07

  V2: False

 

전반적으로 갓이나 한복과 같은 디테일은 좀 아쉽지만, 분위기는 나오는 것으로 보아 학습은 잘 된 듯 합니다.

 

 

여성의 클로즈업을 보면 아직 신윤복 화백님의 "미인도"와는 거리가 멀기에 아직 개선의 여지가 보입니다.

 

 

또한 복장도 기모노나 한푸, 그림체에 있어서도 우키요에 느낌이 남아있어서, 학습 단계에서 어떤 내용을 negative prompt로 넣어야 할지 고민입니다. chinese, japanese를 통째로 넣는것은 아무래도 양국에 걸쳐있는 문화권으로서 영향을 받지 않았다고 단정지을 수는 없는 부분이라 적절하지 않을 것 같습니다. 이 부분은 좀 더 시행착오를 해봐야 할 것 같네요.

 

 

추가로 이번 학습에는 건곤일회도첩(乾坤一會圖帖)이 들어가지 않았습니다.