얼굴을 학습시키는 법은 Davinchi님의 글을 참고하시면 좋습니다.
https://www.clien.net/service/board/cm_aigurim/17996081CLIEN
이 글에서는 신윤복 화백님의 스타일을 학습한 체크포인트의 설정값을 기준으로 설명드릴 예정입니다.
https://civitai.com/models/27670
Base Model은 SD 1.5를 사용했습니다. 이미 특정 그림에 특화된 다른 모델을 사용하는 것도 가능합니다.
https://huggingface.co/runwayml/stable-diffusion-v1-5
우선은 학습시킬 재료를 준비해야합니다. 고전 예술 작품의 경우는 공유마당이라는 좋은 사이트가 있어서, 거기에서 저작권 문제 없는 고품질의 자료를 받을 수 있습니다.
https://gongu.copyright.or.kr/gongu/authr/authr/viewWrtrPage.do?menuNo=200186&authrSn=2353
학습에 사용하는 그림의 숫자는 천차만별인 것 같습니다. 딱히 최소값에 대한 제한은 없고, 적게는 10장 미만부터 100장넘게 준비하는 사람도 있습니다.
중요한 것은 얼마나 다양한 스타일의 그림을 준비하느냐인 것 같습니다. 얼굴의 경우는 다양한 각도나 복장, 상황이 되겠고, 화풍의 경우는 해당 화가의 특징이 잘 드러나는 여러 그림이 되겠습니다. 보통은 20장 정도로도 충분히 만족스러운 결과를 얻을 수 있다고 합니다.
그 다음 AI가 받아들일 수 있는 크기로 그림을 맞춰줘야합니다.
SD 1.5 모델의 경우는 512x512 크기로, SD 2.1 모델의 경우는 768x768 크기로 그림 크기를 통일시켜줍니다.
한땀한땀 직접 편집하셔도 됩니다만, 저는 빠르게 https://www.birme.net/ 라는 웹사이트에서 작업을 했습니다.
준비된 재료는 이렇게 webui에서 접근 가능한 곳에 모아둡니다.
다음은 Classification Dataset 이라는 것을 결정해야합니다. 학습시키는 내용과 같은 부류에 있는 다른 화풍을 비교해가면서 최적화를 진행하기 위한 목적이며, 모델 안에 있는 다른 학습된 내용은 건드리지 않기 위한 목적도 있습니다.
저는 "회화"라는 부분을 학습시켜야 할 것 같아서 "painting"으로 정했습니다만, "style"로 하는 사람도 있는 듯 합니다.
보통은 학습하는 그림의 10배수로 이 대조군 그림을 준비한다고 합니다. 이 그림들은 Base Model에서 생성 가능하기때문에, 따로 준비해 줄 필요는 없습니다.
이제 Dreambooth 확장에서 모델을 생성합니다. 이름은 단순히 작업용 폴더 이름이라 적당히 정해주시면 됩니다.
다음은 생성된 작업 Model에 학습을 위한 설정값들을 정해줘야합니다.
아래는 시행착오를 반복한 결과 V1.0에서 사용한 값입니다. 보통은 기본값으로 두면 큰 문제 없으리라 생각합니다.
보통 1500 step을 목표로 학습시키는 듯 합니다. 저는 30장의 그림을 준비했기에 1500 / 30 해서 한장당 50으로 Epochs값을 설정했습니다.
그 다음 Learning Rate인데 보통은 0.000001 (1e-6)를 사용하는 듯 합니다. UI에서의 최소값도 그 값으로 설정되어있습니다. 다만 제가 실험한 결과로는 그 값을 사용해도 너무 빠르게 과적합이 이루어져서 강제로 1e-7을 사용하였습니다. 해당 모델이 이미 수묵화에 대해 학습이 되어 있어서 그럴수도 있고, 원인에 대해서는 아직 정확하게 이해하지 못하고 있습니다. 추가로 과적합 판단에 대해서는 다음 스샷에서 이어서 설명하겠습니다.
그리고 모델 학습은 VRAM을 많이 쓰는 작업이라서, 저처럼 VRAM이 작은 GPU로는 그림 생성은 가능하지만 학습은 불가능합니다. 그래서 webui를 실행할 때 "--force-cpu" 옵션을 추가해서 CPU로 학습을 진행했습니다. GPU를 사용하는 경우에는 Optimizer나 Memory Attention 부분이 저와 다를것입니다.
Sanity Sample Prompt 부분이 앞서 언급한 과적합 판단에 사용되는 부분입니다.
만약 학습시키는 내용이 검은 머리의 인물 얼굴이라면 "a photo of XXX red hair" 같이 자신이 학습시키지 않는 내용을 적는 것이 일반적인 듯 합니다. 저는 학습 내용에 신윤복 화백의 사과 그림이 없었기에 "apple shinyunbok painting"으로 했습니다.
앞서 설정한 "Save Preview(s) Frequency (Epochs)" 의 빈도에 맞춰 해당 prompt로 그림을 그려주기에, 학습 도중에 사과가 사라지면 과적합이라고 판단할 수 있었습니다.
다음 Concepts 탭에서는 주로 학습시킬 것에 대한 내용을 적습니다.
Dataset Directory는 앞서 준비한 그림들이 있는 경로를 적어줍니다.
Classification Dataset Directory는 빈칸으로 두면 학습을 진행하기 전에 "Class Prompt"에 있는 값으로 그림을 생성하는 과정이 추가됩니다.
Class Images Per Instance Image는 학습시킬 그림 1장당 몇장의 대조군 그림을 생성할지 정하게 됩니다. 보통은 10배수 이상으로 생성하는 것을 추천하는 듯 합니다.
마지막으로 Saving에서는 "Generate a .ckpt file when saving during training." 부분을 체크해 줘야 합니다. 그렇게 해야 앞서 "Save Model Frequency (Epochs)"에서 설정한 빈도마다 ckpt 파일을 저장해주며, 혹시나 학습 중간에 과적합이 발생한 경우 그전에 저장된 모델을 사용할 수 있기 때문에 처음부터 다시 학습시키는 수고를 덜 수 있습니다.
이제 "Train" 버튼을 눌러서 결과가 나오기를 기다리기만 하면 됩니다.
하지만 여기있는 설정값에 정답은 없습니다. 한번에 딱 마음에 드는 결과를 얻기는 쉽지 않고, 시행착오의 시작점으로 활용하셨으면 합니다.
