Stable Diffusion ControlNet 활용

지금까지는 대부분 카메라를 정면으로 바라보는 캐릭터들만 만들어 왔습니다.

이런 캐릭터들은 포즈나 구도가 다소 밋밋할 수 있죠.

 

하지만 이전 글에서 설치한 ControlNet을 활용하면,

이제는 특정 포즈를 유지하는 캐릭터를 만들 수 있게 됩니다.

 

예를 들어, 여성이 바닥에 앉아 다리를 꼬고 손을 바닥에 댄 포즈를 유지하면서,

의상이나 배경, 색상은 자유롭게 변경해도 포즈는 그대로 유지됩니다.

이처럼 ControlNet을 통해 어떤 포즈든 고정시킬 수 있습니다.

 

---

 

ControlNet을 이용한 포즈 고정

기본적으로 캐릭터를 불러오면 정면을 보는 평범한 모습이 나올 것입니다.

이제 여기서 ControlNet 탭으로 이동해서 캐릭터의 포즈를 지정할 수 있습니다.

 

• 포즈로 사용할 이미지는 직접 촬영한 사진도 가능하며,
• 사람의 형태(팔, 다리, 머리)가 있다면 사람이 아닌 이미지도 사용 가능합니다.
• “Enable”을 체크해야 기능이 활성화됩니다.
• Preprocessor와 모델은 반드시 일치해야 합니다.
• 예: Canny를 선택했으면 모델도 Canny로 맞춰야 합니다.

이제 “Generate” 버튼을 누르면,

AI가 해당 포즈에 맞는 캐릭터를 생성하게 됩니다.

예: 흰 머리 여성 캐릭터가 포켓에 손을 넣은 자세로 생성됨.

 

---

 

포즈 참고 사이트 소개

1. [posemaniacs.com]
   • 다양한 인체 포즈 모델을 제공
   • 회전, 성별 변경, 프리셋 포즈, 스크린샷 저장 가능
   • 조명은 꺼두는 게 좋음 (AI가 조명을 재생성함)

1. [postmy.art]
   • 다중 모델 추가 가능
   • 프리셋 포즈나 동작이 포함된 씬 선택 가능
   • 그림자나 바닥은 혼란을 줄 수 있으므로 비활성화
   • 원하는 포즈로 조정 후 스크린샷 저장

 

---

 

Stable Diffusion에서 활용

 

1. 이전 이미지 제거
2. 스크린샷을 드래그하여 업로드
3. Generate 클릭

 

이렇게 하면, 방금 설정한 포즈를 기반으로

AI가 흰 머리 캐릭터를 해당 포즈로 생성합니다.

 

---

 

ControlNet 작동 원리

 

ControlNet은 Depth Map(깊이 맵) 혹은 **에지 맵(edge map)**을 활용하여

입력 이미지의 윤곽과 포즈를 추출하고, 이를 기반으로 새로운 이미지를 생성합니다.

 

• Canny 모델: 윤곽선 중심의 에지 감지, 세부 묘사에 유리
• Depth Map: 공간감 인식에 유리, 이후 영상에서 다룰 예정
• HED: Canny와 유사하지만 더 부드러운 라인 생성
• MLSD: 건축물/설계도에 적합
• Normal Map: 3D 형태 인식용
• OpenPose: 스틱맨 형태의 포즈 지정
• Scribble: 종이에 그린 낙서나 스케치도 포즈로 사용 가능

 

---

이처럼 ControlNet은 포즈 고정뿐 아니라,

다양한 모델을 활용해 보다 정교한 AI 이미지 생성이 가능하게 해줍니다.

이후 영상에서는 ControlNet을 활용한 더 다양한 응용 예시를 살펴보게 됩니다.