ComfyUI를 활용한 캐릭터 개발

오늘은 ComfyUI를 활용한 캐릭터 개발에 대해 다룰 거예요.

우리는 ComfyUI의 강력한 기능을 활용해 독창적인 캐릭터를 만들고 다듬는 방법을 탐구할 것입니다.

수업이 끝날 때쯤이면, 여러분은 프로젝트에서 사용할 설득력 있고 일관된 캐릭터를 개발하는 데 ComfyUI를 어떻게 활용하는지 확실히 이해하게 될 거예요.

자, 커피 한 잔 들고 편안히 앉아, ComfyUI와 함께하는 흥미진진한 캐릭터 제작의 세계로 들어가 볼까요?

 

지금 여기에는 우리가 지난 시간에 만들었던 워크플로우가 열려 있습니다.

현재는 ControlNet 그룹이 필요 없으니, 마우스 오른쪽 클릭 후 bypass group node를 선택해 주세요.

이렇게 하면 ComfyUI가 해당 그룹을 건너뛰고 생성 과정에 포함하지 않게 됩니다.

 

이번 스크립트에 따르면, 우리는 메인 캐릭터가 필요해요.

귀엽고 아이 같은 소녀인데, **빨간 머리에 양 갈래 머리(pigtails)**를 하고 있다고 상상합니다.

우리가 원하는 스타일은 스톱모션 미니어처 스타일이에요.

이 스타일을 명확하게 정의하기 위해 사용할 것이 바로 LoRA입니다.

 

LoRA는 기본 모델보다 더 나은 품질의 캐릭터, 포즈, 씬, 콘셉트를 생성할 수 있도록 해주는 추가 훈련된 데이터입니다.

**기본 모델(Base Model)**은 이미지 생성의 기초가 되는 것으로, 자동차, 공룡, 펭귄 등이 어떤 모양인지에 대한 수십억 개의 이미지와 텍스트 학습 결과를 담고 있어요.

하지만 모든 걸 다 알지는 못하고, 때때로 우리가 원하는 이미지가 흐릿하거나 부정확할 수 있습니다.

 

그래서 LoRA는 그런 한계를 보완해줍니다.

LoRA는 개별 스타일이나 개념에 맞춰 추가 훈련된 데이터이며, 기존 모델에 적응해서 활용됩니다.

이번 예제에서는 저희가 직접 훈련한 ‘Milchor’ 스타일의 스톱모션 LoRA를 사용할 거예요.

 

이 LoRA를 다운로드했다면, ComfyUI 폴더로 가서

models → LoRA 폴더에 .safetensors 파일을 넣어두세요.

우리는 CRC SDXL용 LoRA 모델을 사용할 겁니다.

 

수많은 LoRA는 civitai.com에서 받을 수 있습니다.

여기에서 필터 옵션에서 LoRA를 선택하고 기본 모델은 SDXL로 설정하면 수많은 LoRA들을 확인할 수 있어요.

예를 들어 발만 표현한 LoRA, 영화 스타일 LoRA, 핸드 디테일 LoRA 등등 거의 모든 스타일이 존재합니다.

 

설치를 완료했다면 다시 워크플로우로 돌아가서,

왼쪽으로 base group을 끌고, 더블 클릭해서 load LoRA를 검색하세요.

새로운 노드가 생기면 다음과 같이 연결합니다:

• Checkpoint 모델 출력 → Load LoRA 입력
• Load LoRA 출력 → K-Sampler 입력
• CLIP 관련 출력과 입력도 마찬가지로 연결

 

그 다음 Load LoRA 노드의 드롭다운 메뉴에서 CRC SDXL LoRA를 선택하세요.

 

이제 프롬프트를 입력할 수 있습니다.

우리는 이런 스타일의 캐릭터를 원하므로 다음과 같이 입력합니다:

 

Prompt:

character sheet, character turntable of a cute girl character with red hair, wearing a green jacket and T-pose, skinny limbs, black pants, facing viewer, plain background, in the style of stop motion

 

Negative Prompt:

text, watermark, blurry, deformation, low resolution, skirt, nsfw

 

프롬프트 창을 끌어와서 배치 사이즈는 4로 설정하고, Q Prompt 버튼을 눌러주세요.

Seed는 무작위로 설정되어 있으며, 이미지가 생성되는 남은 시간과 진행률을 볼 수 있습니다.

 

이미지가 생성되었으면, 마음에 드는 걸 골라 Open Image를 눌러 저장하세요.

 

다음 캐릭터를 만들 차례입니다.

이번에는 프랑켄슈타인 스타일로, 다소 투박한 느낌의 귀여운 캐릭터를 만들 거예요.

Prompt는 이렇게 바꿔줍니다:

 

character sheet, character turntable of a cute cartoon big clumsy Frankenstein monster in T-pose, facing viewer, plain background, in the style of stop motion

 

Negative Prompt는 그대로 두고 Q Prompt를 눌러주세요.

결과를 보면, 이번에도 꽤 만족스러운 이미지가 나왔어요.

마찬가지로 Open Image를 눌러 저장합니다.

 

그런데 현재 해상도는 SDXL 기본 해상도로 제한돼 있습니다.

더 높은 해상도를 원한다면 샘플 수를 늘리거나 업스케일링을 해야 합니다.

 

이제 업스케일링 노드를 추가해 보겠습니다.

ultimate_sd_upscale를 검색해서 노드를 추가하고, 다음과 같이 연결하세요:

 

• 기존 모델 출력 → ultimate_sd_upscale 입력
• 기존 K-Sampler도 다시 연결
• ControlNet 그룹은 바이패스 상태지만, 연결은 필요함
• VAE → ultimate_sd_upscale로 연결

 

그리고 업스케일 모델이 필요하므로 upscale model loader 노드를 추가하고 업스케일 모델을 선택하세요.

리스트에 없다면 모델 매니저에서 다운로드할 수 있어요.

 

추가로 Compare Node도 넣어서 원본 이미지와 업스케일된 이미지를 비교할 수 있도록 합니다:

 

• VAE Decode → Image B
• 배치 사이즈는 1로 설정

 

마지막으로 ultimate_sd_upscale 노드에서 설정을 변경합니다:

 

• 샘플러 모델을 DPM++ 2M으로
• 스케줄러는 Karras로 설정

 

Q Prompt를 눌러 업스케일 과정을 시작하세요.

타일 방식으로 계산되기 때문에 시간이 조금 걸릴 수 있습니다.

총 18개의 타일을 계산하고, 해상도는 원본의 2배가 됩니다.

 

완료되면 Compare 노드에서 원본과 업스케일 이미지를 비교할 수 있고, 디테일 향상 여부를 확인할 수 있습니다.

 

마지막으로 이 업스케일 파트를 정리해서 새로운 그룹으로 만들고 이름을 upscale이라고 지정해 정리하세요.

 

다음 수업에서는 **배경 환경(Environment)**을 주제로, ControlNet을 다시 활성화하고

웹 서비스 Magnific.ai처럼 더욱 디테일을 보강할 수 있는 업스케일 방법을 소개할 예정입니다.