Stable Diffusion 영상제작하기

이제 AI로 영상을 만드는 방법에 대해 생각해봅시다.

 

우리는 text to image(텍스트-이미지) 방식은 사용할 수 없습니다. 그 이유는 텍스트 프롬프트를 입력하면 매번 다른 이미지가 생성되기 때문입니다. **같은 시드(seed)**를 사용하더라도, 한 이미지에서 다음 이미지로 이어지는 **자연스러운 흐름(flow)**은 생기지 않습니다. 하지만 영상이란 본질적으로 여러 이미지가 순서대로 이어지는 시퀀스이기 때문에, 프레임 간의 연속성이 중요합니다.

 

그래서 우리는 image to image(이미지-이미지) 방식을 사용해야 하며, 서로 관련된 이미지들을 생성해 움직임이 느껴지도록 해야 합니다. 여기서 Stable Diffusion은 영상을 프레임 단위로 나누고, 각 프레임을 원하는 스타일로 변환해주는 역할을 합니다. 이때 같은 시드 값을 사용하면 일관성 있는 결과를 얻을 수 있습니다.

 

즉, 우리가 해야 할 일은 Stable Diffusion으로 변환할 수 있는 영상을 준비하는 것입니다. 직접 촬영한 자체 영상을 사용할 수도 있고, 아니면 pexels.com 같은 사이트에서 무료 영상을 다운로드할 수도 있습니다. 여기에서는 한 예시로 귀여운 남자아이 영상이 사용되었습니다.

 

이제 이 영상을 프레임 단위의 이미지들로 분리해야 합니다. 방법은 여러 가지가 있습니다:

• easygif.com에서 video to JPEG 기능을 사용해 프레임 추출
• Adobe Premiere와 같은 영상 편집 프로그램을 사용해 JPEG 시퀀스로 익스포트
• 다른 프로그램을 사용해도 무방하며, 위의 사이트는 참고용입니다

 

프레임으로 나눠진 이미지를 보면, 왼쪽/오른쪽 화살표로 넘기면서 한 장씩 움직이는 모습을 확인할 수 있습니다.

 

이제 Stable Diffusion에서 이 이미지들을 하나씩 변환하는 작업을 하게 됩니다.

 

Image to Image 탭에서 첫 번째 이미지를 불러온 뒤, Positive Prompt / Negative Prompt를 설정하고, 사용할 모델과 샘플러를 선택합니다.

 

이때 이미지의 해상도가 중요한데, 예를 들어 원본 이미지가 1920x1080이라면, 처리 속도를 위해 가로/세로 절반 정도의 크기로 줄여서 입력하는 것이 일반적입니다. 자동으로 약간의 보정이 들어가도 괜찮습니다.

 

이제 중요한 설정인 CFG Scale과 Denoising Strength에 대해 설명하겠습니다:

 

• CFG Scale: 수치가 높을수록 AI의 창의성이 커지고, 낮을수록 원본 이미지에 더 가깝게 유지됩니다.
• Denoising Strength: 수치가 높을수록 AI가 더 많이 개입하지만, 너무 높으면 프레임 간 일관성이 떨어질 수 있습니다.

 

따라서, 일관성을 원한다면 두 수치를 낮게 설정하는 것이 좋습니다. 하지만 너무 낮으면 AI의 변환 효과가 줄어들 수 있으므로, 여러 번 실험하면서 적절한 균형을 찾아야 합니다.

 

또한 시드를 고정하면 프레임 간 일관성을 더욱 확보할 수 있습니다.

 

ControlNet도 사용하게 되는데, 이때 Enable을 체크하고, Preprocessor와 모델은 동일한 항목을 선택해야 합니다 (예: depth 모델이면 depth 전처리기).

 

이제 설정을 마쳤다면 Run을 클릭해 변환을 시작합니다. 이렇게 생성된 이미지는 원본 프레임 기반의 이미지이면서 프롬프트의 스타일이 반영된 결과물입니다.

 

하지만 설정이 적절하지 않으면 다음과 같은 문제가 발생할 수 있습니다:

 

• 프레임마다 인물이 바뀌거나 (예: 인종이 바뀜)
• 과도한 스타일 적용으로 일관성이 무너짐

 

따라서 CFG Scale과 Denoising Strength를 낮게 유지하는 것이 중요합니다.

 

**프레임 배치 작업(Batch)**을 하기 전에는 현재 이미지들을 모두 **제거(초기화)**하세요. 그렇지 않으면 다음 프레임에 영향을 줄 수 있습니다.

 

이제 Batch 탭으로 이동해 작업을 진행합니다:

 

1. Input Directory: 원본 이미지가 있는 폴더 경로
2. Output Directory: 결과물이 저장될 폴더 경로
3. Seed 설정 확인: 일관성을 위해 고정값을 추천
4. 설정이 완료되면 Run 클릭

 

그러면 모든 프레임이 변환되어 결과 폴더에 저장됩니다.

 

이제 이 결과 이미지들을 영상으로 합치는 작업이 남았습니다.

 

• easygif.com의 GIF Maker 기능을 사용할 수 있습니다
• 또는 Premiere Pro 같은 영상 편집 소프트웨어에서
  • File → Import → 첫 번째 이미지 선택
  • 프레임 이름 순서대로 이어지므로 001, 002, 003 같은 파일명 순서를 유지하는 것이 중요합니다.

 

이제 완성된 영상은 AI가 생성한 영상처럼 보이며, 실제로 우리가 원하는 결과물입니다.

 

만약 영상이 너무 빠르게 재생된다면, 다음과 같은 방법을 고려해 보세요:

 

• 프레임을 늘려 각 이미지를 더 오래 보여주는 방식
• 프레임 수 자체를 줄여 (예: 초당 12프레임으로 제한)
• 동일 프레임을 2~3번 반복하여 만화책처럼 자연스럽게 보이게

 

이렇게 하면 눈의 피로도 줄이고 자연스러운 흐름을 만들어 낼 수 있습니다.

 

---

이제 여러분은 Stable Diffusion을 이용한 영상 제작 기초 과정을 완료하셨습니다.

프레임 분리 → 변환 → 재조합 과정을 통해, 나만의 AI 영상을 만들 수 있게 된 것입니다.