스테이블 디퓨전
초기 설정부터 사용하는 방법
스테이블 디퓨전은 텍스트를 기반으로 고품질 이미지를 생성할 수 있는 혁신적인 AI 기술입니다. 이 가이드에서는 초기 설정부터 다양한 활용 방법까지 상세히 알아볼 것입니다.
우리는 다양한 인터페이스와 설치 방법을 소개하며, 기본적인 이미지 생성 방법부터 고급 기능 활용까지 순차적으로 살펴볼 예정입니다. 또한 초기 설정 과정에서 발생할 수 있는 오류와 해결 방법도 함께 안내해 드립니다.
여러분의 창의력을 증폭시켜줄 스테이블 디퓨전의 세계로 함께 떠나봅시다!
스테이블 디퓨전이란?
최신 기술
2022년 8월 Stability AI에서 출시한 최첨단 이미지 생성 AI 기술입니다. 텍스트 설명만으로 다양한 스타일의 고품질 이미지를 만들어낼 수 있습니다.
오픈소스 기반
스테이블 디퓨전은 오픈소스로 공개되어 있어 누구나 자유롭게 활용하고 개선할 수 있습니다. 이는 기술의 빠른 발전과 다양한 응용 프로그램 개발을 가능하게 합니다.
방대한 학습 데이터
LAION-5B라는 대규모 이미지-텍스트 쌍 데이터셋으로 학습되어, 다양한 주제와 스타일에 대한 풍부한 이해를 바탕으로 이미지를 생성합니다.
스테이블 디퓨전 주요 특징
다양한 스타일 구현
스테이블 디퓨전은 사실적인 사진부터 추상화, 일러스트, 3D 렌더링까지 다양한 예술 스타일과 화풍을 구현할 수 있습니다. 프롬프트 작성 방식에 따라 원하는 스타일을 정확하게 지정할 수 있어 창작의 자유도가 매우 높습니다.
로컬 PC 실행 가능
다른 AI 이미지 생성 서비스와 달리 개인 컴퓨터에서 직접 실행할 수 있다는 큰 장점이 있습니다. 이는 개인 정보 보호와 사용 제한 없이 자유롭게 활용할 수 있음을 의미합니다. 물론 하드웨어 요구 사항을 충족해야 원활한 사용이 가능합니다.
확장성과 커스터마이징
오픈소스 특성상 다양한 확장 프로그램과 커스텀 모델을 적용할 수 있습니다. 로라(LoRA), 임베딩, 컨트롤넷 등 다양한 추가 기능을 통해 생성 결과물을 더욱 세밀하게 제어할 수 있습니다.
스테이블 디퓨전 설치 방법 개요
로컬 PC 설치
  • 개인 컴퓨터에 직접 설치
  • 완전한 제어권과 무제한 사용
  • 하드웨어 요구사항 필요 (NVIDIA GPU 권장)
  • 초기 설정 과정이 다소 복잡함
클라우드 서비스 활용
  • Google Colab, RunPod 등 활용
  • 고성능 GPU 렌탈 효과
  • 설치 과정 간소화
  • 사용 시간/용량 제한 있을 수 있음
웹 기반 서비스 이용
  • DreamStudio 등 온라인 서비스 활용
  • 설치 필요 없이 바로 사용 가능
  • 하드웨어 요구사항 없음
  • 사용량에 따른 요금 발생
설치 전 준비사항

권장 시스템 사양
  • CPU: 최소 Intel i5 이상 또는 동급 AMD 프로세서
  • RAM: 최소 16GB 이상 (32GB 권장)
  • VRAM: 최소 6GB 이상 (8GB 이상 권장)
  • 저장 공간: 최소 10GB 이상의 여유 공간

GPU 요구사항
  • NVIDIA GPU 강력 권장 (RTX 시리즈 권장)
  • CUDA 지원 필수
  • 최신 드라이버 설치
  • AMD GPU는 제한적 지원

필수 소프트웨어
  • Python 3.10.6 설치
  • Git 설치
  • C++ 빌드 도구
  • 웹 브라우저 (Chrome 권장)
로컬 PC 설치 방법 1: 직접 설치
Python 설치
Python 공식 웹사이트에서 Python 3.10.6 버전을 다운로드하여 설치합니다. 설치 시 'Add Python to PATH' 옵션을 반드시 체크하세요.
Git 설치
Git 공식 웹사이트에서 최신 버전의 Git을 다운로드하여 설치합니다. 기본 설정값으로 설치해도 무방합니다.
저장소 복제
명령 프롬프트(CMD)를 열고 다음 명령어를 입력합니다: git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
웹 UI 실행
복제된 폴더로 이동한 후 webui-user.bat 파일을 실행합니다. 첫 실행 시 필요한 모든 의존성 패키지가 자동으로 설치됩니다.
로컬 PC 설치 방법 2: 간편 설치
설치 파일 다운로드
GitHub에서 sd.webui.zip 파일을 다운로드합니다. 이 파일은 필요한 모든 설치 스크립트를 포함하고 있어 초보자에게 더 간편한 방법입니다.
압축 해제
다운로드한 zip 파일을 원하는 위치에 압축 해제합니다. 경로는 되도록 영문으로만 구성된 간단한 경로를 사용하는 것이 좋습니다.
업데이트 실행
압축 해제된 폴더 내의 update.bat 파일을 실행합니다. 이 파일은 최신 버전의 웹 UI를 다운로드하고 필요한 기본 설정을 구성합니다.
웹 UI 실행
마지막으로 run.bat 파일을 실행하면 웹 브라우저가 자동으로 열리면서 스테이블 디퓨전 웹 UI에 접속됩니다.
클라우드 서비스 설치 방법
Google Colab 접속
Google Colab에 접속하여 새 노트북을 생성합니다. Google 계정이 필요하며, 무료 버전은 사용 시간에 제한이 있습니다.
설치 코드 실행
Colab 노트북에 스테이블 디퓨전 설치 코드를 입력하고 실행합니다. 공유된 노트북을 사용하면 더 간편합니다.
Google 드라이브 연결
생성한 이미지와 모델을 저장하기 위해 Google 드라이브를 연결합니다. 이를 통해 세션이 종료되어도 데이터를 보존할 수 있습니다.
대안: RunPod 활용
더 안정적인 사용을 원한다면 RunPod와 같은 유료 클라우드 서비스를 고려할 수 있습니다. 시간당 요금제로 고성능 GPU를 렌탈할 수 있습니다.
웹 기반 서비스 이용 방법
DreamStudio 계정 생성
Stability AI의 공식 서비스인 DreamStudio 웹사이트에 접속하여 계정을 생성합니다.
크레딧 시스템 이해
DreamStudio는 크레딧 시스템을 사용합니다. 회원가입 시 약 200회 이미지 생성이 가능한 무료 크레딧을 제공받습니다.
이미지 생성 시작
텍스트 프롬프트를 입력하고 이미지 생성 버튼을 클릭하여 원하는 이미지를 생성합니다.
추가 크레딧 구매
무료 크레딧 소진 후에는 추가 크레딧을 구매할 수 있습니다. 다양한 요금제가 준비되어 있습니다.
기본 인터페이스 둘러보기
3
주요 탭
스테이블 디퓨전 웹 UI는 크게 세 가지 주요 탭으로 구성됩니다: txt2img(텍스트에서 이미지), img2img(이미지에서 이미지), extras(후처리) 탭이 있습니다.
5+
설정 영역
화면 왼쪽에는 다양한 이미지 생성 설정을 조절할 수 있는 영역이 있습니다. 프롬프트 입력, 샘플링 방법, 이미지 크기 등을 설정할 수 있습니다.
∞
이미지 갤러리
화면 하단에는 생성된 이미지들이 표시되는 갤러리가 있습니다. 여기서 이미지를 저장하거나 이미지에 사용된 설정을 확인할 수 있습니다.
상단에는 모델 선택, 설정, 확장 프로그램 등 다양한 메뉴가 위치해 있습니다. 이를 통해 스테이블 디퓨전의 고급 기능들을 활용할 수 있습니다. 생성된 이미지는 기본적으로 outputs 폴더 내에 저장됩니다.
스테이블 디퓨전 웹 UI 접속 방법
웹 브라우저 열기
스테이블 디퓨전 웹 UI는 웹 브라우저를 통해 접속합니다. Google Chrome이나 Firefox와 같은 최신 브라우저를 사용하는 것이 좋습니다.
주소 입력
브라우저 주소창에 'localhost:7860' 또는 '127.0.0.1:7860'을 입력합니다. WebUI 실행 스크립트에서 다른 포트를 지정했다면 그에 맞게 입력합니다.
테마 설정
우측 상단의 설정 메뉴에서 다크모드/라이트모드를 전환할 수 있습니다. 장시간 사용 시 눈의 피로를 줄이기 위해 다크모드가 권장됩니다.
스테이블 디퓨전 웹 UI는 웹 인터페이스이지만 실제로는 로컬 컴퓨터에서 실행되는 서버에 접속하는 형태입니다. 따라서 인터넷 연결이 없어도 사용할 수 있습니다. 단, 처음 실행 시에는 필요한 모델과 라이브러리를 다운로드하기 위해 인터넷 연결이 필요합니다.
모델(체크포인트) 설치
모델 다운로드 사이트 접속
Civitai(시비타이), Hugging Face와 같은 모델 공유 사이트에 접속합니다. 특히 Civitai는 다양한 커스텀 모델과 예시 이미지를 제공합니다.
원하는 모델 다운로드
원하는 모델의 체크포인트 파일(.ckpt 또는 .safetensors)을 다운로드합니다. safetensors 형식이 보안상 더 안전합니다.
모델 파일 설치
다운로드한 모델 파일을 stable-diffusion-webui/models/Stable-diffusion 폴더에 복사합니다.
모델 목록 새로고침
웹 UI에서 상단의 새로고침 버튼을 클릭하거나, 모델 드롭다운 메뉴를 클릭하여 목록을 갱신합니다.
체크포인트 모델 유형 소개
각 모델은 고유한 특성과 장점이 있습니다. 초보자에게는 SD 1.5 계열 모델이 권장되며, 다양한 튜닝 모델과의 호환성이 좋습니다. 하드웨어 성능이 충분하다면 SDXL이 최상의 결과물을 제공합니다.
VAE 설정하기

VAE란 무엇인가?
VAE(Variational Auto-Encoder)는 이미지의 색상과 디테일을 개선하는 역할을 합니다. 적절한 VAE를 사용하면 결과물의 품질이 눈에 띄게 향상됩니다.

VAE 다운로드
추천 VAE 파일(vae-ft-mse-840000.ckpt 또는 sd-vae-ft-mse.ckpt)을 다운로드합니다. Hugging Face나 공식 저장소에서 구할 수 있습니다.

설치 경로
다운로드한 VAE 파일을 stable-diffusion-webui/models/VAE 폴더에 복사합니다. 폴더가 없다면 직접 생성해주세요.

VAE 선택
웹 UI 설정에서 'SD VAE' 드롭다운 메뉴를 통해 원하는 VAE를 선택합니다. 모델별로 적합한 VAE가 다를 수 있습니다.
txt2img 기능 기본 사용법
프롬프트 입력
생성하고 싶은 이미지를 상세히 묘사하는 텍스트를 입력합니다. 영어로 입력하면 더 좋은 결과를 얻을 수 있습니다.
네거티브 프롬프트 입력
이미지에서 제외하고 싶은 요소들을 네거티브 프롬프트 창에 입력합니다. 품질을 저하시키는 요소들을 제외하면 좋습니다.
매개변수 설정
이미지 크기, 샘플링 단계, CFG 스케일 등의 매개변수를 설정합니다. 초보자는 기본값 사용을 권장합니다.
이미지 생성
'Generate' 버튼을 클릭하여 이미지를 생성합니다. 설정에 따라 생성 시간이 달라집니다.
프롬프트 작성법 기초
기본 원칙
좋은 프롬프트는 구체적이고 상세한 묘사를 포함합니다. 모호하거나 추상적인 표현보다는 명확하고 구체적인 단어를 사용하세요. 프롬프트는 영어로 작성하면 더 좋은 결과를 얻을 수 있습니다.
예: "beautiful landscape" 대신 "beautiful mountain landscape with pine trees and clear blue sky, morning light, 4k photography"
프롬프트 구조
프롬프트는 일반적으로 주제, 스타일, 품질 키워드 순으로 구성합니다. 주제는 생성하고자 하는 대상을, 스타일은 예술 스타일이나 분위기를, 품질 키워드는 해상도나 렌더링 품질을 지정합니다.
예: "a cyberpunk cityscape with neon lights and flying cars, digital art, highly detailed, 8k resolution, concept art"
스타일 지정
특정 아티스트나 화풍, 사진 스타일 등을 참조하여 원하는 결과물의 스타일을 지정할 수 있습니다. 다양한 스타일 키워드를 실험해보세요.
예: "portrait of a young woman, in the style of Alphonse Mucha, art nouveau, detailed illustration"
프롬프트 작성법 심화
가중치 설정
프롬프트 내에서 특정 키워드의 중요도를 조절할 수 있습니다. (keyword:1.1) 또는 (keyword:1.5)와 같은 형식으로 가중치를 부여합니다. 가중치가 높을수록 해당 요소가 더 강조됩니다.
예: "portrait of a woman, (red hair:1.3), blue eyes, wearing a white dress"
괄호 사용법
괄호를 사용하여 키워드의 중요도를 강조할 수 있습니다. 일반 괄호 () 보다 이중 괄호 (())를 사용하면 해당 키워드가 더 강조됩니다.
예: "landscape with mountains, ((lake in foreground)), trees, sunny day"
프롬프트 순서의 중요성
프롬프트의 앞부분에 위치한 키워드가 더 중요하게 처리되는 경향이 있습니다. 따라서 가장 중요한 요소는 프롬프트의 앞부분에 배치하는 것이 좋습니다.
예: "cyberpunk street, night time, rainy, neon lights, detailed environment, 4k, cinematic lighting"
네거티브 프롬프트 활용
네거티브 프롬프트란?
네거티브 프롬프트는 생성된 이미지에서 제외하고 싶은 요소를 지정하는 기능입니다. 이를 통해 흔히 발생하는 문제점을 미리 방지할 수 있습니다.
기본 네거티브 프롬프트 예시
많은 사용자들이 공통적으로 사용하는 기본 네거티브 프롬프트는 다음과 같습니다: "ugly, deformed, noisy, blurry, low contrast, watermark, signature, low quality"
손과 얼굴 개선
인물 이미지에서 손과 얼굴의 변형을 방지하기 위해 다음과 같은 네거티브 프롬프트를 추가할 수 있습니다: "bad anatomy, bad hands, extra fingers, missing fingers, extra limbs, bad face, deformed face"
효과적인 조합 만들기
자신만의 네거티브 프롬프트 조합을 만들어 저장해두면 일관된 품질의 이미지를 생성하는 데 도움이 됩니다. 성공적인 결과물의 네거티브 프롬프트를 기록해두세요.
이미지 생성 매개변수 설정
Sampling Steps
이미지 생성 단계의 수를 지정합니다. 값이 높을수록 더 정교한 이미지가 생성되지만 시간이 더 오래 걸립니다. 일반적으로 20-30 단계가 권장되며, 15 미만은 품질이 저하될 수 있습니다.
Sampling Method
이미지 생성 알고리즘을 선택합니다. DPM++ 2M Karras는 고품질 이미지 생성에 적합하며, Euler a는 빠른 생성이 필요할 때 좋습니다. 다양한 방법을 실험해보면서 자신에게 맞는 방법을 찾아보세요.
CFG Scale
프롬프트 충실도를 조절합니다. 값이 높을수록 프롬프트에 더 충실한 이미지가 생성되지만, 너무 높으면 부자연스러워질 수 있습니다. 7-12 사이의 값이 일반적으로 좋은 결과를 보입니다.
Seed 값
이미지 생성의 초기 무작위성을 결정하는 값입니다. 같은 프롬프트와 설정으로 특정 Seed 값을 재사용하면 유사한 이미지를 다시 생성할 수 있습니다. -1로 설정하면 매번 다른 랜덤 값을 사용합니다.
이미지 크기 및 배치 설정
최적의 이미지 크기
모델별로 최적의 해상도가 다릅니다. SD 1.5는 512×512, SDXL은 1024×1024가 기본값입니다.
비율 조정
가로/세로 비율은 생성하려는 이미지의 용도에 맞게 조정하세요.
배치 설정
Batch Count는 생성 작업 횟수, Batch Size는 작업당 이미지 수입니다.
메모리 고려
높은 해상도와 배치 크기는 더 많은 VRAM을 요구합니다.
이미지 크기를 설정할 때는 생성하려는 이미지의 용도와 GPU 성능을 고려해야 합니다. 고해상도 이미지는 더 많은 VRAM을 필요로 하며, 처리 시간도 길어집니다. 시작은 모델의 기본 해상도로 하고, 점차 크기를 조정해 나가는 것이 좋습니다.
배치 설정을 통해 한 번에 여러 이미지를 생성할 수 있습니다. Batch Count가 높을수록 더 다양한 이미지를, Batch Size가 높을수록 한 번에 더 많은 이미지를 생성합니다. 하지만 GPU 메모리 제한을 고려해야 합니다.
플레이그라운드 기능 소개
플레이그라운드란?
플레이그라운드는 스테이블 디퓨전을 쉽게 사용할 수 있는 웹 기반 인터페이스입니다. 복잡한 설치 과정 없이 브라우저에서 바로 이미지를 생성할 수 있으며, 다양한 프로젝트를 관리할 수 있는 기능을 제공합니다.
주요 기능
  • 빠르고 간편한 이미지 생성
  • 프로젝트 기반 작업 관리
  • 다양한 모델 지원
  • 사용자 친화적 인터페이스
접속 방법
플레이그라운드는 웹 브라우저를 통해 접속할 수 있습니다. Stability AI의 공식 플레이그라운드 웹사이트에 접속하여 계정을 생성하고 로그인하면 바로 사용할 수 있습니다. 일부 기능은 구독 모델로 제공될 수 있습니다.
플레이그라운드 시작하기
계정 로그인
플레이그라운드 웹사이트에 접속하여 계정으로 로그인합니다. 계정이 없다면 먼저 가입을 진행합니다.
프로젝트 생성
'새 프로젝트 만들기' 버튼을 클릭하여 새로운 프로젝트를 시작합니다. 프로젝트에 이름을 지정하고 원하는 모델을 선택할 수 있습니다.
워크스페이스 설정
프로젝트 워크스페이스에서 기본 설정을 확인하고 필요에 따라 조정합니다. 인터페이스는 프롬프트 입력 영역과 결과물 표시 영역으로 구분됩니다.
템플릿 활용
플레이그라운드에서 제공하는 기본 프롬프트 템플릿을 활용하여 빠르게 시작할 수 있습니다. 다양한 스타일과 주제의 템플릿이 준비되어 있습니다.
플레이그라운드 이미지 생성 방법
프롬프트 입력
화면 상단의 텍스트 입력창에 원하는 이미지에 대한 설명을 입력합니다. 영어로 상세하게 작성할수록 더 정확한 결과를 얻을 수 있습니다.
생성 설정 조정
화면 우측에 있는 설정 패널에서 이미지 크기, 샘플링 단계, 가이던스 스케일 등의 매개변수를 조정할 수 있습니다. 초보자는 기본 설정을 사용하는 것이 좋습니다.
이미지 생성 실행
모든 설정을 마친 후 '생성' 버튼을 클릭하면 AI가 프롬프트에 맞는 이미지를 생성하기 시작합니다. 설정에 따라 생성 시간이 달라질 수 있습니다.
이미지 저장
생성된 이미지는 화면 하단의 갤러리에 표시됩니다. 마음에 드는 이미지를 클릭하여 확대 보기를 하거나, 다운로드 버튼을 통해 로컬 컴퓨터에 저장할 수 있습니다.
플레이그라운드 고급 설정
플레이그라운드는 다양한 고급 설정을 통해 작업 환경을 사용자화할 수 있습니다. 커스텀 설정을 저장하면 자주 사용하는 매개변수 조합을 빠르게 불러올 수 있어 작업 효율이 높아집니다.
작업 내역 관리 기능을 통해 과거에 생성한 이미지와 사용한 프롬프트를 시간순으로 확인할 수 있습니다. 북마크 기능으로 특히 마음에 드는 결과물과 설정을 따로 저장해두면 나중에 쉽게 참조할 수 있습니다.
프로젝트 내보내기/가져오기 기능을 사용하면 작업 내용을 백업하거나 다른 기기에서 이어서 작업할 수 있습니다. 이는 여러 사람이 협업하는 환경에서 특히 유용합니다.
이미지 후처리 기능
Hires.fix 기능
먼저 낮은 해상도로 이미지의 구성을 생성한 후, 그 이미지를 기반으로 고해상도 버전을 생성하는 2단계 프로세스입니다. 이 방법으로 디테일이 풍부한 대형 이미지를 만들 수 있습니다.
업스케일러 선택
여러 업스케일링 알고리즘 중에서 선택할 수 있습니다. Latent와 ESRGAN 계열 업스케일러가 가장 많이 사용됩니다. 각 업스케일러는 서로 다른 특성을 가지고 있어 이미지 종류에 따라 선택하는 것이 좋습니다.
디노이징 강도
디노이징 강도는 원본 이미지를 얼마나 변경할지 결정합니다. 값이 낮을수록 원본에 가깝고, 높을수록 더 많은 디테일이 추가되거나 변경됩니다. 0.4~0.6 사이의 값이 자연스러운 결과를 줍니다.
Hires.fix 기능은 txt2img 탭 하단에 있는 'Hires. fix' 체크박스를 활성화하여 사용할 수 있습니다. 업스케일 배수, 업스케일러 종류, 디노이징 강도 등의 매개변수를 조정하여 최적의 결과를 얻을 수 있습니다. 이 기능은 충분한 GPU 메모리가 필요하므로 하드웨어 사양을 고려해야 합니다.
img2img 기능 기본 사용법
이미지 업로드
img2img 탭으로 이동한 후, 캔버스 영역을 클릭하거나 이미지를 드래그 앤 드롭하여 기본 이미지를 업로드합니다. 로컬 파일 시스템에서 선택하거나 URL을 통해 이미지를 불러올 수도 있습니다.
업로드한 이미지는 변형의 시작점으로 사용되며, 텍스트 프롬프트에 따라 스타일이나 내용이 변경됩니다.
프롬프트 작성
이미지에 적용하고 싶은 변화를 설명하는 프롬프트를 입력합니다. 원본 이미지의 내용을 설명한 후 변경하고 싶은 부분을 명시하는 것이 좋습니다.
예: "a portrait of a woman with long hair, convert to oil painting style, vibrant colors, detailed brushstrokes"
Denoising 강도 조절
Denoising strength 슬라이더는 원본 이미지를 얼마나 유지할지 결정하는 중요한 설정입니다. 값이 낮을수록(0.3~0.5) 원본과 유사하게 유지되고, 높을수록(0.7~0.9) 프롬프트에 따라 더 많이 변형됩니다.
스타일 변경만 원한다면 0.5 이하, 구도는 유지하되 내용을 크게 바꾸고 싶다면 0.7 이상으로 설정하세요.
인페인팅(Inpainting) 기능

이미지 업로드
img2img 탭에서 'Inpaint' 서브탭으로 이동한 후, 수정하고자 하는 이미지를 업로드합니다.

마스크 생성
브러시 도구를 사용하여 수정하고 싶은 영역을 마스킹합니다. 브러시 크기와 불투명도를 조절할 수 있습니다.

프롬프트 입력
마스킹된 영역에 생성될 내용을 설명하는 프롬프트를 입력합니다. 구체적일수록 좋습니다.

설정 조정
Denoising strength, Inpaint area 등의 설정을 조절하여 자연스러운 결과를 얻습니다.
인페인팅은 이미지의 특정 부분만 선택적으로 수정할 수 있는 강력한 기능입니다. 배경 변경, 얼굴 수정, 물체 제거 또는 추가 등 다양한 편집 작업에 활용할 수 있습니다. 자연스러운 결과를 위해서는 마스크 경계를 약간 넓게 잡고, Denoising strength를 적절히 조절하는 것이 중요합니다.
컨트롤넷(ControlNet) 소개
컨트롤넷이란?
컨트롤넷은 이미지 생성 과정에 추가적인 제어 조건을 부여하는 기술입니다. 포즈, 깊이 맵, 선화, 세그멘테이션 등 다양한 조건을 기반으로 이미지를 생성할 수 있어 원하는 결과물을 더 정확하게 얻을 수 있습니다.
설치 방법
웹 UI의 Extensions 탭에서 'Install from URL'을 선택하고 컨트롤넷 GitHub 저장소 URL을 입력한 후 설치합니다. 그 다음 필요한 모델을 다운로드하여 models/ControlNet 폴더에 넣어야 합니다.
주요 모델 종류
OpenPose(인체 포즈), Canny(엣지 검출), Depth(깊이 맵), Normal Map(법선 맵), Lineart(선화), Segmentation(세그멘테이션) 등 다양한 모델이 있으며, 각각 특정 조건을 제어하는 데 사용됩니다.
컨트롤넷은 스테이블 디퓨전의 가장 강력한 확장 기능 중 하나로, 이미지 생성의 정확성과 일관성을 크게 향상시킵니다. txt2img와 img2img 탭 모두에서 사용할 수 있으며, 여러 컨트롤넷을 동시에 적용하는 것도 가능합니다. 각 모델은 특정 목적에 맞게 설계되어 있어, 원하는 결과에 따라 적절한 모델을 선택해야 합니다.
컨트롤넷 활용 - 포즈 제어
OpenPose 모델 설치
OpenPose 모델을 다운로드하여 models/ControlNet 폴더에 넣습니다. 모델 파일은 컨트롤넷 GitHub 저장소나 Hugging Face에서 구할 수 있습니다.
포즈 이미지 준비
인물의 포즈를 나타내는 이미지를 준비합니다. 웹 UI 내에서 'Pose' 모델을 사용해 자동으로 포즈를 추출하거나, 외부 포즈 라이브러리에서 이미지를 다운로드할 수 있습니다.
컨트롤넷 설정
txt2img 탭에서 컨트롤넷 패널을 열고, 모델을 'OpenPose'로 설정합니다. 준비한 포즈 이미지를 업로드하고, 가중치(Weight)와 안내 시작/종료 값을 조정합니다.
이미지 생성
원하는 인물에 대한 프롬프트를 입력하고 이미지를 생성합니다. 생성된 인물은 업로드한 포즈 이미지와 동일한 자세를 취하게 됩니다.
컨트롤넷 활용 - 선화/스케치
입력: 기본 스케치
간단한 선화나 스케치를 컨트롤넷의 입력으로 사용할 수 있습니다. 손으로 그린 스케치를 스캔하거나 디지털 드로잉 툴로 생성한 이미지가 모두 적합합니다.
전처리: 엣지 검출
Canny 모델은 이미지에서 엣지를 자동으로 검출합니다. 저/고 임계값을 조절하여 엣지 검출 강도를 제어할 수 있으며, 노이즈 제거 옵션도 활용할 수 있습니다.
결과: 완성된 아트워크
컨트롤넷은 스케치의 선을 존중하면서 채색과 세부 디테일을 추가합니다. 프롬프트를 통해 스타일, 색상 분위기, 재질감 등을 지정할 수 있습니다.
컨트롤넷의 선화/스케치 모델(Canny, Scribble, Lineart 등)은 아티스트의 작업 흐름을 크게 개선할 수 있습니다. 간단한 스케치만으로 완성도 높은 아트워크를 생성할 수 있어, 컨셉 아트나 일러스트레이션 작업에 매우 유용합니다. 최적의 결과를 위해 Weight 값은 0.8~1.0, Guidance Start는 0.0, Guidance End는 1.0으로 설정하는 것이 좋습니다.
확장 프로그램 소개
확장 프로그램이란?
확장 프로그램은 스테이블 디퓨전 웹 UI의 기능을 확장하는 플러그인입니다. 커뮤니티 개발자들이 만든 다양한 확장 프로그램을 통해 워크플로우를 개선하고 새로운 기능을 추가할 수 있습니다.
확장 프로그램은 웹 UI의 'Extensions' 탭에서 관리할 수 있으며, 온라인에서 직접 설치하거나 수동으로 추가할 수 있습니다.
설치 방법
설치 방법은 크게 세 가지가 있습니다:
  1. 내장 확장 저장소에서 찾아 설치
  1. GitHub URL을 통한 설치
  1. zip 파일을 다운로드하여 수동 설치
설치 후에는 대부분 웹 UI를 재시작해야 적용됩니다.
추천 확장 프로그램
  • ControlNet: 이미지 생성의 세밀한 제어
  • Additional Networks: LoRA, 하이퍼네트워크 관리
  • Image Browser: 생성된 이미지 찾기/관리
  • Prompt All In One: 프롬프트 작성 지원
  • Ultimate SD Upscale: 고품질 업스케일링
로라(LoRA) 소개
LoRA란?
LoRA(Low-Rank Adaptation)는 기존 스테이블