Stable Diffusion에 VAE 개념 및 WEB UI에 설정하기

VAE(Variational Autoencoder)란?

VAE는 딥러닝에서 자주 사용되는 생성 모델 중 하나로, 데이터의 잠재 공간(latent space)을 학습하여 새로운 데이터를 생성하는데 사용됩니다.

 

VAE는 인코더(encoder)와 디코더(decoder)로 구성되어 있으며, 인코더는 입력 데이터를 잠재 공간으로 변환하고, 디코더는 이 잠재 공간의 값을 다시 원래 데이터 공간으로 변환합니다.

• 인코더(Encoder): 입력 데이터를 잠재 변수(latent variable)의 분포로 변환합니다.
• 잠재 공간(Latent Space): 잠재 변수는 정규 분포로 가정되며, 이는 새로운 데이터를 생성하는 데 사용됩니다.
• 디코더(Decoder): 잠재 변수를 다시 원래 데이터 공간으로 변환합니다.

Stable Diffusion 모델에서 VAE의 역할

Stable Diffusion 모델에서 VAE는 아래와 같은 역할을 합니다.

• 잠재 공간 학습
  • VAE는 입력 이미지의 잠재 표현(latent representation)을 학습합니다.
  • 이를 통해 이미지의 중요한 특징을 압축하여 표현할 수 있습니다.
  • Stable Diffusion 모델에서는 이러한 잠재 표현을 이용해 이미지를 점진적으로 생성합니다.
• 이미지 디코딩
  • 학습된 잠재 공간에서 샘플링된 값을 이용해 디코더를 통해 이미지를 생성합니다. 이는 원본 데이터의 분포를 따르는 새로운 이미지를 생성할 수 있게 합니다
• 노이즈 추가와 제거
  • Stable Diffusion 모델은 이미지 생성 과정에서 노이즈를 추가하고, 이 노이즈를 제거하는 과정을 반복합니다. VAE의 디코더는 이 과정을 효과적으로 수행할 수 있도록 도와줍니다.
  • 잠재 공간에서의 샘플링을 통해 노이즈를 추가하고, 디코더를 통해 이를 제거함으로써 고퀄리티의 이미지를 생성합니다.

 

VAE 적용하기

자주 사용하는 VAE는 많지만 제가 사용하는 VAE에 대해 소개합니다.

 

clearvaeSD15_v23.safetensors

2D 그림 모델에 사용하는 VAE입니다.

ClearVAE(SD1.5) - v2.3 | Stable Diffusion VAE | Civitai

 

kl-f8-anime2.ckpt

ClearVAE와 마찬가지로 2D 그림 모델에 사용하는 VAE입니다.

vae/kl-f8-anime2.ckpt · hakurei/waifu-diffusion-v1-4 at main

 

840000-ema-pruned.ckpt

실사 모델에 사용하는 VAE입니다.

vae-ft-mse-840000-ema-pruned.ckpt · Yukihime256/840000 at main

 

 

VAE 적용 방법

위에서 다운로드를 했으면, stable-diffusion-webui > models > VAE 디렉토리에 다운로드 받은 vae 파일을 넣어줍니다. 그리고 Stable Diffusion WEB UI를 재실행합니다.

 

재실행하고 WEB UI에서 확인해보면 아래와 같이 VAE가 항목에 나타나게 됩니다.

 

관련 글

Stable Diffusion WEB UI에 User Interface 설정하기

 

[Stable Diffusion] 있으면 편리한 Extension 추천