MacOS용 안정적인 확산 설정

With the landscape quickly changing, this article is fast becoming outdated!

If you face issues with the tutorial below I recommend you checkout the latest advice here.

Stable Diffusion은 recently made open source이었던 잠재 텍스트-이미지 확산 모델입니다.

전용 NVDIA GPU를 사용하는 Linux 사용자의 경우 설정 및 사용 지침이 비교적 간단합니다. 그러나 MacOS 사용자의 경우 "기본"프로젝트를 사용할 수 없습니다. 걱정할 것 없습니다! 그럼에도 불구하고 작동시키는 몇 가지 단계가 있습니다!

환경 설정

시작하려면 Python , Conda 및 몇 가지 다른 라이브러리가 필요합니다.

# Install Python, Cmake, Git, and Protobuf
brew install python \
  cmake \
  git \
  protobuf

# Install Rust
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

# Install Conda:
## Either use this for older "pre-M1" Macs:
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-MacOSX-x86_64.sh
bash Miniconda3-latest-MacOSX-x86_64.sh

## Or use this for older M1 Macs:
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-MacOSX-arm64.sh
bash Miniconda3-latest-MacOSX-arm64.sh

새 라이브러리에 대한 변경 사항을 적용하려면 이 시점에서 터미널을 다시 시작해야 할 수 있습니다.

프로젝트의 이 포크를 복제하고 apple 패치 브랜치를 체크아웃합니다.

git clone https://github.com/magnusviri/stable-diffusion
cd stable-diffusion
git checkout apple-silicon-mps-support

이 시점에서 Python 3check out this article for different ways to make Python 3 the default version on your Mac을 사용하고 있는지 확인해야 합니다.

Conda 환경을 설정합니다.

conda env create -f environment-mac.yaml
conda activate ldm

마지막으로 다음 환경 변수를 설정합니다.

export PYTORCH_ENABLE_MPS_FALLBACK=1

코드 변경

이제 환경이 설정되었지만 코드가 CPU를 사용하도록 정상적으로 폴백할 수 있도록 몇 가지 조정이 필요합니다(필요한 경우!).

ldm/models/diffusion/plms.py#L27에 .contiguous()를 추가하면 결과는 다음과 같습니다.

-        attr = attr.to(torch.float32).to(torch.device(self.device_available))
+        attr = attr.to(torch.float32).to(torch.device(self.device_available)).contiguous()

마찬가지로 ldm/modules/attention.py#L211 뒤에 새 줄x = x.contiguous()을 추가하여 다음과 같이 표시합니다.

def _forward(self, x, context=None):
+       x = x.contiguous()
        x = self.attn1(self.norm1(x)) + x

안정적인 확산 분동 다운로드

확산 추를 설치합시다

curl "https://www.googleapis.com/storage/v1/b/aai-blog-files/o/sd-v1-4.ckpt?alt=media" > sd-v1-4.ckpt

이미지 만들기 🚀

이제 Stable Diffusion을 사용하여 MacOS 장치에서 이미지를 생성할 준비가 되었습니다! 🎉 🎉

python scripts/txt2img.py --prompt "a drawing of web developers" --plms --ckpt sd-v1-4.ckpt --skip_grid --n_samples 1

트릭과 핵은 https://github.com/CompVis/stable-diffusion/issues/25에서 빛났습니다. 작업을 작동시키는 방법을 알아낸 해당 스레드의 모든 사람들에게 공을 돌립니다!