시와 함께 안정적인 확산 openvino 사용

13298 단어 poetrymachinelearningpython
사진 제공: Andrea De Santis on Unsplash

SNS를 이용하다 보면 최근 머신러닝 기술로 생성된 이미지나 이미지를 볼 수 있습니다.

달레 2



https://openai.com/dall-e-2/
DALLE 2를 무료로 사용할 수 있지만 한 달 정도 기다려야 할 수도 있습니다.

그리고 최근에 또 하나가 출시되었습니다. 그것은 안정적인 확산입니다. DALLE 2와 매우 유사합니다. 텍스트와 몇 가지 매개 변수를 지정하면 꽤 멋진 이미지가 생성됩니다. 한 달을 기다리지 않고 Stable Diffusion을 사용할 수 있다니 정말 좋죠? 그러나 GPU가 필요합니다. GPU가 없거나 GPU에 액세스할 수 없다면 아마도 😭 (어떻게 해야 하나요?)

안정적인 확산 정보



https://stability.ai/blog/stable-diffusion-public-release


CompVis / 안정적인 확산






안정적인 확산


안정적인 확산은 Stability AI 및 Runway과의 협력 덕분에 가능했으며 이전 작업을 기반으로 합니다.
High-Resolution Image Synthesis with Latent Diffusion Models
Robin Rombach *
Andreas Blattmann *
Dominik Lorenz
Patrick Esser ,
Björn Ommer
CVPR '22 Oral |
GitHub | arXiv | Project page
txt2img-stable2
Stable Diffusion은 잠재적인 텍스트 대 이미지 확산입니다.
모델.
Stability AI의 넉넉한 컴퓨팅 기부와 LAION의 지원 덕분에 LAION-5B 데이터베이스의 하위 집합에서 512x512 이미지에 대한 잠재 확산 모델을 교육할 수 있었습니다.
Google의 Imagen과 유사합니다.
이 모델은 정지된 CLIP ViT-L/14 텍스트 인코더를 사용하여 텍스트 프롬프트에서 모델을 조절합니다.
860M UNet 및 123M 텍스트 인코더를 사용하는 이 모델은 비교적 가볍고 최소 10GB VRAM이 있는 GPU에서 실행됩니다.
아래의 this section 및 model card을 참조하십시오.

요구 사항


적합한…

View on GitHub

그런 다음 시도할 수 있습니다stable_diffusion.openvino . 이것을 실행하기 위해 GPU가 필요하지 않습니다!!!


bes-dev / stable_diffusion.openvino






stable_diffusion.openvino


Intel CPU에서 Stable Diffusion을 사용하여 Text-to-Image 생성 구현.



요구 사항


  • Linux, Windows, MacOS
  • 파이썬 3.8.+
  • CPU가 OpenVINO와 호환됩니다.

    • 설치 요구 사항


    pip install -r requirements.txt

    텍스트 설명에서 이미지 생성

    usage: demo.py [-h] [--model MODEL] [--seed SEED] [--beta-start BETA_START] [--beta-end BETA_END] [--beta-schedule BETA_SCHEDULE] [--num-inference-steps NUM_INFERENCE_STEPS]
               [--guidance-scale GUIDANCE_SCALE] [--eta ETA] [--tokenizer TOKENIZER] [--prompt PROMPT] [--init-image INIT_IMAGE] [--strength STRENGTH] [--mask MASK] [--output OUTPUT]
optional arguments:
  -h, --help            show this help message and exit
  --model MODEL         model name
  --seed SEED           random seed for generating consistent images per prompt
  --beta-start BETA_START
                        LMSDiscreteScheduler::beta_start
  --beta-end BETA_END   LMSDiscreteScheduler::beta_end
  --beta-schedule BETA_SCHEDULE
                        LMSDiscreteScheduler::beta_schedule
  --num-inference-steps NUM_INFERENCE_STEPS
                        num inference steps
  --guidance-scale GUIDANCE_SCALE
                        guidance scale
  --eta ETA             eta
  --tokenizer TOKENIZER
                        tokenizer
  --prompt PROMPT       prompt
  --init-image INIT_IMAGE
                        path to initial image
  --strength STRENGTH   how strong the initial image should be noised [0.0, 1.0]
  --mask MASK           mask of the region to inpaint on the initial image
  --output OUTPUT       output image name

    예

    …
    View on GitHub

    The readme is very straightforward, so probably you won't have any issues to run the demo.py and try a python script for streamlit.

    However, there might be an issue if you use python already with python version manager and anaconda or etc.

    Then, you can use poetry to avoid messing up and keep your python dev env clean.

    시를 설치하다

    There are 2 ways to install poetry.

    1. using pip
    2. using curl

    Installation
    https://python-poetry.org/docs/#installation

    프로젝트 폴더 생성

    $ poetry new poetry-stable-diffusion

    패키지 설치



    $ poetry add package_name@package_version

    그러나 이렇게 할 필요는 없습니다. 이미 테스트한 다음pyproject.toml을 사용할 수 있습니다.

    이 경우 Python 3.8.12를 사용했습니다.
    Python 3.8이 없다면 [pyenv](https://github.com/pyenv/pyenv) 로 설치하는 것이 좋습니다.

    [tool.poetry]
name = "stablediffusion"
version = "0.1.0"
description = "test Stable Diffusion"
authors = ["koji"]

[tool.poetry.dependencies]
python = "^3.8"
numpy = "1.19.5"
transformers = "4.16.2"
diffusers = "0.2.4"
tqdm = "4.64.0"
openvino = "2022.1.0"
huggingface-hub = "0.9.0"
streamlit = "1.12.0"
watchdog = "2.1.9"
opencv-python = "4.5.2.54"
scipy = "1.6.1"

[tool.poetry.dev-dependencies]

[build-system]
requires = ["poetry-core>=1.0.0"]
build-backend = "poetry.core.masonry.api"


    환경을 설정하기 위해 필요한 것은 하나의 명령을 실행하는 것입니다!

    $ poetry install


    복제 저장소




    $ git clone https://github.com/bes-dev/stable_diffusion.openvino.git
$ cd stable_diffusion.openvino


    demo.py 실행




    $ poetry run python demo.py --prompt "cyberpunk New York City"


    생성된 이미지





    생성 프로세스는 몇 분 정도 소요됩니다(제 경우에는 약 3분 소요).

    내 맥 사양

    $ system_profiler SPHardwareDataType
Hardware:

    Hardware Overview:

      Model Name: MacBook Pro
      Model Identifier: MacBookPro16,1
      Processor Name: 8-Core Intel Core i9
      Processor Speed: 2.3 GHz
      Number of Processors: 1
      Total Number of Cores: 8
      L2 Cache (per Core): 256 KB
      L3 Cache: 16 MB
      Hyper-Threading Technology: Enabled
      Memory: 16 GB
      System Firmware Version: 1916.0.28.0.0 (iBridge: 20.16.365.5.4,0)
      OS Loader Version: 564.40.2.0.1~4
      Serial Number (system): C02CP2ESMD6Q
      Hardware UUID: FFCE331E-4543-5DBE-8F98-E329E0A69F91
      Provisioning UDID: FFCE331E-4543-5DBE-8F98-E329E0A69F91
      Activation Lock Status: Disabled
    Criando는 VueJS와 dev.to의 API를 통해 페이지를 열 수 있습니다.
    Jest로 프런트 엔드 테스트 작성

    좋은 웹페이지 즐겨찾기

    개발자 우수 사이트 수집

    개발자가 알아야 할 필수 사이트 100선 추천 우리는 당신을 위해 100개의 자주 사용하는 개발자 학습 사이트를 정리했습니다
    best100-homepage