Top.Mail.Ru
Как установить Stable Diffusion
Логотип
  • Telegram
  • WhatsApp
  • ВК
  • Youtube
  • Artstation
+74992296669
г. Москва Пн - Вс с 10:00 до 19:00
Содержание
Показать содержание
1265
0

Как установить и использовать Stable Diffusion

Рассказываем, как использовать Stable Diffusion в работе художника — говорим про основные возможности и процесс установки.

Окружение и иллюстрация
Как установить и использовать Stable Diffusion

Работа нашего студента с курса «Нейросети для художника»

Stable Diffusion — популярная нейросеть, которая может генерировать изображения по запросам или дорабатывать скетчи художников. Однако в ее использовании есть свои нюансы. 

В этой статье мы поговорим о возможностях Stable Diffusion, о том, как ее использовать, и самое главное — как установить его на свой ПК и получить доступ к максимальному числу полезных настроек.

Что можно делать в Stable Diffusion 

Нейросеть Stable Diffusion может здорово помочь художникам в процессе рисования, однако важно понимать, что нейросеть выступает инструментом. Без художника и его навыков в рисовании генерация становится почти бессмысленной, ибо вы не сможете её контролировать. У вас не получится сделать арт в нужном стиле или доработать загруженный скетч.

Зато при наличии художественных навыков и знаний художник может взять сырой рисунок нейросети и на её основе сделать интересную и красивую работу. Подробнее обо всем этом мы писали в нашей статье о пользе нейросетей для художника.

Пример работы, сделанной в нейросети
Вот такую работу смогла сделать студентка нашего курса «Нейросети для художника»

Есть несколько разных форматов работы со Stable Diffusion. Нейросеть можно использовать онлайн и в разных версиях на ПК. Каждая из этих программ предоставляет разные интерфейсы и возможности. 

Рассмотрим базовые функции нейросети. В Stable Diffusion можно:

Генерировать изображения с нуля по текстовому запросу. Тут всё как и везде — задаем промпт для генерации и получаем результат. Дополнительно можно указать негативный промпт, выбрать стиль, соотношение сторон изображения и их количество.

У веб-версии есть небольшое количество дополнительных настроек: масштаб направления (степень учета запроса) и количество шагов, за которые нейросеть выполнит запрос — обычное большее количество шагов позволяет создавать более детализированные изображения.

Для примера мы решили сгенерировать фотореалистичный пейзаж. Вот результат:

Генерация в SD Online
Промпт — «photorealistic landscape, mountain view with highly detailed textures»

Версия для ПК также генерирует изображения по запросу, но дает больше настроек для указания стиля, увеличения детализации и ориентации изображения. Можно применять встроенные модели, а также применять разные параметры в запросе.

Генерация в SD на ПК
Промпт: «higly detailed, majestic royal tall ship on a calm sea,realistic painting, by Charles Gregory Artstation and Antonio Jacobsen and Edward Moran, (long shot), clear blue sky, intricated details, 4k». Источник

Дорисовывать свое изображение. Для этого нужно воспользоваться другой опцией нейросети генерацией по изображению. Выглядит это так: пользователь добавляет исходное изображение, пишет текстовый запрос и выставляет необходимый стиль. Если необходимо, можно указать и негативный промпт, а также дополнительные настройки. 

В онлайн-версии нейросети генерация на основе изображения неплохая, однако тоже ограничена в плане настройки. Например, мы попросили на основе изображения генерировать красные цветы, а также изменить освещение с закатного на дневное. Нейросеть справилась только с первой задачей:

В SD для ПК можно улучшать детали изображения и генерировать что-то новое на основе скетча. При этом здесь также можно легко менять объекты на фото, добавлять новые детали или выбирать зоны на фото, которые нейросеть должна заменить. 

Расширять фото. Онлайн версия Stable Diffusion позволяет расширить свое изображение, — отсутствующие ранее детали будут дорисованы нейросетью. Для этого вам в настройках нужно сменить или увеличить соотношение сторон будущей картинки.

Например, на основе того же изображения с цветами и тем же промптом, нейросеть сгенерировала нам горизонтальный расширенный арт:

Расширение фото

Версия на ПК также легко справляется с такой задачей, если расширить или изменить соотношение сторон изображения в настройках, а также использовать вкладку inpaint, где как раз можно и показать нейросети, что именно должно быть изображено на расширенной части изображения

Исходное фото выглядело так:

Исходное фото девушки

В процессе можно было получить что-то вроде такого — это не окончательный вариант автора:

Расширенное фото с девушкой
Источник

Есть дополнительные инструменты в онлайн-версии, которые доступны на отдельных страницах сайта — это удаление фона, волшебный ластик и редактирование. Первый инструмент удаляет фон фото, второй позволяет удалить любой объект на изображении без влияния на общую композицию или фон, а третий — заменять выделенные объекты на другие.

Замена объектов на фото
Пример замены объекта.

Как начать работать со Stable Diffusion

Stable Diffusion существует в двух версия — онлайновой и десктопной. Однако разработчики также создали специальные клиенты, которые дают возможность установить SD с самыми важными настройками, но гораздо быстрее. Рассмотрим процесс использования каждого из трех вариантов.

Stable Diffusion Online

В онлайн-версии нейросети можно работать сразу после регистрации на сайте, но у неё есть ряд ограничений. 

Во-первых — онлайн-версия платная, хоть и не сразу. Пользователь при регистрации получает 10 кредитов. Один кредит — одна генерация. Кредиты со временем обновляются, но это всё равно ограничивает ваши возможности. Если вы хотите генерировать больше, то придётся покупать один из платных тарифов.

Во-вторых — настройки онлайн-версии скудные, в отличие от версии для ПК. Например, мы не можем применять модели, увеличивать количество шагов для большей детализации или менять чекпоинты (саму основную модель). Всю разницы вы можете ощутить на практике, когда попробуете поработать с SD на ПК после онлайн-версии.

В-третьих — пользователь не может обучить нейросеть под себя или использовать дополнительные модели для генерации в авторском стиле, чтобы получать более гибкие результаты.

Если вас устраивает все это, то достаточно перейти на главную страницу нейросети, и приступить к работе. Перед вами откроется интерфейс нейросети — для генерации нужно ввести запрос, по необходимости добавить исходное изображение, выбрать стиль и установить настройки, а потом запустить процесс.

Интерфейс настроек в SD Online
Интерфейс настроек в SD Online

Клиенты Stable Diffusion

Клиенты Stable Diffusion для ПК — это собранные сборки с сами главными и важными настройками. Эти клиенты полностью бесплатные, в отличие от онлайн версии. Устанавливаются клиенты как любая стандартная утилита на ПК.. 

К самым популярным клиентам относятся:

  • NMKD Stable Diffusion GUI. Это клиент для пользователе Windows. Достаточно скачать файл на сайте и установить его. Впоследствии можно генерировать изображения по текстовому запросу или на основе конкретного изображения и текстового запроса. Клиент содержит все базовые функции Stable Diffusion, в том числе и возможность добавлять пользовательские модели для улучшения рисунка.
Смена освещения на фото при помощи нейросети
Например, автор попросил нейросеть сделать то же изображение, но уже изобразить ночь. Источник

  • DiffusionBee. Это уже клиент для MacOS, который также включает ключевые возможности Stable Diffusion: генерацию на основе запроса, на основе изображения, использование моделей и апскейлов, раскраску артов, удаление или добавление объектов на рисунке.
Пример генерации по наброску в нейросети
Например, можно просто набросать самый примитивный эскиз, и клиент преобразует его во что-то похожее, но более конкретное. Этот вариант — просто результат генерации без настроек. Если настроите под себя программу при помощи моделей и будете использовать апскейлы, можно получить более красивый в визуальном плане итог. Источник

  • Easy Diffusion. Клиент для всех операционных систем, в том числе и для Linux. Новая версия содержит все нужные функции — от преобразования запроса в изображение до применения моделей, ContolNet и апскейлов для получения более интересных результатов.
Пример генерации на основе промпта и изображения
Пример генерации по текстовому запросу и на основе изображения. Источник

Полная версия Stable Diffusion

Клиенты Stable Diffusion содержат в себе почти все функции, но ключевое слово — почти. Полную версию нейросети можно более гибко настраивать и обучать под себя. 

Например, пользователь может генерировать одни и те же изображения, изменяя только мелкие детали. Это возможно благодаря расширенным параметрам — если их установить правильно, а также указать для всех генераций Seed, то в итоге можно просто менять одно слово в текстовом запросе, и на изображении изменится только эта деталь.

Это только часть ее возможностей — их гораздо больше и обозревать мы их будем в другой статье. Сейчас рассмотрим именно саму установку. 

Чтобы установить расширенную версию Stable Diffusion, нужно установить дополнительные утилиты. Главное четко следовать инструкции ниже — ее мы проверили сами, чтобы в процессе не возникало ошибок.

Шаг 1 — установите Git

Для начала нужно установить на устройство систему контроля версий Git. Перейдите на официальный сайт, скачайте систему и установите её. Не нужно ничего менять при установке — выбирайте то, что рекомендует сама система или то, что стоит по умолчанию, и идите дальше.

Система контроля версий Git

Шаг 2 — установите Python

Python позволяет как запустить Stable Diffusion, так и обновлять его в перспективе. Для его загрузки также перейдите на официальный сайт и загрузите файл, однако лучше установить версию 3.10.11 на Window x64, чтобы избежать ошибок при настройке. 

Архив можно сразу распаковать и установить программу. Главное в процессе установки в самом начале отметить галочкой «Add Python 3.10 to PATH».

Python для установки SD

Шаг 3 — скачайте Stable Diffusion webui и модель нейросети

Теперь нужно установить движок Stable Diffusion с пользовательским интерфейсом webui — лучше выбирать именно этот вариант, так как интерфейс будет более удобным и понятным. 

Перейдите по ссылке на Github, нажмите на кнопку «Code» и выберите ZIP-архив. Нажав на него, вы скачаете сам движок в формате архива. 

Далее нам нужно скачать конкретную модель нейросети — архив можно пока не распаковывать, сделаем это позже, когда будем настраивать расположение папок на устройстве. 

Модель можно скачать любую, которую вам хочется, — в нашем примере будет модель 1,5. Скачивается она на платформе HuggingFace — чтобы ее найти, спуститесь немного вниз и выберите один из вариантов: на 4 или на 7 ГБ. Чем более тяжеловесная версия, тем больше возможностей для настроек.

Загрузка модели SD 1.5

Шаг 4 — распакуйте Stable Diffusion webui и расположите правильно файлы 

Перейдите в архив с движком со Stable Diffusion и распакуйте его в такое место, чтобы путь был легким. В нашем случае мы просто создали папку «SD» на диске D и в нее выгрузили весь архив.

После этого создаем копию этой папки вместе с файлами через Git.

Распаковка архива с SD webui

Теперь нужно разобраться с Git. Когда вы установите Git, появится три новых ярлыка. Один из них будет называться Git Bash — откройте его.

Работы с командным окном Git Bash

Откроется черное окно, в котором нужно указать расположение папки со Stable Diffusion — вводите «cd d:/SD». Если ваша папка называется иначе или находится на диске «C», меняйте данные соответственно. 

Нажмите «Enter», чтобы запустить команду.

Работа с командным окном Git
Должна появится надпись впоследствии — /d/SD (или по-другому, в зависимости от пути папки)

Теперь переходим к созданию клона — следующей командой вводим «git clone ссылка на гитхабе». Чтобы найти эту ссылку, возвратитесь на Github, где скачивали архив с движком Stable Diffusion, и нажмите по кнопке «Code» — ссылку в окошке нужно скопировать и вставить как раз после фразы «git clone».

Создание клона папки SD

После нажатия Enter в Git клон будет создан.  

Как выглядит надпись в Git Bash при удачной настройке

После этого нужно перенести скачанную ранее модель в одну из папок. Выбираем ее и нажимаем «Ctrl» + «X». После идем обратно в папку, куда установили модель, и открываем папку Stable Diffusion (в нашем случае — у вас она может называться иначе). Внутри нее будет еще две папки — одна первоначальная (ту, что мы разархивировали), а вторая — клон. 

Две папки SD

Клоном будет папка без пометки «master» — она нам и нужна. Заходим в нее и ищем папку с названием «Models», а внутри нее папку с названием «Stable Diffusion» — туда как раз и вставляем нашу модель через «Ctrl» + «V».  

Шаг 5 — запустите программу

На этом этапе все необходимые настройки и загрузки выполнены — остается просто запустить. Для этого переходим в папку, куда вы разархивировали Stable Diffusion, потом переходим в папку «stable-diffusion-webui» и движемся в самый низ. Нужно найти текстовый файл под названием «webui-user».

Запуск SD webui

Нажимаем на него дважды, после этого ждем — откроется черное окно, где начнется процесс загрузки Stable Diffusion. Ошибок быть не должно, однако порой они возникают. И если это случилось у вас, смело идите на форум Github, где описываются все ошибки SD, и пробуйте искать по описанию ошибки их решения от пользователей.

SD устанавливается порядка 15 минут, но может и дольше — весь процесс отображается в черном окне, и вы можете его видеть. Если процесс остановился и появляется надпись «Нажмите на любую клавишу, чтобы продолжить», то произошла ошибка. Если все в порядке и все загрузится, то Stable Diffusion автоматически откроется в основном браузере.

Запуск интрфейса SD webui

Что стоит запомнить

  • Stable Diffusion — довольно способная нейросеть, которую можно подстроить под себя. Пользователи могут упростить процесс работы — например, при использовании контролов установить позу для героя на картинке — или создать арт в стилистике, которая будет схожа с вашей — при помощи внедрения Lora.
  • Stable Diffusion можно использовать на ПК — эта версия как раз предоставляет больше свободы в плане управления генерацией, но для простых целей, вроде быстрой генерации на основе скетча, можно обойтись и онлайн-версией. 
  • Если сложно дается установка, то всегда можно прибегнуть к клиентам для Windows или MacOS — они устанавливаются за пару минут и дают большинство возможностей расширенной версии.
Автор
Анастасия Терентьева
специально для SmirnovSchool
Расскажи коллегам

Комментарии

    СТОИТ ИЗУЧИТЬ ПО ТЕМЕ