Как установить и использовать Stable Diffusion

Stable Diffusion — популярная нейросеть, которая может генерировать изображения по запросам или дорабатывать скетчи художников. Однако в ее использовании есть свои нюансы. 

В этой статье мы поговорим о возможностях Stable Diffusion, о том, как ее использовать, и самое главное — как установить его на свой ПК и получить доступ к максимальному числу полезных настроек.

Что можно делать в Stable Diffusion 

Нейросеть Stable Diffusion может здорово помочь художникам в процессе рисования, однако важно понимать, что нейросеть выступает инструментом. Без художника и его навыков в рисовании генерация становится почти бессмысленной, ибо вы не сможете её контролировать. У вас не получится сделать арт в нужном стиле или доработать загруженный скетч.

Зато при наличии художественных навыков и знаний художник может взять сырой рисунок нейросети и на её основе сделать интересную и красивую работу. Подробнее обо всем этом мы писали в нашей статье о пользе нейросетей для художника.

Есть несколько разных форматов работы со Stable Diffusion. Нейросеть можно использовать онлайн и в разных версиях на ПК. Каждая из этих программ предоставляет разные интерфейсы и возможности. 

Рассмотрим базовые функции нейросети. В Stable Diffusion можно:

Генерировать изображения с нуля по текстовому запросу. Тут всё как и везде — задаем промпт для генерации и получаем результат. Дополнительно можно указать негативный промпт, выбрать стиль, соотношение сторон изображения и их количество.

У веб-версии есть небольшое количество дополнительных настроек: масштаб направления (степень учета запроса) и количество шагов, за которые нейросеть выполнит запрос — обычное большее количество шагов позволяет создавать более детализированные изображения.

Для примера мы решили сгенерировать фотореалистичный пейзаж. Вот результат:

Версия для ПК также генерирует изображения по запросу, но дает больше настроек для указания стиля, увеличения детализации и ориентации изображения. Можно применять встроенные модели, а также применять разные параметры в запросе.

Дорисовывать свое изображение. Для этого нужно воспользоваться другой опцией нейросети — генерацией по изображению. Выглядит это так: пользователь добавляет исходное изображение, пишет текстовый запрос и выставляет необходимый стиль. Если необходимо, можно указать и негативный промпт, а также дополнительные настройки. 

В онлайн-версии нейросети генерация на основе изображения неплохая, однако тоже ограничена в плане настройки. Например, мы попросили на основе изображения генерировать красные цветы, а также изменить освещение с закатного на дневное. Нейросеть справилась только с первой задачей:

В SD для ПК можно улучшать детали изображения и генерировать что-то новое на основе скетча. При этом здесь также можно легко менять объекты на фото, добавлять новые детали или выбирать зоны на фото, которые нейросеть должна заменить. 

Расширять фото. Онлайн версия Stable Diffusion позволяет расширить свое изображение, — отсутствующие ранее детали будут дорисованы нейросетью. Для этого вам в настройках нужно сменить или увеличить соотношение сторон будущей картинки.

Например, на основе того же изображения с цветами и тем же промптом, нейросеть сгенерировала нам горизонтальный расширенный арт:

Версия на ПК также легко справляется с такой задачей, если расширить или изменить соотношение сторон изображения в настройках, а также использовать вкладку inpaint, где как раз можно и показать нейросети, что именно должно быть изображено на расширенной части изображения

Исходное фото выглядело так:

В процессе можно было получить что-то вроде такого — это не окончательный вариант автора:

Есть дополнительные инструменты в онлайн-версии, которые доступны на отдельных страницах сайта — это удаление фона, волшебный ластик и редактирование. Первый инструмент удаляет фон фото, второй позволяет удалить любой объект на изображении без влияния на общую композицию или фон, а третий — заменять выделенные объекты на другие.

Как начать работать со Stable Diffusion

Stable Diffusion существует в двух версия — онлайновой и десктопной. Однако разработчики также создали специальные клиенты, которые дают возможность установить SD с самыми важными настройками, но гораздо быстрее. Рассмотрим процесс использования каждого из трех вариантов.

Stable Diffusion Online

В онлайн-версии нейросети можно работать сразу после регистрации на сайте, но у неё есть ряд ограничений. 

Во-первых — онлайн-версия платная, хоть и не сразу. Пользователь при регистрации получает 10 кредитов. Один кредит — одна генерация. Кредиты со временем обновляются, но это всё равно ограничивает ваши возможности. Если вы хотите генерировать больше, то придётся покупать один из платных тарифов.

Во-вторых — настройки онлайн-версии скудные, в отличие от версии для ПК. Например, мы не можем применять модели, увеличивать количество шагов для большей детализации или менять чекпоинты (саму основную модель). Всю разницы вы можете ощутить на практике, когда попробуете поработать с SD на ПК после онлайн-версии.

В-третьих — пользователь не может обучить нейросеть под себя или использовать дополнительные модели для генерации в авторском стиле, чтобы получать более гибкие результаты.

Если вас устраивает все это, то достаточно перейти на главную страницу нейросети, и приступить к работе. Перед вами откроется интерфейс нейросети — для генерации нужно ввести запрос, по необходимости добавить исходное изображение, выбрать стиль и установить настройки, а потом запустить процесс.

Клиенты Stable Diffusion

Клиенты Stable Diffusion для ПК — это собранные сборки с сами главными и важными настройками. Эти клиенты полностью бесплатные, в отличие от онлайн версии. Устанавливаются клиенты как любая стандартная утилита на ПК.. 

К самым популярным клиентам относятся:

• NMKD Stable Diffusion GUI. Это клиент для пользователе Windows. Достаточно скачать файл на сайте и установить его. Впоследствии можно генерировать изображения по текстовому запросу или на основе конкретного изображения и текстового запроса. Клиент содержит все базовые функции Stable Diffusion, в том числе и возможность добавлять пользовательские модели для улучшения рисунка.

• DiffusionBee. Это уже клиент для MacOS, который также включает ключевые возможности Stable Diffusion: генерацию на основе запроса, на основе изображения, использование моделей и апскейлов, раскраску артов, удаление или добавление объектов на рисунке.

• Easy Diffusion. Клиент для всех операционных систем, в том числе и для Linux. Новая версия содержит все нужные функции — от преобразования запроса в изображение до применения моделей, ContolNet и апскейлов для получения более интересных результатов.

Полная версия Stable Diffusion

Клиенты Stable Diffusion содержат в себе почти все функции, но ключевое слово — почти. Полную версию нейросети можно более гибко настраивать и обучать под себя. 

Например, пользователь может генерировать одни и те же изображения, изменяя только мелкие детали. Это возможно благодаря расширенным параметрам — если их установить правильно, а также указать для всех генераций Seed, то в итоге можно просто менять одно слово в текстовом запросе, и на изображении изменится только эта деталь.

Это только часть ее возможностей — их гораздо больше и обозревать мы их будем в другой статье. Сейчас рассмотрим именно саму установку. 

Чтобы установить расширенную версию Stable Diffusion, нужно установить дополнительные утилиты. Главное четко следовать инструкции ниже — ее мы проверили сами, чтобы в процессе не возникало ошибок.

Шаг 1 — установите Git

Для начала нужно установить на устройство систему контроля версий Git. Перейдите на официальный сайт, скачайте систему и установите её. Не нужно ничего менять при установке — выбирайте то, что рекомендует сама система или то, что стоит по умолчанию, и идите дальше.

Шаг 2 — установите Python

Python позволяет как запустить Stable Diffusion, так и обновлять его в перспективе. Для его загрузки также перейдите на официальный сайт и загрузите файл, однако лучше установить версию 3.10.11 на Window x64, чтобы избежать ошибок при настройке. 

Архив можно сразу распаковать и установить программу. Главное в процессе установки в самом начале отметить галочкой «Add Python 3.10 to PATH».

Шаг 3 — скачайте Stable Diffusion webui и модель нейросети

Теперь нужно установить движок Stable Diffusion с пользовательским интерфейсом webui — лучше выбирать именно этот вариант, так как интерфейс будет более удобным и понятным. 

Перейдите по ссылке на Github, нажмите на кнопку «Code» и выберите ZIP-архив. Нажав на него, вы скачаете сам движок в формате архива. 

Далее нам нужно скачать конкретную модель нейросети — архив можно пока не распаковывать, сделаем это позже, когда будем настраивать расположение папок на устройстве. 

Модель можно скачать любую, которую вам хочется, — в нашем примере будет модель 1,5. Скачивается она на платформе HuggingFace — чтобы ее найти, спуститесь немного вниз и выберите один из вариантов: на 4 или на 7 ГБ. Чем более тяжеловесная версия, тем больше возможностей для настроек.

Шаг 4 — распакуйте Stable Diffusion webui и расположите правильно файлы 

Перейдите в архив с движком со Stable Diffusion и распакуйте его в такое место, чтобы путь был легким. В нашем случае мы просто создали папку «SD» на диске D и в нее выгрузили весь архив.

После этого создаем копию этой папки вместе с файлами через Git.

Теперь нужно разобраться с Git. Когда вы установите Git, появится три новых ярлыка. Один из них будет называться Git Bash — откройте его.

Откроется черное окно, в котором нужно указать расположение папки со Stable Diffusion — вводите «cd d:/SD». Если ваша папка называется иначе или находится на диске «C», меняйте данные соответственно. 

Нажмите «Enter», чтобы запустить команду.

Теперь переходим к созданию клона — следующей командой вводим «git clone ссылка на гитхабе». Чтобы найти эту ссылку, возвратитесь на Github, где скачивали архив с движком Stable Diffusion, и нажмите по кнопке «Code» — ссылку в окошке нужно скопировать и вставить как раз после фразы «git clone».

После нажатия Enter в Git клон будет создан.  

После этого нужно перенести скачанную ранее модель в одну из папок. Выбираем ее и нажимаем «Ctrl» + «X». После идем обратно в папку, куда установили модель, и открываем папку Stable Diffusion (в нашем случае — у вас она может называться иначе). Внутри нее будет еще две папки — одна первоначальная (ту, что мы разархивировали), а вторая — клон. 

Клоном будет папка без пометки «master» — она нам и нужна. Заходим в нее и ищем папку с названием «Models», а внутри нее папку с названием «Stable Diffusion» — туда как раз и вставляем нашу модель через «Ctrl» + «V».  

Шаг 5 — запустите программу

На этом этапе все необходимые настройки и загрузки выполнены — остается просто запустить. Для этого переходим в папку, куда вы разархивировали Stable Diffusion, потом переходим в папку «stable-diffusion-webui» и движемся в самый низ. Нужно найти текстовый файл под названием «webui-user».

Нажимаем на него дважды, после этого ждем — откроется черное окно, где начнется процесс загрузки Stable Diffusion. Ошибок быть не должно, однако порой они возникают. И если это случилось у вас, смело идите на форум Github, где описываются все ошибки SD, и пробуйте искать по описанию ошибки их решения от пользователей.

SD устанавливается порядка 15 минут, но может и дольше — весь процесс отображается в черном окне, и вы можете его видеть. Если процесс остановился и появляется надпись «Нажмите на любую клавишу, чтобы продолжить», то произошла ошибка. Если все в порядке и все загрузится, то Stable Diffusion автоматически откроется в основном браузере.

Что стоит запомнить

• Stable Diffusion — довольно способная нейросеть, которую можно подстроить под себя. Пользователи могут упростить процесс работы — например, при использовании контролов установить позу для героя на картинке — или создать арт в стилистике, которая будет схожа с вашей — при помощи внедрения Lora.
• Stable Diffusion можно использовать на ПК — эта версия как раз предоставляет больше свободы в плане управления генерацией, но для простых целей, вроде быстрой генерации на основе скетча, можно обойтись и онлайн-версией. 
• Если сложно дается установка, то всегда можно прибегнуть к клиентам для Windows или MacOS — они устанавливаются за пару минут и дают большинство возможностей расширенной версии.