Как художнику использовать нейросети в своей работе

Художники используют в работе разные техники, которые упрощают процесс и экономят время, например, 3D-болванки и фотобаш. Нейросеть тоже может стать таким помощником.

Однако стоит понимать, что как и любой инструмент, она — ничто без художника и его навыков. При работе с ней нужно уметь работать с формами, цветом, светотенью и всей необходимой базой, чтобы видеть недочёты и принимать художественные решения. 

Сгенерированное изображение — это не готовая авторская иллюстрация. Здесь важна степень интерпретации: сколько в итоговой работе будет автоматически созданного, а сколько вашего идейного и технического исполнения. 

Сколько вас в этой работе, столько у неё художественной ценности. Есть, конечно, области, где нужно за очень ограниченное время в конвейерном режиме сделать очень много одинаковой рутины. Здесь вопрос об этичности так остро ребром не встаёт.

Но стоит помнить — одно лишь знание, как писать промпты не даст хорошего результата.

За помощь в написании статьи хотим отдельно поблагодарить ментора курса «Нейросети для художника» Александра Войцеховского. 

Польза №1: создаем основу под арт

Одна из возможностей нейросети — это создание основы под рисунок. Художник может визуализировать в нейросети основные формы — например, здания или горные массивы. Впоследствии эта основа может применяться для обрисовки, где художник будет уже добавлять детали: деревья, текстуры скал или зданий, травинки и многое другое.

Такое использование нейросети дает серьезное преимущество, — художник может создавать как более простые арты, так и уже отрендеренные изображения, на которых проработаны тени, свет, оттенки и многое другое. В перспективе это сокращает время работы над артом.

Например, с помощью Midjourney студентка смогла воссоздать свою идею и сделать основу под будущий арт. Выглядело это так:

Выбрав наиболее подходящий под идею арт, студентка отправилась в Dall-e, чтобы сделать дизайн более интересным, а потом в Focus — это помогло задизайнить уже героев именно в той стилистике, которую хотелось.

В результате долгих итераций получился хороший арт, который дорабатывался вручную. И вот что из этого вышло:

Польза №2: упрощаем рендер 

Нейросеть может довольно быстро доработать скетч автора, либо же художник может использовать свой эскиз как основу для генерации чего-то интересного. 

Но и тут без умений художника никуда не уйдешь. Во-первых — нужен сам скетч или эскиз. И чем он лучше будет изначально, тем лучше будет и доработка. А во-вторых, — даже результат доработки от нейросети будет нуждаться в доработке, но уже со стороны автора. 

Работает это так: художник рисует скетч персонажа или объекта, заходит в нейросеть и при помощи запроса дает ей задачу отрендерить объект в определенной стилистике. Когда нейросеть выдаст результат, вряд ли он будет идеальным — работу все равно придется доработать, а также сделать её более авторской.

Для примера возьмём этот «скетч»:

Да, скетчем это назвать сложно, но зато будет очень демонстративно. Наша студентка загрузила этот «скетч» в Stable Diffusion XL, чтобы использовать его как основу для генерации. 

Вот что мы получили:

Впоследствии было решено прогнать новый арт через версию Stable Diffusion 1,5. Студентка пробовала использовать разные модели, а также меняла параметры и промпты для генерации, чтобы посмотреть, как нейросеть справится. В итоге у неё получилось добиться такого результата:

Роль и польза нейросети в этом контексте в том, что она может быстро создать основную часть работы, причем при определенных настройках способна даже сделать это в авторском стиле. Однако доработка строго необходима — получить идеальную работу от нейросети не выйдет.

Польза №3: облегчает поиск идей

На этапе придумывания идеи арта можно зависнуть на длительное время. Иногда даже поиск референсов не упрощает задачу — ведь художник сам еще не знает, какие референсы ему искать.

В этом случае тоже может быть полезна нейросеть. Вы можете попробовать указать определенные образы, стилистику или конкретные объекты, которые видите в своем будущем арте. Нейросеть, на основе этой обрывистой информации, может показать вам несколько интересных задумок и арт-решений, а также помочь развивать уже существующую идею, подкрепляя её конкретными образами.

Взгляните на арт ниже. Это прекрасный пример сгенерированного арта, который может дать художнику несколько интересных решений.

Допустим, нужно передать какую-то необычную атмосферу и мы знаем, на какие символы опираться — указываем, что должны присутствовать цветы и космонавты. Нейросеть генерирует варианты, художник дорабатывает запрос и в процессе всё больше начинает понимать, какой образ космической оранжереи ему ближе.

Однако генерация далека от реальности и нейросеть способна лгать: например, космический купол выглядит нереалистично и неправильно. Поэтому художник получает идею и идет уже по более точному запросу искать референсы — например, того же купола.

Польза №4: создаем хенд-пеинт текстуры

При создании хенд-пеинт текстур для материалов художники также могут обратится к нейросети. Правда, этот процесс включает много нюансов. Первоначально нужно обратиться к нейросети с хорошим промтом, который включает различные чекпоинты. В процессе пригодятся индивидуальные надстройки — LoRa. Все это позволит сделать текстуру такой, какой она необходима.

Однако нейросеть сгенерирует только изображение в нужном формате. Дальше художнику нужно наложить это изображение на разные стороны объекта, чтобы покрыть его полностью.

Поэтому генерировать нужно не одно изображение, а несколько, — и с разных ракурсов. Иногда нужно будет дорабатывать текстуры, а порой долго работать с их наложением, особенно когда речь идет о сложных объектах вроде лица персонажа, а не обычного кубика.

Вывод — нейросеть упрощает отрисовку текстур под объект, однако этот процесс требует довольно точных настроек, ведь всегда есть место галлюцинациям — нейросеть может просто добавить странные артефакты или сделать текстуру неправдоподобной.

Польза №5: генерируем материалы для фотобаша

Фотобаш — это техника создания арта при помощи элементов с фотографий и других артов.

Работает это так: художник находит в интернете подходящую под стиль рисунка фотографию и использует её в своём изображении. Фотография используется только как «скелет» для дальнейшего развития рисунка. Подробнее о фотобаше можете почитать в другой нашей статье.

При помощи нейросетей художник может создавать изображения, из которых можно вырезать детали для фотобаша своего арта. Попросите у них генерировать определенный объект, ряд объектов с конкретного ракурса или тонкие детали: волосы, одежду и так далее. Всё это потом можно переносить на свой арт и дорабатывать вручную — при помощи дорисовки и рендера.

Например, взгляните на одну из работ нашего студента ниже. Изначально он генерировал изображение в Dall-e. Студент хотел улучшить некоторые элементы арта, в частности изменить дизайн леек для воды и некоторых растений.

Вот как выглядел изначальный вариант:

Студент решил задизайнить лейку под водяное оружие. Для доработки дизайна он отправился в Stable Diffusion, где при помощи Lora получил нужный вариант дизайна:

Также он поступил и с лейкой в руках мужчины, и с некоторыми растениями. Все эти элементы были добавлены в общую композицию — это и есть фотобаш, основу для которого мы получили при помощи нейросетей. Доработав арт в Photoshop, студент получил такой результат:

Польза №6: разрабатываем персонажа или объекты в разных ракурсах

Нейросеть можно просить представить объект с разных ракурсов. Например, если вы рисуете здание, то можете попросить нейросеть создать основу под него и показать все это сверху или сбоку.

Для примера возьмем работу нашей студентки. Изначальная идея реализовывалась в Dall-e, и хоть персонажи и сама стилистика казались классными, была проблема с их позами и ракурсом.  

Вот пример одного из артов, которые сгенерировала Dall-e:

Чтобы побороть проблему с ракурсом и композицией, студентка пошла в другую нейросеть — Midjourney. Получить новый ракурс получилось, но Midjourney в процессе часто галлюцинировал, из-за чего сам арт выглядел довольно посредственно:

И хотя сами работы неудовлетворительны, но студентка получила от Midjourney набор интересных поз и ракурсов.

Решение — взять из Midjourney только фоны и примерный ракус, и совместить их с героями, которые сгенерировала нейросеть Dall-e. Доработка происходила при помощи коррекции промтов, а также параметров. Итоговый дизайн корректировался в Stable Diffusion.

Итоговая работа обрабатывалась руками в Photoshop. Вот что из этого вышло:

Такой метод сокращает время работы — вам не нужно с нуля рисовать предмет или объект в разном положении, так как у вас уже будет заготовка. Вам просто нужно будет обрисовать все это и зарендерить. 

Польза №7: представляем работы в соцсетях

Это гораздо больше применимо для развлекательного контента, чем для работы. 

Нейросеть способна создавать плавные переходы между кадрами и слегка оживлять статику. 

Часто такие простые анимации можно увидеть в социальных сетях — это смотрится интересно и иногда даже привлекательно. Таким образом можно привлечь новую аудиторию к своему творчеству, это быстрый контент.

Пример подобной работы от Ксении Киселевой (Faavesa):