Как создать своего персонажа при помощи нейросети

Нейросети могут помочь художнику с разработкой персонажа — это одна из их основных возможностей. Например, визуализировать идею или развить ее, а также помочь с доработкой образа. Однако нейросеть не всегда делает точно так, как нужно. Зачастую вам потребуется большое время и много усилий, чтобы добиться желаемого результата.

В статье рассмотрим, как сделать этот процесс максимально быстрым и точным. Расскажем про процесс разработки образа персонажа и поговорим о технических моментах, которые помогут на вашем пути генерации.

Начните издалека — разработайте идею будущего персонажа

Все начинается с идеи. Без полноценной идеи будет сложно составить характеристики героя, чтобы обозначить их в промпте. Вот что вам точно стоит продумать перед генерацией персонажа.

Происхождение 

Первоочередно надо продумать, кем будет ваш персонаж — это ведь не обязательно должен быть человек. Героем может стать и мифическое существо: орк, фея или эльф, например.

Чтобы тщательно продумать психологический портрет героя, задайте себе следующие вопросы:

• какая цель у персонажа — зачем вы его создаете?
• какая у него роль в контексте — он злой, добрый или это нейтральный персонаж второго плана?
• какая у него раса — человека, эльф, демон или что-то другое?
• какого он пола — мужчина, женщина?
• какой архетип у персонажа — он воин или правитель? маг или герой?

В качестве примера возьмем генерацию, сделанную автором Vala в Midjourney и Stable Diffusion. В основу этой работы легла следующая идея: персонаж — женщина-вампир, которая вынуждена нести бремя вечной жизни как проклятие, но при этом она выбрала для себя высшую цель для искупления — стать защитником людей, которые живут в поселении недалеко от ее собора, от вселенского зла. 

Своим образом героиня демонстрирует двойственность существования и жизни в целом, потому что находится на границе между злом и добром. Ее можно считать героем.

Пройдясь по этим вопросам, вы сможете придумать примерную концепцию вашего героя. Стоит выписать все эти данные — даже если часть из них вам не понадобится в генерации, эта информация будет полезна на других этапах разработки.

Из ответов на вопросы получится примерно такое описание, как ниже. Это ещё не готовый промпт, но это описание пойдет в его основу. Впрочем, для статьи мы всё же попробуем превратить это описанием в готовый промпт.

Дизайн персонажа

Когда концепция готова, можно перейти к дизайну. Легче всего идти именно в таком порядке, потому что проработав персонажа, вы сможете легче разработать его дизайн на основе придуманных ранее характеристик.

Физиологические характеристики

Под физиологией понимаются следующие аспекты:

• возраст;
• цвет кожи героя;
• цвет волос и глаз;
• наличие особенностей во внешнем виде — возможно, необычная форма ушей, носа или отсутствие одной из конечностей, к примеру.

Впоследствии нужно собрать эти характеристики. К примеру, у нас может получиться такое описание:

Изменяющиеся характеристики

Под изменяющимися характеристиками во внешности персонажа подразумевается его прическа, одежда, оружие или другие атрибуты.

Например, это может быть все тот же мужчина с азиатской внешностью, который собирает свои волосы в хвост, на нем чаще всего надеты кимоно с хакама, а сверху он носит хаори. Из оружия у него длинная катана. Вот так промпт у нас получится:

Способности персонажа

Способности персонажа — также важный аспект проработки, потому что вероятно в процессе генерации нужно будет создать рисунки, где герой будет сражаться. Если у него есть интересные способности, это можно подчеркнуть на этом этапе.

Способности могут быть разноплановыми:

• маг может обладать стихийной магией, управлять животными или призывать мертвых с того света (некромант) — вариантов очень много;

• простой человек может уметь хорошо драться с использованием оружия, например, стрелять со сверхточностью или легко драться при помощи нунчаков;

• сверхчеловек может обладать возможностью стрелять из глаз лазерами или молниеносно передвигаться;

• божественная сущность или демон может летать или перемещаться в пространстве, трансформировать из формы человека в свою истинную форму. Возможно, у такого персонажа будет своя специфика — например, некоторые демоны могут быть покрыты ядом, из-за чего прикосновение к ним смертельно для всего сущего.

Когда определяете способности, анализируйте расу своего персонажа и ищите дополнительную информацию, если ее не хватает.

В открытых источниках есть информация о том, какие чаще всего способности бывают у вымышленных рас — на основе данных вы можете продумать уникальную способности и не выходить за принятые каноны. За пример возьмем следующий промпт:

Сеттинг персонажа

При генерации иногда значение имеет и сеттинг, чтобы нейросеть собрала более полное представление о вашем персонаже. Например, лесную фею можно поместить в привычный для нас лес. 

Однако если мы разработаем полноценный сеттинг — что она живет на другой планете, где леса полны неизвестных человеку растений и животных — и дадим такое описание нейросети, то изображение будет выглядеть более интересно, при этом отвечая контексту истории.

При определении сеттинга ответьте себе на следующие вопросы:

• Какая идея у вашей истории? Например, герои обитают в подземном царстве, где живут только демоны и ёкаи, и однажды в их мир попадает живой человек. Такой синопсис — это хороший задел для сеттинга.
• Как выглядит место, где разворачиваются основные события? Это может быть небольшой городок, который расположен ближе всего к миру живых. Визуально он может напоминать, например, квартал красных фонарей — там оживленно, все пьют и едят, много огней и богемного веселья. 

Это всего лишь опорные вопросы, которые помогут примерно представить, как выглядит мир ваших героев, насколько он обширен и чем характеризуется. Этих деталей хватит лишь для генерации, чтобы составить интересный фон для своего героя.

В итоге у вас должна получится полноценное представление о своем герое, выглядеть это будет так примерно:

Вот результат использования всех этих вводных данных, которые визуализировала нейросеть:

Подумайте о направлении арта — определитесь со стилистикой

Следующий большой этап — это определение стилистики. Это очень важный момент в контексте генерации, потому что неправильно определенная стилистика персонажа повлияет на итоговый результат — вместо стилизованного парня вы получите  реалистичного мужчину, который может никак не подходить к вашей истории.

Стилистику нужно продумывать под стать своей истории, которую вы впоследствии будете указывать в текстовый запрос. Вариантов стилистик много, но наиболее частые из них следующие:

• реализм — это стиль, который характеризуется стремлением художника передать в рисунке окружающую действительность. Все объекты, предметы и герои изображаются так, как они представлены в реальном мире — без изменений или определенных искажений;

• семи-реализм — стиль на границе стилизации и реализма, поэтому сам рисунок получается уже более стилизованным, однако не сильно, потому что реальные пропорции объектов, предметов и героев сохраняются. В своих размерах могут изменятся акцентные части героя, но не сильно явно;

• стилизация — так часто отмечают рисунки и арты, которые более приближены к мультяшной графике. Сам принцип стилизации заключается в том, что у объекта или персонажа выделяются основные характеристики, которые впоследствии либо минимизируют, либо гиперболизируют, чтобы их выделить. Все это на фоне общей мультяшной графики.

Это основные направления, однако у каждого из них есть своим грани. Например, у стилизации множество подвидов — это может быть аниме-арт или рисунок в стиле студии Pixar, например. Иногда можно характеризовать будущий арт через популярные и известные во всем мире произведения или игры.

Реалистичная графика может быть фотореалистичной (еще больший реализм) или быть в стиле определенной игры. Помимо направления в стиле можно также указывать и пояснения о том, где такая же графика применялась (какой студией или в какой игре). Даже если вы захотите имитировать стиль известного художника, можно также указать это.

Финишная прямая — составьте промпт

Изложенные выше данные достаточно сложно быстро уместить в один промпт, особенно если используете нейросети с ограниченным числом токенов в запросе. Однако не так сложно провести дополнительный анализ, выделить основные характеристики и собрать их в свой запрос. 

Мы уже писали отдельный материал о том, как составить хороший промпт для генерации в нейросетях. Здесь будем описывать именно то, какие характеристики включить в промпт из имеющихся данных о персонаже, чтобы генерация прошла без проблем.

После полноценного анализа у вас будут следующие характеристики:

• внешние характеристики — скорее всего, у вас довольно развернутое описание персонажа, и поэтому нужно выделить основные тезисы, которые опишут внешность — цвет волос, глаз, тип и цвет одежды. Например, черные волосы и зеленые глаза, солдатское обмундирование цвета хаки, маска на лице, которая прикрывает нос и рот, и очки на глазах;
• пол и раса — это может быть человек мужского пола;
• роль персонажа — добрый парень, который направлен на чужую планету для изучения;
• боевые возможности — мастерски владеет винтовкой, хороший стрелок, а также умеет отлично драться в рукопашную и с ножом;
• оружие — кинжалы, винтовка, мачете;
• история героя — прибыл с Земли вместе с исследовательской группой, чтобы изучить природу и жителей этого мира. До этого был морпехом на Земле, но ушел в отставку.

Обычно для характеристики героя этого достаточно — выделить основные тезисы по всем этим пунктам, а потом собрать в понятный и цельный текст. Если не помещается из-за большого объема, можно сократить некоторые формулировки или опустить менее важные части.

Например, готовый промпт в итоге может выглядеть так:

Результат нейросеть выдала такой — выглядит интересно, хотя остаются проблемы с пальцами, но это частое явление во многих нейросетях:

Как видите, в промпте указана только часть данных — это раса персонажа и его внешность. Такой подход более правильный, потому что все равно нейросеть не учтет прямо все тонкие нюансы, а только те, которые находятся ближе к началу запроса. 

Остальные детали могут добавляться, а могут игнорироваться. Поэтому есть смысл готовить серию промптов — через один мы попросим сгенерировать именно внешность героя для визуализации, а через другой уже покажем героя во время действия или в конкретном месте. 

Например, в этой генерации мы уже попросили изобразить девушку-ангела, которая летит в небе:

А в этом уже попросили изобразить ее молящейся:

Ключевой момент при составлении промпта для большинства нейросетей — это дать описание самому персонажу и его действиям, можно также включить описание фона и более детальный разбор внешности, если это важно. 

Кроме того, зачастую объем запроса ограничен, поэтому в любом случае приходится дробить всю вашу информацию на отдельные промпты — например, можно описать в запросе конкретную сцену с персонажем. Много деталей могут запутать нейросеть, взгляните:

Результат далек от ожидания:

Лучшим вариантом будет делить большие описания на более краткие, характеризующие конкретную сцену и персонажей, и остальное оставлять на нейросеть. Впоследствии можно в качестве исходника взять результат предыдущей генерации и уже поправить или добавить новые детали.

Если вам сложно сложить полноценное описание для своего промпта, то можно попробовать воспользоваться Chat GPT. Скажите ему, что вам нужно составить промпт для нейросети — и отправьте данные о своем персонаже. 

Нейросеть сгенерирует осмысленный и нужный запрос, который идеально подойдет для Dall-e, однако его можно применить и в другой нейросети с небольшими корректировками (например, в Midjourney можно немного сократить объем и добавить команд для более точного запроса).

Например, мы решили дать развернутое описание по каждому из пунктов для демона, который влюбился в женщину-ангела, но когда на небесах об этом узнали, ее казнили в назидание всем. Демон не смог вынести боли от утраты и решил уничтожить каждого причастного к убийству ангела — он отправился в ангельскую резиденцию и устроил бойню. Мы захотели запечатлеть этот момент.

Вот какой запрос сформировал Chat GPT:

Доводим работу до идеала — используйте вспомогательные инструменты

Скорее всего, у вас уже есть примеры нейросетей для работы, с помощью которых вы хотите генерировать персонажей. Если нет, вы можете изучить возможности разных моделей в другой нашей статье. Ниже мы просто опишем дополнительные решения, которые будут полезны при генерации персонажей в той или иной нейросети.

Команды, которые улучшают генерацию. Для некоторых нейросетей есть ряд дополнительных команд, которые вы можете применить при генерации. Обычно они добавляются в окончание вашего промпта — сначала описание, затем команды. 

Например, вот часть команд при работе с Midjourney, которые могут быть полезны при генерации персонажей:

• blend — можете смешать два исходных изображения, чтобы на их основе получить третье. Удобно, если внешность героя включает характеристики уже знакомых вам героев — можно закинуть их изображения;
• seed — можете указать сид предыдущего изображения при генерации, чтобы скорректировать его или улучшить. Например, изменить цвет глаз у персонажа;
• sref — можно указать картинку с референсным стилем;
• cref — можно указать референс конкретного персонажа и изменить его отдельные характеристики (сгенерировать другую одежду, например);
• niji — можно добавить эту команду, чтобы нейросеть генерировала в более стилизованном стиле. Напомним, что у Midjourney уклон в фотореализм.

Все остальные команды и подсказки можно изучить через официальную документацию.

Пример персонажа в Midjourney:

Также команды и подсказки есть в Stable Diffusion — их много, и все их можно также рассмотреть на отдельном ресурсе.

Lora. Lora — уже является частью функций Stable Diffusion, однако конкретные модели скачиваются отдельно. С помощью Lora можно изменять стиль вашего изображения — например, генерировать более реалистичное изображение или аниме-девочек.

Вариантов таких моделей очень много — большинство есть на Citivai. Достаточно скачать и поместить Lora в одноименную папку в SD, и она отобразится в интерфейсе. О Lora более подробно говорили в статье по Stable Diffusion.

Например, автор выставил свою версию Lora на Citivai, с помощью которой можно генерировать пальцы (нейросети делать это не умеют или делают некорректно). В качестве примера он привел результат такой генерации — взгляните на пальцы, все сгенерировано хорошо:

Плагин Auto Photoshop StableDiffusion. Этот плагин можно скачать и добавить в интерфейс SD, чтобы впоследствии быстро корректировать сгенерированных персонажей. Плагин дает возможность прямо внутри SD открывать Photoshop, чтобы что-то дорисовать. Очень удобное решение для художников.

Posex. Тоже полезный плагин для Stable Diffusion, с помощью которого можно задавать позы для своего персонажа. При его интеграции вы можете вдовесок к промптам и настройкам указывать, в какой позе должен быть персонаж — это значительно упрощает работу.

Дополнительных плагинов и моделей, которые улучшают стилистику персонажа или помогают корректировать позы, генерировать одного и того же героя, много — их можно просмотреть на Hugging Face и скачать впоследствии. Модели и плагины встраиваются в интерфейс Stable Diffusion — на ресурсах их загрузки прилагаются инструкции по установке.

Как научиться генерировать персонажей через нейросети

Несмотря на довольно простой алгоритм, генерация требует узких знаний и усилий. Важно знать, как составлять правильные промпты, как настраивать нейросети под себя и как выстраивать с ними работу так, чтобы не застрять надолго в ожидании подходящего результата.

Всего этого можно добиться при помощи нашего курса «Нейросети для художника». На нем рассматриваются три популярные нейросети и принципы работы с ними — Midjourney, Stable Diffusion и DALL-E. 

Вы научитесь не только генерировать простые арты, но и узнаете, как применять команды, подсказки и дополнительные модели для получения действительно привлекательного изображения.

Посмотрите, какие работы делают наши студенты (результат нейросети дорабатывается впоследствии в Photoshop):

В конце курса вы сможете:

• легко составлять запросы для любой нейросети;
• быстро развивать идеи и визуализировать их, даже в виде скетчей;
• генерировать арты в собственной стилистике;
• оценивать и дорабатывать работы в Фотошопе или другом редакторе.