Как создавать 3D-модель с помощью нейросетей

Нейросети уже умеют многое — писать, генерировать видео, музыку и видеоролики. Они уже успели стать хорошими помощниками многим специалистам. Но это не все возможности нейросетей — некоторые нейросети могут помочь и 3D-художникам.

В статье ниже разберем, какие именно нейросети на это способны, каким образом генерируется 3D-модель и как ее использовать впоследствии.

Нейросети, которые создают 3D-модели

Есть много разных нейросетей, которые позволяют сгенерировать 3D-модель на основе 2D-изображения. Вот самые оптимальные варианты, которые мы нашли.

Pifuhd

Pifuhd — это нейросеть, способная на основе 2D-изображения сгенерировать 3D-модель. Для работы с ней можно установить программу на устройство (по аналогии со Stable Diffusion). Для использования нейросети в онлайне нужно перейти на официальный сайт, спуститься в самый низ и нажать на кнопку «Colab»:

После откроется другая страница, но уже на Google-Drive. Здесь все просто — сначала нажмите на «Копировать на Диск», а потом, когда откроется копия, нужно выбрать «Изменить» и «Настройки блокнота».

Затем нужно проверить настройки — чтобы стояло GPU, а не другие варианты. 

Если все в порядке, нажмите на кнопку «Подключиться».

Теперь нужно указать более точные настройки в блокноте, и вы сможете приступить к генерации. Для этого спуститесь ниже и нажмите на кнопку «Play» рядом с «Import».

Спускаемся вниз до следующего «Import» и опять нажимаем на «Play»:

Таким же образом поступите со следующими разделами:

• git clone;
• cd;
• from google.colab import files.

Вс эти разделы находятся друг за другом. При загрузке последнего откроется кнопка с импортом — выбирайте изображение, которое хотите превратить в модель. 

При загрузке изображения появятся данные — нужно найти строку «Except» и заменить данные картинки — вместо test.png указать название картинки и ее формат:

Вот как заменили данные мы:

Когда укажете настройки, нажмите на загрузку рядом с «Import». Остается нажать «Среда выполнения» и «Выполнить ниже» для старта генерации:

После этого сгенерируется нужная модель — вы сможете ее скачать вместе с текстурами на ПК. Чтобы скачать ее, нужно нажать на значок папки с левой стороны и выбрать пункт «Pifhd», и найти папку «Results» — внутри нее будет еще папка, а внутри последней еще одна — открывайте каждую и впоследствии появится уже сама модель и текстуры к ней. Скачайте их на устройство, и готово — у вас есть 3D-модель.

Например, вот в Pifuhd сделали модель Тома Круза. Вроде бы сносно, но нуждается в серьезной доработке, потому что текстуры как будто натянуты, а сама модель очень плоская (лицо как маска, отсутствует глубина):

Tripo3D

Эта нейросеть позволяет создать 3D-модель по текстовому описанию или картинке. Важно знать, что она платная, однако можно также начать пользоваться ей бесплатно. Для этого просто пройдите регистрацию — после откроется главная страница нейросети в браузере, где можно приступить к генерации. На пробные генерации выдают 600 монет.

Для генерации нужно ввести промпт внизу страницы и добавить изображение. Также можно задать либо текст, либо загрузить картинку:

Генерация стоит 60 монет — на выданные тестовые монеты можно сгенерировать 10 моделей.

Вот результат, который получили мы:

Каждую модель можно перегенирировать за 20 монет, а также развернуть для просмотра в 3D-пространстве:

В этом интерфейсе есть кнопка «Download» — нажав ее, вы сохраните модель на устройство. 

Важно знать, что файл загружается в формате GLB, и это подходит не для всех 3D-редакторов, поэтому в случае необходимости стоит либо поискать альтернативы, либо конвертировать файл в нужный формат.

Meshcapade

Интересный вариант нейросети, однако сразу стоит отметить — полноценные 3D-модели с текстурами создать вряд ли удастся. Нейросеть создает в основном болванки, и может быть полезна как раз для этого.

Для работы с ней нужно зайти на официальный сайт и выбрать «Try for free» — сразу откроется веб-интерфейс, где можно попробовать нейросеть. Для более профессионального использования придется оплатить подписку.

Далее перед вами появится простая болванка в базовой одежде и без волос — вы можете в настройках менять пол, указывать рост и вес, а также параметры фигуры. 

Помимо этого можно перейти справа в раздел «Textures» и выбрать подходящий вариант волос и одежды, однако выборы ограничены, и большая вероятность, что вам просто придется дорабатывать текстуры вручную.  

После настроек модель можно скачать или сохранить — соответствующие кнопки находятся с левой стороны вверху.

Кроме таких моделей вы можете генерировать их на основе фотографии человека, чтобы точно передать конкретную позу. Например, мы взяли просто картинку с девушкой в прыжке. Нейросеть сгенерировала модельку с позой:

Бесплатно можно сделать порядка 20 генераций такого плана, а вот создавать модели по параметрам можно и бесплатно — за это монеты не списываются. 

Luma AI

Нейросеть работает по обычному принципу — генерирует модели на основе текста. Для этого нужно зарегистрироваться на официальном сайте, зайти в личный кабинет и выбрать в списке функцию «Ginie: Text-t-3d»:

Впоследствии генерации вы получаете 4 варианта модели — каждую из них можно сразу скачать, либо же сначала отметить тип модели: хай-поли или лоу-поли.

Помимо этих функций нейросеть еще может генерировать полноценные сцены — для этого нужно перейти в раздел «My Captures» и вставить видеоролик, где демонстрируется нужная сцена. Без видеоролика сгенерировать полноценную сцену не получится, потому что нейросети нужно увидеть все ее точки с разных ракурсов и сторон.   

Важно, чтобы сцена просматривалась хорошо. В результате получает что-то вроде этого:

TripoSR 

Быстрый и практичный инструмент для генерации 3D-моделей, который разрабатывался Tripo AI и Stability AI (Stable Difussion). С его помощью без регистрации и полностью бесплатно можно за несколько секунд генерировать простые модели в формате OBJ или GBL.

Для начала нужно зайти на страницу нейросети, а потом спуститься вниз, где будут интерактивные окошки для импорта изображения и последующей генерации:

После вставки изображения можно отметить внизу, нужно или нет удалять фон у картинки. Если не удалять фон, то модель захватить его при генерации, и это просто создаст целый кусок вокруг модели.

Если же фон убрать, результат более приемлемый:

Однако при работе стоит учитывать нюансы — очень часто нейросеть срезает фон грубо, оставляя артефакты на модели, поэтому лучше сразу убирать фон самостоятельно (или корректировать модель уже в редакторе). 

Кроме того, артефакты могут вылазить и просто так — модель может неправильно считать картинку и испортить определенную деталь. Лучше подбирать детализированные картинки в хорошем качестве, где все детали арта просматриваются хорошо.

И последний нюанс — это формат GLB. При генерации у модели появляется странный серый оттенок, что портит ее визуально.

Как использовать 3D-модели после генерации

После генерации моделей все нейросети дают возможность их скачать на устройство в нужном формате или в формате GBL. Как только вы скачаете модель, можно сразу направляться в 3D-программу — вряд ли получится сгенерировать модель, которая не нуждается в доработке. Зачастую она нуждается в сильной доработке или скорее и вовсе послужит только как болванка.

Мы рассмотрим на примере Blender. После входа в программу, нажмите на «File» и выберите пункт «Import»:

Там нужно обозначить формат импортируемой модели, а потом выбрать ее из нужной папки. Модель сразу импортируется в программу, и с ней можно начать работу.

Дальнейшая работа происходит по обычному пайплайну — художник улучшает скульпт и удаляет ненужные артефакты. Например, в нашем случае хвост просто висит в пространстве и не привязан к телу, и это придется решать при помощи скульпта.

Что стоит запомнить

• Нейросети для создания 3D-моделей — это все еще вспомогательный инструмент, ведь большинство из них генерирует такие модели, которые невозможно использовать без глубоких доработок.
• Для 3D-художника такие нейросети могут серьезно облегчить работу и сэкономить время — например, нейросеть выстроит болванку с определенным набором внешних характеристик (параметры, рост, вес) или определенного вида (не болванку человека, а животного, например).
• Нейросети для 3D могут также создавать не только болванки, но и персонажей или объекты уже с готовыми текстурами, что облегчает работу. Однако помните, что все равно генерация несовершенна, и остается много артефактов, а также ненужных деталей. Внимательно следите за результатами и совершенствуйте свою модель. Нейросети помогут подготовить отличную базу и дадут вам больше времени на творчество.