Top.Mail.Ru
Как генерировать 3D-модели через нейросеть
Логотип
  • Telegram
  • WhatsApp
  • ВК
  • Youtube
  • Artstation
+74992296669
г. Москва Пн - Вс с 10:00 до 19:00
Содержание
Показать содержание
495
0

Как создавать 3D-модель с помощью нейросетей

Рассказываем, какие нейросети помогут сгенерировать 3D-модель и объясняем, как их использовать.

Окружение и иллюстрация
Как создавать 3D-модель с помощью нейросетей

Автор: Fred Arsenault

Нейросети уже умеют многое — писать, генерировать видео, музыку и видеоролики. Они уже успели стать хорошими помощниками многим специалистам. Но это не все возможности нейросетей — некоторые нейросети могут помочь и 3D-художникам.

В статье ниже разберем, какие именно нейросети на это способны, каким образом генерируется 3D-модель и как ее использовать впоследствии.

Нейросети, которые создают 3D-модели

Есть много разных нейросетей, которые позволяют сгенерировать 3D-модель на основе 2D-изображения. Вот самые оптимальные варианты, которые мы нашли.

Pifuhd

Pifuhd — это нейросеть, способная на основе 2D-изображения сгенерировать 3D-модель. Для работы с ней можно установить программу на устройство (по аналогии со Stable Diffusion). Для использования нейросети в онлайне нужно перейти на официальный сайт, спуститься в самый низ и нажать на кнопку «Colab»:

Главная страница Pifuhd

После откроется другая страница, но уже на Google-Drive. Здесь все просто — сначала нажмите на «Копировать на Диск», а потом, когда откроется копия, нужно выбрать «Изменить» и «Настройки блокнота».

Затем нужно проверить настройки — чтобы стояло GPU, а не другие варианты. 

Настройка Pifuhd

Если все в порядке, нажмите на кнопку «Подключиться».

Подключение к Pifuhd

Теперь нужно указать более точные настройки в блокноте, и вы сможете приступить к генерации. Для этого спуститесь ниже и нажмите на кнопку «Play» рядом с «Import».

Активация Pifuhd

Спускаемся вниз до следующего «Import» и опять нажимаем на «Play»:

Подключение к Pifuhd

Таким же образом поступите со следующими разделами:

  • git clone;
  • cd;
  • from google.colab import files.

Вс эти разделы находятся друг за другом. При загрузке последнего откроется кнопка с импортом — выбирайте изображение, которое хотите превратить в модель. 

Добавление картинки в Pifuhd

При загрузке изображения появятся данные — нужно найти строку «Except» и заменить данные картинки — вместо test.png указать название картинки и ее формат:

Изменение названия картинки в Pifuhd

Вот как заменили данные мы:

Изменение названия изображения в Pifuhd

Когда укажете настройки, нажмите на загрузку рядом с «Import». Остается нажать «Среда выполнения» и «Выполнить ниже» для старта генерации:

Активация скрипта

После этого сгенерируется нужная модель — вы сможете ее скачать вместе с текстурами на ПК. Чтобы скачать ее, нужно нажать на значок папки с левой стороны и выбрать пункт «Pifhd», и найти папку «Results» — внутри нее будет еще папка, а внутри последней еще одна — открывайте каждую и впоследствии появится уже сама модель и текстуры к ней. Скачайте их на устройство, и готово — у вас есть 3D-модель.

Загрузка результатов генерации 3D-модели

Например, вот в Pifuhd сделали модель Тома Круза. Вроде бы сносно, но нуждается в серьезной доработке, потому что текстуры как будто натянуты, а сама модель очень плоская (лицо как маска, отсутствует глубина):

Результат генерации 3D-модели

Tripo3D

Эта нейросеть позволяет создать 3D-модель по текстовому описанию или картинке. Важно знать, что она платная, однако можно также начать пользоваться ей бесплатно. Для этого просто пройдите регистрацию — после откроется главная страница нейросети в браузере, где можно приступить к генерации. На пробные генерации выдают 600 монет.

Модели в Tripo3D

Для генерации нужно ввести промпт внизу страницы и добавить изображение. Также можно задать либо текст, либо загрузить картинку:

Добавление промпта в Tripo3D

Генерация стоит 60 монет — на выданные тестовые монеты можно сгенерировать 10 моделей.

Вот результат, который получили мы:

Результат генерации 3D-модели

Каждую модель можно перегенирировать за 20 монет, а также развернуть для просмотра в 3D-пространстве:

Просмотр результата генерации

В этом интерфейсе есть кнопка «Download» — нажав ее, вы сохраните модель на устройство. 

Сохранение 3D-модели

Важно знать, что файл загружается в формате GLB, и это подходит не для всех 3D-редакторов, поэтому в случае необходимости стоит либо поискать альтернативы, либо конвертировать файл в нужный формат.

Meshcapade

Интересный вариант нейросети, однако сразу стоит отметить — полноценные 3D-модели с текстурами создать вряд ли удастся. Нейросеть создает в основном болванки, и может быть полезна как раз для этого.

Для работы с ней нужно зайти на официальный сайт и выбрать «Try for free» — сразу откроется веб-интерфейс, где можно попробовать нейросеть. Для более профессионального использования придется оплатить подписку.

Создание 3D-модели через meshcapade

Далее перед вами появится простая болванка в базовой одежде и без волос — вы можете в настройках менять пол, указывать рост и вес, а также параметры фигуры. 

Пример модели в meshcapade

Помимо этого можно перейти справа в раздел «Textures» и выбрать подходящий вариант волос и одежды, однако выборы ограничены, и большая вероятность, что вам просто придется дорабатывать текстуры вручную.  

Смена одежды модели

После настроек модель можно скачать или сохранить — соответствующие кнопки находятся с левой стороны вверху.

Кроме таких моделей вы можете генерировать их на основе фотографии человека, чтобы точно передать конкретную позу. Например, мы взяли просто картинку с девушкой в прыжке. Нейросеть сгенерировала модельку с позой:

генерация модели на основе фото

Бесплатно можно сделать порядка 20 генераций такого плана, а вот создавать модели по параметрам можно и бесплатно — за это монеты не списываются. 

Luma AI

Нейросеть работает по обычному принципу — генерирует модели на основе текста. Для этого нужно зарегистрироваться на официальном сайте, зайти в личный кабинет и выбрать в списке функцию «Ginie: Text-t-3d»:

Генерация модели в Luma AI

Впоследствии генерации вы получаете 4 варианта модели — каждую из них можно сразу скачать, либо же сначала отметить тип модели: хай-поли или лоу-поли.

Пример генерации в Luma AI

Помимо этих функций нейросеть еще может генерировать полноценные сцены — для этого нужно перейти в раздел «My Captures» и вставить видеоролик, где демонстрируется нужная сцена. Без видеоролика сгенерировать полноценную сцену не получится, потому что нейросети нужно увидеть все ее точки с разных ракурсов и сторон.   

Генерация сцены в Luma AI

Важно, чтобы сцена просматривалась хорошо. В результате получает что-то вроде этого:

Пример генерации сцены в Luma AI

TripoSR 

Быстрый и практичный инструмент для генерации 3D-моделей, который разрабатывался Tripo AI и Stability AI (Stable Difussion). С его помощью без регистрации и полностью бесплатно можно за несколько секунд генерировать простые модели в формате OBJ или GBL.

Для начала нужно зайти на страницу нейросети, а потом спуститься вниз, где будут интерактивные окошки для импорта изображения и последующей генерации:

Генерация 3D-модели через TripoSR

После вставки изображения можно отметить внизу, нужно или нет удалять фон у картинки. Если не удалять фон, то модель захватить его при генерации, и это просто создаст целый кусок вокруг модели.

Пример 3D-модели в TripoSR

Если же фон убрать, результат более приемлемый:

Модель кота в TripoSR

Однако при работе стоит учитывать нюансы — очень часто нейросеть срезает фон грубо, оставляя артефакты на модели, поэтому лучше сразу убирать фон самостоятельно (или корректировать модель уже в редакторе). 

Кроме того, артефакты могут вылазить и просто так — модель может неправильно считать картинку и испортить определенную деталь. Лучше подбирать детализированные картинки в хорошем качестве, где все детали арта просматриваются хорошо.

И последний нюанс — это формат GLB. При генерации у модели появляется странный серый оттенок, что портит ее визуально.

Генерация модели в формате GLB

Как использовать 3D-модели после генерации

После генерации моделей все нейросети дают возможность их скачать на устройство в нужном формате или в формате GBL. Как только вы скачаете модель, можно сразу направляться в 3D-программу — вряд ли получится сгенерировать модель, которая не нуждается в доработке. Зачастую она нуждается в сильной доработке или скорее и вовсе послужит только как болванка.

Мы рассмотрим на примере Blender. После входа в программу, нажмите на «File» и выберите пункт «Import»:

Перенос модели в Blender

Там нужно обозначить формат импортируемой модели, а потом выбрать ее из нужной папки. Модель сразу импортируется в программу, и с ней можно начать работу.

Модель в Blender

Дальнейшая работа происходит по обычному пайплайну — художник улучшает скульпт и удаляет ненужные артефакты. Например, в нашем случае хвост просто висит в пространстве и не привязан к телу, и это придется решать при помощи скульпта.

Проблемы со сгенерированными моделями

Что стоит запомнить

  • Нейросети для создания 3D-моделей — это все еще вспомогательный инструмент, ведь большинство из них генерирует такие модели, которые невозможно использовать без глубоких доработок.
  • Для 3D-художника такие нейросети могут серьезно облегчить работу и сэкономить время — например, нейросеть выстроит болванку с определенным набором внешних характеристик (параметры, рост, вес) или определенного вида (не болванку человека, а животного, например).
  • Нейросети для 3D могут также создавать не только болванки, но и персонажей или объекты уже с готовыми текстурами, что облегчает работу. Однако помните, что все равно генерация несовершенна, и остается много артефактов, а также ненужных деталей. Внимательно следите за результатами и совершенствуйте свою модель. Нейросети помогут подготовить отличную базу и дадут вам больше времени на творчество.
Автор
Анастасия Терентьева
специально для SmirnovSchool
Расскажи коллегам

Комментарии

    СТОИТ ИЗУЧИТЬ ПО ТЕМЕ