Мне надоели статьи о том, что все в мире можно поручить ИИ. И безумная идея, что все в мире можно напечатать на 3D-принтере, тоже надоела. Что ж, почему бы не объединить ИИ, 3D-печать и недовольство в одной статье, чтобы уж наверняка? Поехали! Заставим ИИ работать за спасибо, а потом оценим результат.
Важный дисклеймер. Эта статья ни в коем случае не носит информационный или просветительский характер. Все, что написано ниже — исключительно мой личный опыт. Я просто женщина с доступом в интернет и 3D-принтером, которая решила разворошить очередное осиное гнездо с ИИ-шной маткой внутри. Если у вас сервисы работали иначе — супер. К сожалению, сейчас бывают перебои и некоторые сайты лежат или ведут себя непредсказуемо. Вполне может быть, что мне просто не повезло, но все сложности при работе определенно повлияют на итоговое мнение, и вы с этим ничего не сможете сделать.
Немного ликбеза, или введение
Вай, что творится! Мы уже можем использовать ИИ для 3D-генерации. Рассказывать, как именно работают эти нейросети, я вам не буду, вам с радостью помогут в других статьях… Обманула, поверили? Конечно буду, давайте быстро пробежимся по поверхностной матчасти.
ИИ-модели для генерации 3D-объектов можно и нужно разделить на два основных класса.
Text-to-3D
Нейронка, аки холоп, сделает все, что вы ей скажете. Но, как любой холоп, оставит способ выполнения и финальный результат на своей совести. Это чудесно работает, когда надо сгенерировать какой-то черновик или концепт, а еще подходит для быстрого прототипирования. Соответственно всегда есть шанс получить в качестве результата сон при температуре 39.
При такой схеме ИИ-шка все равно пойдет по пути создания сначала 2D-арт, и уже по ней потом начнет генерировать геометрию.
Image-to-3D
По одной или нескольким фотографиям алгоритм восстанавливает форму объекта. Этот способ использует методы компьютерного зрения: нейросеть анализирует перспективу, текстуры и пытается «додумать» невидимые части объекта. Часто применяется для оцифровки реальных предметов (мебели, скульптур), создания 3D-аватаров или моделей товаров для интернет-магазинов. Или, как в моем случае, для попытки превратить фото Тирекса из интернета в нечто печатное.
Ремарочка: тут мы не рассматриваем генерацию текстур, рендеринг, стилизации и т. д., только путь с нуля до модельки.
Технологии генерации
Согласно обзорной статье, современные 3D-генераторы строятся на базе четырех основных типов моделей:
Архитектура | Принцип работы | Для чего выбрать |
VAE (Variational AutoEncoder) | Сжимают 3D-данные в компактное представление, затем разжимают обратно. | Скорее можно сравнить с поиском в сохранениях, чем с полноценной генерацией. Больше подойдет для подготовки анимаций благодаря используемой интерполяции, но если вам нужно создать кардинально новую модель, то не подойдет. |
GAN (Generative Adversarial Network) | Две нейросети соревнуются: одна генерирует, другая оценивает качество. | Самая быстрая генерация, подходящая для набросков, простых объектов, но качество модели скорее всего помашет вам ручкой и больше не выйдет на связь. |
AR (Autoregressive Models) | Предсказывают следующий «кусочек» модели на основе предыдущих. | Подходит для генерации сеток с правильной топологией (если важен контроль над построением вершин и ребер в модели), но может увлечься и преисполниться в своем познании сильнее, чем следует. |
Diffusion Models | Постепенно убирают шум из случайного облака точек, превращая его в модель | Лучше всех подходит для Text-to-3D, сделает вам чудесную текстуру и не спасует перед сложными формами (не факт, что результат будет соответствовать ожиданиям, но генерировать будет очень самоуверенно). |
Большинство современных сервисов (Tripo, Meshy, HiTech) используют гибриды моделей — именно они дают тот самый «скачок качества» в последних версиях.
Популярные гибриды:
VAE+GAN (высокое качество геометрии, но ресурсоемко),
VAE+AR (должна быть отличная топология, но очень медленно генерируется и наличие ошибки в самом начале заруинит вам вообще все),
Diffusion+GAN (высокая скорость, хорошее качество текстур и генерации, но учится сложно, да и контроль геометрии не такой как у VAE+GAN) .
Так технологии балансят болячки друг-друга, в отличие от Габсбургов.
Звучит круто, да? На практике у этих сетей несколько основных ограничений:
Артефакты и некорректная геометрия — модели нередко получаются с «дырами» или плавающими в воздухе деталями. Такое ощущение, что нейросеть учили на сломанных игрушках.
Текстуры могут быть размытыми, со швами и не всегда соответствовать материалу объекта. Тот самый случай, когда «сталь» на картинке выглядит как «пластилин, покрашенный серебрянкой». К счастью, для печати это не такой важный критерий.
Топология сетки нерегулярная: количество полигонов и их расположение случайны. Такая сетка годится разве что для того, чтобы поставить ее на полку и больше никогда не трогать. Для анимации она непригодна, для печати требует вмешательства шамана с бубном.
То есть на выходе чаще всего получается грубый эскиз. Последующая ручная доработка (ретопология, нормализация, текстурирование) практически неизбежна.
Поэтому я решила провести эксперимент, простой и глупый. Взять сурового хищника мезозоя, по совместительству нашего любимого и нежного Тирекса, и скормить его описание разным ИИ-генераторам.
Моя цель — сделать максимально качественно ровно за то количество денег, которое я готова потратить на ИИ-генерацию. А именно — за ноль рублей. Поэтому тестируем только бесплатные лимиты. Зачастую это совершенно неверный подход, можно все проклясть, потратив кучу времени на мусорный результат. Никогда так не делайте, а лучше посмотрите, как плевалась я.
Снижаем цены на выделенные серверы в реальном времени
Успейте арендовать со скидкой до 35%, пока лот не ушел другому.
Истории, о которых невозможно молчать
Что меня вдохновило? Прежде чем мы перейдем к результатам генерации, хочу рассказать пару историй из жизни.
А часики-то не тикают
Один мой знакомый попросил напечатать на 3D-принтере стильные солнечные часы, сгенерированные нейросетью. На картинке было красиво: циферблат с римскими цифрами, изящный гномон.
Печатаем. Обнаруживаем, что все трое (я, он, ИИ) отличаемся умом и сообразительностью. А что случилось? Циферблат на модельке был выпуклым, а гномон — красивым, но кривым и расположенным строго вертикально. В реальном мире солнечные часы работают, только если наклон гномона проектируется с учетом широты местности. Так что время на данных часах относилось к категории «всегда неправильно, даже два раза в день».
Просто форма лица тяжелая
Был еще случай, когда сгенерировали модель лица. Но когда открыли сетку, оказалось, что она состоит из 40+ миллионов полигонов. На этом этапе пришло осознание, что мой ПК не тянет ААА-проекты. Мой комп не из худших представителей своего вида, но на этапе ремэша он вставал на колени много раз подряд.
Покатит? Вряд ли
Занятный случай — трубка, по которой должен был катиться металлический шарик. Мне в ночи присылают модельку с просьбой напечатать и указанием, что это вопрос жизни и смерти, ведь дедлайн почти наступил.
Внешне — отличная труба, ладненькая, но внутри нет совершенно никакого отверстия. Так еще и сетка с дырами. Пришлось скрепя сердце снова доставать из широких штанин покрытый холодным потом блендер и латать.
Почему именно Тирекс
Потому что это не просто «шарик в кубике». У него сложная геометрия: массивное тело , тонкие передние лапки (ручки, которые у нейросетей вечно растут не оттуда и не туда), есть хвост (в идеале один, но в процессе генераций были разные вариации), а еще тут есть буковки (с ними тоже возникли трудности). Если ИИ сможет адекватно сгенерировать такого твердотельного Тирекса, это будет просто невероятно удобно для дизайнеров и любителей печатных моделек. Если не получится — ну, хотя бы будет над чем посмеяться. В целом такой вопрос возник из желания делать бесплатно небесплатное.
Меня интересует другой вопрос: а так ли это применимо на практике, в суровой реальности 3D-печати, как нам рассказывают в рекламных постах? Спойлер: да, но не очень.
Итак, вот наш запрос-картинка, которую будем отдавать нейросетям (соответственно, будем использовать Image-to-3D, чтобы все-таки было портретное сходство) . Можно было выбрать геометрию попроще, чтобы повысить шансы на успех. Но я взялась за эту затею не из желания заниматься полезными вещами.
Подопытные
Чтобы не случилось обидной предвзятости по части выбора нейросетей для теста, я просто взяла усредненный топ из разных источников (их укажу в конце). Сама я ничего не выбирала, даже ИИ были выбраны ИИ, все как вы ненавидите любите. Сегодня на ринге следующие бойцы разных весовых категорий.
Tripo. Крупная платформа по созданию 3D-моделей для печати и геймдева
Типичный отличник с завышенной самооценкой в стиле «я все умею, я из облака». Создает модельку за 10 секунд, делает вид, что чистит топологию и вообще что он вам нужен больше, чем вы ему.
Смотрим результат:
На мой неискушенный взгляд кривозубого обывателя, вполне неплохо.
Meshy. Товарищ для генерации 3D и текстур, которому за бесплатно стыдно пожать руку
Гик-красавчик, который обожает самые разные форматы фразы «за деньги — да» и PBR-текстуры с авторигингом. Нейросеть шустро генерирует из фото 3D-меш за пару минут, топология у новых версий очень даже приличная. Жалко,что для печати вы себе сможете сохранить только генерации старых версий.
Выдал очень неплохой результат, но, к сожалению, потребовал денег, а за бесплатно дал скачать только модель от старой версии нейронки, которая еле-еле приемлемого качества, но подходит для выгрузки и печати. Таки-да, оскорбила мои бесплатные чувства.
3DAIStudio. Обещал многое, но мне выдал только ошибки (упомянут ради приличия)
Мой разгон от «О, новый инструмент!» до «Спасибо за симулятор ошибок, идите $*&@^» случился быстрее, чем хотелось бы.
Смотрим результат генерации:
Кнопка «Сгенерировать» — ложь и провокация. Ты нажимаешь, сервер думает пару секунд... и выдает Generation Failed Error. Причины? Да кто ж их знает. По документации — «перегруз сервера, неверный ввод или проблемы с сетью». То есть у вас может быть все ок с сетью, промпт как в учебнике, но просто не судьба. Попытки добиться справедливости сгорают, как еретики в средневековье.
HiTech 3D. Темная лошадка, которую посоветовал интернет
Выбор смельчаков, которые устали от мейнстрима и хотят острых ощущений. Иногда выдает идеальный объект для печати или геймдева.
Сравнение
Если ваша задача — получить модель для печати (FDM/FFF или полноцветной), требования проще, чем для игр. Вам не нужен риггинг или LOD. Но модель все равно должна быть без дыр и с достаточной толщиной стенок (обычно >1–2 мм, в зависимости от принтера и сопла). HiTech 3D в этом плане — неожиданный лидер: дыр нет, полигонов в меру (по меркам ИИ, не плюйте мне в лицо), можно сразу печатать.
Перед отправкой на принтер всегда проверяйте:
замкнутость сетки (нет ли дыр, через которые слайсер увидит пустоту) — HiTech с этим ок, Tripo и Meshy — не очень;
толщину стенок (тонкие места просто не пропечатаются или отвалятся);
нормали (они должны смотреть наружу, иначе слайсер сойдет с ума);
пересечения геометрии (могут создать внутренние напряжения).
Примерно так выглядят наши подопытные. Динозавра Meshy знатно потрепало. Т. к. возможность скачивать модель есть только для старых версий, в данном случае качество разительно отличается.
Сводная ведомость
Tripo
В целом результат приятно удивил, сохранена сложная геометрия. На генерацию уходит до 3 минут. Дыры есть, но немного. Бесплатных попыток вроде хватает за счет неплохого качества генерации.
Meshy
Неплохой результат на платной модели, но на бесплатной оставляет желание добить, чтобы не мучалось. 3–5 минут вашего времени, дыры в сетке, а бесплатные попытки закончатся быстрее, чем вы успеете создать что-то адекватное.
HiTech
В целом — ничего, но выглядит как лоуполи, несмотря на непорядочное количество полигонов. Не справился с текстом совсем, читать не умеет. Еще и работает медленно: под чаечек-кофеечек и думскроллинг рилсов пойдет, потребовалось 10–12 минут. В сетке дыр нет, что особенно хорошо, если учесть, что бесплатные попытки очень быстро заканчиваются.
А где 3DAIStudio?
Он ушел за хлебом и не вернулся. Его вычеркиваем.
Что в итоге-то
И вот тут начинается самое интересное. Все ждали, что даже в случае успеха придется править геометрию, дырявить стенки или спасаться плагинами для слайсеров. Ан нет. Фото напечатанного подопытного без какой-либо механической постобработки:
Фигурка, сгенерированная HiTech 3D, после экспорта выглядела… странно нормально. Топология? Какая топология….ммм… Но! Слайсер не выдал ни единой ошибки. Поддержки встали идеально. Сама печать прошла без соплей, без отрывов. Я до сих пор не понимаю: то ли это удачно сгенерировалась модель, то ли мы просто свидетели чуда техногенной природы. Но факт остается фактом: «неопознанный сгусток пикселей» превратился в физический объект, который можно поставить на полку.
Конечно, ожидания от всей этой затеи были другими.
Финальный вердикт
И самое главное: это все сугубо субъективно. Я тестировала то, что интересно мне, на конкретном промте с конкретным зверем. Возможно, на генерации вазочек или абстрактных скульптур все пойдет по-другому. Но для моделей со сложной анатомией, когда в кошельке свистит ветер, а напечатанного на 3D-принтере Тирекса хочется, расклад такой:
Хотите сразу печатать и готовы потерпеть медленную генерацию и лоуполи-визуал? Берите HiTech 3D. Он даже дал сетку без дыр.
Хотите накидать идей и поковыряться в блендере, разгребая полученное? Берите Meshy или Tripo.
Хотите, чтобы было красиво, быстро и не жалко денег? Tripo с подпиской, и будет вам счастье.
Хотите просто сжечь время и лимиты? 3DAIStudio — лучший путь возненавидеть ИИ-генерации.
Я бы хотела разразиться проклятиями, но вынуждена признать: да, ИИ умеет генерировать 3D. Да, это быстро и иногда красиво, но рассчитывать на то, что вы получите готовый к печати продукт по кнопке, пока не приходится. Дыры в геометрии, кривая топология, артефакты и полное непонимание физики реального мира — это то, с чем вы столкнетесь с очень высокой долей вероятности. Бесплатные сервисы дают хорошую черновую модель, но допиливать чаще всего придется своими руками.
Относитесь к ИИ-генерации как к продвинутому поиску референсов или быстрому способу получить болванку для дальнейшей работы. И тогда разочарований будет меньше, а полезных (и не очень) моделей — больше.
Кстати, вот материалы, которые мне помогли при поисках: