OmniPart: Революция в 3D-Генерации или Академический Мираж?

Новый подход в 3D-генерации OmniPart: обещания и реалии

Разработка эффективных методов генерации 3D-моделей по-прежнему является ключевой задачей в области компьютерной графики, особенно для интерактивных приложений - будь то видеоигры, виртуальная реальность или создание цифровых двойников. Традиционные генеративные подходы зачастую выдают монолитные формы, ограничивая их применение в сценариях, требующих семантического понимания и редактируемости отдельных компонентов. В этом контексте команда исследователей из Университета Гонконга, Харбинского политехнического института и компании VAST представила фреймворк OmniPart, названный значительным шагом к построению 3D-объектов с явной, редактируемой структурой частей.

Статья, описывающая OmniPart, была опубликована на arXiv 8 июля 2025 года под названием «OmniPart: Part-Aware 3D Generation with Semantic Decoupling and Structural Cohesion» arXiv:2507.06165. Проектная страница доступна по адресу https://omnipart.github.io/, а код впоследствии выложен на GitHub https://github.com/HKU-MMLab/OmniPart.

Деконструкция OmniPart: архитектура и заявленные возможности

Главная новация OmniPart заключается в двухэтапном подходе, который пытается решить проблему сильной взаимосвязи (когерентности) частей при их параллельной семантической независимости. Цель - гарантировать, чтобы компоненты модели могли быть однозначно идентифицированы и независимо изменены, одновременно образуя единый, правдоподобный объект.

Первый этап представляет собой модуль планирования структуры на базе авторегрессионной модели. Он генерирует последовательность ограничивающих параллелепипедов (bounding boxes) для предполагаемых 3D-частей. Ключевым моментом здесь является управление процессом через гибкие 2D-маски. Эти маски, получаемые из входного изображения, позволяют пользователю интуитивно задавать желаемые зоны для разделения на части, без необходимости в прямой корреспонденции или семантических метках. Для повышения точности планирования структуры была добавлена Part Coverage Loss, штрафующая боксы, не полностью охватывающие соответствующую часть объекта.

Второй этап, модуль синтеза частей с пространственной привязкой, использует заранее спланированные ограничивающие параллелепипеды для одновременного и согласованного синтеза 3D-представлений всех компонентов. Для этого OmniPart эффективно переобучает предварительно обученный целостный 3D-генератор TRELLIS (Xiang et al., 2024), работающий в разреженном воксельном латентном пространстве. Несмотря на «ограниченность высококачественных частично-уровневых аннотаций», утверждается, что модель успешно генерирует детализированные и связные структуры. Чтобы бороться с шумом и перекрытиями вокселей на границах частей, OmniPart применяет механизм отбрасывания вокселей, определяющий принадлежность вокселя к конкретному сегменту.

Заявленные плюсы OmniPart включают:

• Контролируемая гранулярность частей: возможность регулировать уровень детализации через 2D-маски.
• Точная локализация: формирование элементов с определённым пространственным расположением.
• Разнообразные downstream-приложения: поддержка анимации, редактирования материалов и геометрической обработки.
• Использование предварительно обученных моделей: адаптация TRELLIS снижает потребность в обширных 3D-аннотациях на уровне частей.

Критический взгляд на функциональность: разрыв между представлением и реальностью

Несмотря на смелые заявления, практическая реализация и доступность OmniPart вызывают вопросы. К примеру, по состоянию на октябрь 2025 года, ссылки на модель («Model») и демонстрацию («Demo») на странице проекта OmniPart ведут на платформу Hugging Face, но ссылка на веса модели не работает. Это мешает независимой проверке объявленных результатов.

Более того, общий скептицизм относительно современного состояния AI-генераторов 3D-моделей усиливается недавними пользовательскими тестами. Так, в сообществе Blender на Reddit пользователь Furebel 16 февраля 2025 года провёл испытание аддона Hunyuan3D txt-3D AI для Blender (не связанного напрямую с OmniPart, но относящегося к генераторам 3D-моделей на базе ИИ). Его вывод оказался однозначным: «текстуры и каркас настолько плохи, что их невозможно использовать», а сама сетка «в лучшем случае подходит лишь как основа для пропорций, так как они удивительно точны, но всё равно в нескольких важных местах будет недочет». При тестировании простейших объектов, например куба, получались «ужасные» и «непригодные» каркасы. Тестирование более сложных объектов, таких как космический корабль, показывало «правильные» пропорции, но «полный бардак сзади» и «сплюснутые» детали. В отдельном эксперименте попытка сгенерировать кота из фотографии привела к результату, который пользователь охарактеризовал как «провал»: отсутствовал хвост, лапы слиплись, появились артефакты. Этот опыт подчёркивает, что «реклама таких ИИ показывает, насколько они просты и мощны, но на практике всё рушится, как только требуется хоть небольшая точность или нестандартный объект».

Хотя архитектура OmniPart, с её структурным планированием и синтезом частей, выглядит более изощрённой, чем у большинства существующих image-to-3D решений, изображения на странице проекта, демонстрирующие «правильные отретопленные сетки» и «Geometry Processing», могут вызывать подозрения в их постановочности. Такая практика - обычное явление в научных публикациях, где показывают идеальные результаты, часто полученные в контролируемых условиях или после значительной постобработки.

Перспективы и ограничения

Исследователи OmniPart признают, что одним из текущих ограничений является применение осеориентированных ограничивающих параллелепипедов, которые могут вести к «чрезмерному включению шумных вокселей», попадающих на второй этап синтеза. Это указывает на неизбежные трудности в достижении идеального разбиения на части и геометрической точности при автоматической генерации.

В итоге OmniPart предлагает теоретически привлекательный подход к частично-ориентированной 3D-генерации, направленный на решение давних проблем семантического разделения и структурной когерентности. Однако, пока публичные веса модели остаются недоступными, а опыт использования других AI-генераторов 3D-моделей демонстрирует их существенные ограничения в создании высококачественного и готового к применению контента, остаётся вопрос о реальной эффективности и практической ценности OmniPart за пределами академических демонстраций. Достижения в этой сфере, безусловно, происходят, как показывают исследования в смежных областях, таких как трёхмерная сегментация частей и композиционная генерация. Тем не менее путь к созданию универсальных и безупречных генераторов 3D-моделей, способных удовлетворить строгие требования профессионального продакшна, ещё далёк и полон сложностей.