Бесплатная 3D реконструкция с поверхностным подходом: новый метод

«`html

Реконструкция поверхностей высокой точности из многопроекционных изображений, особенно с ограниченными данными, представляет собой критическую задачу в компьютерном зрении.

Это задание важно для различных приложений, включая автономное вождение, робототехнику и виртуальную реальность, где точные 3D-модели необходимы для принятия эффективных решений и взаимодействия с реальными окружающими средами. Однако достижение этого уровня детализации и точности затруднено из-за ограничений памяти, вычислительных ресурсов и возможности захвата сложной геометрической информации из ограниченных данных. Преодоление этих препятствий важно для развития технологий искусственного интеллекта, требующих как точности, так и эффективности, особенно в условиях ограниченных ресурсов.

Текущие подходы к нейронной реконструкции поверхности разделяются на многоступенчатые конвейеры и энд-ту-энд нейронные неявные методы.

Многоступенчатые конвейеры, такие как те, которые использует SparseNeuS, включают отдельные этапы для оценки глубины, фильтрации и создания сетки. Эти методы имеют тенденцию накапливать ошибки на различных этапах и неэффективны в оптимизации грубых и точных этапов вместе. Энд-ту-энд методы, такие как те, которые используют нейронные неявные функции, упрощают процесс путем извлечения геометрии непосредственно с использованием техник, таких как Marching Cubes. Однако эти методы сталкиваются с значительными ограничениями памяти, особенно при работе с объемами высокого разрешения, и требуют большого количества входных видов для достижения удовлетворительных результатов. Кроме того, методы, зависящие от вида, такие как C2F2NeuS, которые создают отдельные объемы стоимости для каждого вида, являются вычислительно затратными и непрактичными для сценариев с большим количеством входных видов. Эти ограничения затрудняют применение этих методов в реальном времени и в условиях ограниченных ресурсов.

Команда исследователей из университета Пекина, лаборатории Пэн Чэн, университета Бирмингема и Alibaba предлагает SuRF, новую поверхностно-центричную структуру, разработанную для преодоления ограничений существующих методов путем обеспечения эффективной реконструкции поверхности высокого разрешения из ограниченных входных видов. Инновация заключается в стратегии энд-ту-энд разрежения SuRF, которая является безнадзорной и поверхностно-центричной, снижая потребление памяти и вычислительную нагрузку, улучшая способность модели захватывать детальные геометрические особенности. Ключевым компонентом SuRF является модуль Matching Field, который эффективно находит поверхностные области, используя распределение весов вдоль лучей, позволяя модели сосредотачивать вычислительные ресурсы на областях близких к поверхности. Стратегия разрежения региона дополнительно оптимизирует этот процесс, оставляя только воксели в идентифицированных поверхностных областях, тем самым уменьшая размер объема и позволяя использовать более высокоразрешающие особенности. Этот подход представляет собой значительное развитие в реконструкции поверхности, предлагая масштабируемое, эффективное и точное решение, особенно в сценариях с ограниченными входными данными.

SuRF создан с использованием многомасштабных объемов особенностей, сгенерированных через сеть пирамиды особенностей (FPN) и адаптивную стратегию перекрестного масштабного слияния. Модель сначала извлекает многомасштабные особенности из входных изображений и агрегирует их с использованием сети слияния, которая интегрирует как глобальные, так и локальные особенности. Модуль Matching Field идентифицирует поверхностные области, создавая одноканальный объем сопоставления на каждом масштабе, который оценивает приблизительное положение поверхности вдоль луча, уточненное через разрежение региона. Эта стратегия гарантирует, что только воксели в пределах поверхностных областей сохраняются для более высокоразрешающих масштабов, значительно снижая потребность в памяти и вычислениях. Обучение модели включает комбинацию потерь цвета, потерь согласованности особенностей, эйконной потери и потерь искажения из поля сопоставления. Общая функция потерь разработана для оптимизации как предсказания поверхности, так и поля сопоставления, позволяя модели эффективно находить и восстанавливать поверхности высокой точности, даже из ограниченных входных данных.

SuRF демонстрирует существенные улучшения в точности и эффективности по многим бенчмаркам, включая DTU, BlendedMVS, Tanks and Temples и ETH3D. В частности, SuRF достигает улучшения точности на 46%, снижая потребление памяти на 80% по сравнению с предыдущими методами. Он последовательно превосходит существующие передовые подходы, достигая более низких расстояний Чамфера, что указывает на более тонкие и детальные реконструкции поверхности. Эти результаты подтверждают, что SuRF предлагает более эффективное и точное решение для реконструкции поверхности высокой точности, особенно при работе с ограниченными входными видами, что делает его очень подходящим для приложений, требующих как точности, так и эффективности ресурсов.

SuRF вносит значительное развитие в нейронную реконструкцию поверхности, предоставляя новый поверхностно-центричный подход, который объединяет безнадзорное энд-ту-энд разрежение с эффективным использованием памяти. Через стратегии Matching Field и Region Sparsification SuRF направляет вычислительные ресурсы на реконструкцию поверхности высокого разрешения, даже при ограниченных входных видах. Экспериментальные результаты подтверждают эффективность SuRF, подчеркивая его потенциал установить новый стандарт в реконструкции поверхности высокой точности в исследованиях по искусственному интеллекту. Этот подход не только решает критическую проблему в области, но также открывает путь к более масштабируемым и эффективным системам искусственного интеллекта, подходящим для развертывания в условиях ограниченных ресурсов.

Проверьте статью. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на нас в Twitter и присоединиться к нашему каналу в Telegram и группе в LinkedIn. Если вам нравится наша работа, вам понравится наша рассылка.

Не забудьте присоединиться к нашему сообществу 50k+ ML SubReddit

БЕСПЛАТНЫЙ ВЕБИНАР ПО ИСКУССТВЕННОМУ ИНТЕЛЛЕКТУ: ‘SAM 2 для видео: как настроить на ваши данные’ (ср, 25 сентября, 4:00 — 4:45 EST)

Пост SuRF: Надзорная поверхностно-центричная структура для реконструкции 3D-моделей высокой точности с разрежением региона появился сначала на MarkTechPost.

«`