Семантичне завершення геометрії та інтеграція SLAM у 3D-картографуванні

Таблиця посилань

Анотація та 1 Вступ

1. Пов'язані роботи

   2.1. Навігація на основі зору та мови

   2.2. Семантичне розуміння сцени та сегментація об'єктів

   2.3. 3D реконструкція сцени

2. Методологія

   3.1. Збір даних

   3.2. Семантична інформація відкритого типу з зображень

   3.3. Створення 3D-представлення відкритого типу

   3.4. Навігація на основі мови

3. Експерименти

   4.1. Кількісна оцінка

   4.2. Якісні результати

4. Висновок та майбутня робота, Заява про розкриття інформації та Посилання

2.3. 3D реконструкція сцени

Останнім часом 3D реконструкція сцени зазнала значних удосконалень. Деякі нещодавні роботи в цій галузі включають використання самоконтрольованого підходу для завершення семантичної геометрії та реконструкції зовнішнього вигляду з RGB-D сканувань, таких як [26], який використовує 3D архітектуру енкодер-декодер для геометрії та кольору. Для цих підходів основна увага приділяється створенню семантичної реконструкції без еталонних даних. Інший підхід полягає в інтеграції 3D реконструкції в реальному часі з SLAM. Це здійснюється за допомогою технік на основі ключових кадрів і використовується в останніх випадках автономної навігації та AR [27]. Інший нещодавній метод передбачає роботу з нейронними полями випромінювання [28] для внутрішніх просторів при використанні структури з руху для розуміння сцен, знятих камерою. Ці моделі NeRF навчаються для кожного місця і особливо добре підходять для просторового розуміння. Ще один метод полягає у побудові 3D графів сцени з використанням відкритого словника та фундаментальних моделей, таких як CLIP, для фіксації семантичних відносин між об'єктами та їх візуальними представленнями [4]. Під час реконструкції вони використовують функції, витягнуті з 3D хмар точок, і проектують їх на простір вбудовування, вивчений CLIP.

\ Ця робота використовує метод сегментації об'єктів відкритого типу 2D, як пояснено в попередніх розділах. Маючи RGB-D зображення, ми отримуємо ці окремі маски об'єктів з RGB-зображення і проектуємо їх назад у 3D за допомогою зображення глибини. Тут ми маємо підхід на основі об'єктів замість обчислення точка за точкою для реконструкції, що раніше було зроблено Concept-Fusion [29]. Це вилучення маски функцій для кожного об'єкта також допомагає нам обчислювати вбудовування, які зберігають відкритий характер цього конвеєра.

\

:::info Автори:

(1) Laksh Nanwani, Міжнародний інститут інформаційних технологій, Хайдарабад, Індія; цей автор зробив рівний внесок у цю роботу;

(2) Kumaraditya Gupta, Міжнародний інститут інформаційних технологій, Хайдарабад, Індія;

(3) Aditya Mathur, Міжнародний інститут інформаційних технологій, Хайдарабад, Індія; цей автор зробив рівний внесок у цю роботу;

(4) Swayam Agrawal, Міжнародний інститут інформаційних технологій, Хайдарабад, Індія;

(5) A.H. Abdul Hafez, Університет Хасана Кальонджу, Шахінбей, Газіантеп, Туреччина;

(6) K. Madhava Krishna, Міжнародний інститут інформаційних технологій, Хайдарабад, Індія.

:::

:::info Ця стаття доступна на arxiv за ліцензією CC by-SA 4.0 Deed (Attribution-Sharealike 4.0 International).

:::

\