Команда MIT представила Wave-Former — новаторскую систему, позволяющую роботам восстанавливать 3D-форму объектов, скрытых за картоном, гипсокартоном, деревом и тканью. Эта технология использует миллиметровые радиоволны, аналогичные тем, что применяются в Wi-Fi, в сочетании с обученной генеративной моделью. В ходе испытаний система смогла реконструировать около 70 предметов домашнего обихода, включая банки, коробки и фрукты, с точностью на 20% выше предыдущих решений. Основная проблема технологии касается отражений — миллиметровые волны возвращаются только от верхних частей объектов. Команда, взглавляемая Фаделем Адибом, решила эту проблему с помощью частичной реконструкции радара и дополнения невидимых частей с помощью генеративной модели, используя адаптированные датасеты для обучения. В дополнение к этому была разработана система RISE, реконструирующая целые комнаты с использованием одного радара и движения людей. Эта система достигла вдвое большей точности, выявляя полезную информацию из отражений, которые ранее считались помехами. Представление обеих систем ожидается на конференции CVPR, где будет обсуждаться их применение в складской логистике и домашней помощи.

Вопрос-ответ

Как работает система Wave-Former и чем она отличается от существующих подходов?

Wave-Former объединяет миллиметровые радиоволны, используемые в Wi-Fi, с обученной генеративной моделью для реконструкции 3D-форм объектов, скрытых за поверхностями. В отличие от традиционных методов, которые полагаются на прямые изображения или ограниченные радиолокационные сигналы, система частично реконструирует видимую часть радара и дополнительно восстанавливает скрытые части с помощью обученной генеративной модели, обученной на адаптированных датасетах. Это позволяет достигать примерно на 20% более высокой точности по сравнению с предыдущими решениями и восстанавливать такие предметы, как банки, коробки и фрукты.

Что такое система RISE и как она обеспечивает реконструкцию целых комнат?

RISE — система для реконструкции целых комнат с использованием одного радара и движения людей. Она обрабатывает отражения, которые ранее рассматривались как помехи, и за счет анализа динамики и множественных ракурсов собирает полезную информацию о пространстве и расположении предметов. Это позволяет достигать примерно вдвое большей точности по сравнению с подходами, использующими статичные радары, и расширяет спектр применений в складской логистике и домашней помощи.

Какие проблемы отражений приходится решать и как они компенсируются?

Основная проблема — миллиметровые волны отражаются в основном от верхних частей объектов, что приводит к неполной информации о форме. Для решения применяются частичная реконструкция радара и дополнение недостающих частей с помощью генеративной модели, обученной на адаптированных датасетах. Это позволяет восстановить целостную геометрию объектов и улучшить общую точность реконструкции.