Учёные МФТИ повысили качество планирования действий человекоподобных роботов на ПВЗ
МФТИ — Московский физико-технический институт ·
Специалисты Московского физико-технического института (МФТИ) разработали модульную систему управления для человекоподобных роботов, работающих на складах. Новая технология позволяет машинам запоминать окружающее пространство в виде обновляемых графов 3D-сцены окружающего пространства и самостоятельно планировать последовательность действий по командам на естественном языке. Результаты исследования опубликованы в журнале Engineering Applications of Artificial Intelligence. Основная сложность в работе автономных роботов на складах – понимание динамической среды и адекватная интерпретация голосовых команд операторов. Существующие системы, основанные только на текстовых инструкциях, часто дают сбои при работе в реальных условиях: они не учитывают изменение обстановки, перемещение людей и грузов, а также не способны выстраивать иерархию действий при выполнении комплексных задач. Человекоподобный робот, использованный в исследовании, разработан Лабораторией интеллектуальных технологий робототехники МФТИ Предоставление планировщику возможности понимать окружающее пространство в виде графа 3D-сцены чрезвычайно важно, поскольку это позволяет в явном виде запомнить и отслеживать изменения в рабочей зоне робота и качественнее планировать его действия. Без полноценного понимания динамики пространственных связей между объектами большие языковые модели, на которых сегодня строятся системы планирования действий по голосовым командам, показывают низкую эффективность в складских условиях» рассказал соавтор работы, заведующий лабораторией интеллектуального транспорта Центра когнитивного моделирования МФТИ Дмитрий Юдин. Разработанный в МФТИ метод получил название SG-RAPL (Scene Graph-driven Reasoning for Action Planning). Он объединяет технологию построения трёхмерной карты окружающего пространства и большие языковые модели (LLM). Система в реальном времени создаёт детализированный граф сцены, в котором отражены все объекты на складе: стеллажи, контейнеры, коробки и люди, а также связи между ними. Упрощенная схема разработанного модульного подхода планирования действий антропоморфного робота SG-RAPL Мы предлагаем модульный подход, который использует оригинальные алгоритмы для декомпозиции последовательности задач гуманоидного робота в складской среде на основе графа трёхмерной сцены. В отличие от существующих методов, наша система способна не просто распознавать объекты, но и понимать пространственные взаимоотношения между ними» пояснил соавтор работы, заведующий лабораторией воплощённого ИИ Центра когнитивного моделирования МФТИ Алексей Ковалёв. Ключевая особенность разработки – использование алгоритмов слияния информации о распознанных масках объектов на изображениях камеры, соответствующих им картах глубин и специальных визуальных ArUco-маркерах. Это позволяет роботу с помощью одной встроенной камеры строить и обновлять граф окружающей трёхмерной сцены в режиме реального времени. Система способна декомпозировать сложную задачу, например, «взять коробку с верхней полки», на последовательность конкретных действий: навигацию к стеллажу, захват груза и его перемещение. Так выглядит граф 3D-сцены, которые робот строит по изображению бортовой камеры Для обучения и тестирования системы учёные создали и вручную разметили специализированный набор данных, включающий сцены со складов и десятки сценариев с голосовыми командами. В ходе экспериментов как в виртуальной среде, так и на реальном роботе, который разработан в Лаборатории интеллектуальных технологий робототехники, подход продемонстрировал более высокую эффективность по сравнению с системами, не использующими трёхмерные графы сцены. На основе разработанного датасета впервые проведено бенчмарк-тестирование современных алгоритмов автономного планирования действий гуманоидных роботов в складских условиях. Результаты подтвердили преимущество предложенного подхода» добавил соавтор работы, директор Центра когнитивного моделирования МФТИ Александр Панов. Исследование выполнено при поддержке Минэкономразвития РФ. Код и датасет опубликованы в открытом доступе на платформе GitHub. В дальнейшем учёные планируют адаптировать систему для работы на других типах промышленных объектов.