Российские учёные создали отечественнуюю программу для управления роботами жестами

Специалисты Донского государственного технического университета совместно с коллегами из МГТУ «Станкин» создали отечественное программное обеспечение для управления роботом с помощью жестов. Инициатива поддержан программой «Приоритет 2030» Минобрнауки РФ и выполнен в рамках гранта Российского научного фонда. Об этом сообщили изданию ТАСС в пресс-службе Минобрнауки РФ.

За счёт новой разработке отечественные промышленные манипуляторы смогут распознавать команды оператора без использования импортных решений. Решение объединяет информация обычной камеры и датчика глубины. Первая фиксирует картинку, следующий измеряет расстояние до объектов. Вместе они компенсируют недостатки друг друга при плохом освещении или потере глубины. Это обеспечивает более точное и надёжное распознавание действий. На основе полученных данных был создан дескриптор. Это вектор признаков, который описывает движение оператора.

Ученые разрабатывали систему на основе алгоритмов компьютерного зрения и нейросетевых технологий. Решение распознаёт жесты человека и управляет роботизированной техникой путём бесконтактного интерфейса. Программа получает информация с камеры и сенсора глубины, затем распознаёт жестовые команды оператора. Программа обучена на 10 жестовых командах. После этого информация поступают на контроллер робота, где заранее прописано соответствие между жестовой командой и действием робота-манипулятора. Платформа позволяет автоматизировать погрузку, сборочные операции, окраску, лазерную обработку, маркировку и другие совместные операции человека и робота.