Участники форума «Тебе решать!» разработали алгоритм для оценки действий робота

Кейс-чемпионат — одно из мероприятий образовательного форума «Тебе решать!». В течение одного дня 120 студентов в составе 15 команд решали задачу по робототехнике. Задание разработали сотрудники Центра робототехники Сбера. Авторы лучшего решения получили подарки от генерального партнера Сбера.

Студенты примерили на себя роль создателей роботов и создали модели, которые оценивают успешность выполнения роботом текстового задания. Каждая команда получила описание задачи для робота в текстовой форме (например, обслуживание клиента, сборка изделия или исследовательские манипуляции), а также контекст задачи: информацию о среде, в которой находится робот; характеристики объектов, с которыми робот взаимодействует, и другие. Для каждой задачи участники получили план с оптимальным решением задачи и предсказанный моделью план действий робота. Основная метрика оценки качества разработанных моделей — значение Accuracy, которое измеряет способность модели различать успешные и неуспешные планы.

В итоге студенты разработали модели, способные предсказывать успешность выполнения задачи на основе предложенного плана действий робота. Такие модели помогают научить роботов понимать задания на естественном языке (язык, который используют люди для общения) — в перспективе это упростит общение людей с роботами, сделает их более автономными и гибкими в разных сценариях. Тогда любой человек сможет текстом попросить своего робота-помощника выполнить задание (например, «погладь рубашку», «прими доставку» и другое), а не писать алгоритм для каждой задачи.  

«Сейчас большую популярность набирают текстовые модели, которые в том числе применяются для планирования действий робота. Чтобы эти модели более качественно планировали действия робота, нам нужно как-то их оценивать. Наша задача как раз помогает оценить качество предсказания плана действий робота. При оценивании участников мы смотрели на качество решения задачи и презентацию работы, оформление. Несмотря на то, что не все ребята хорошо знакомы с машинным обучением, они успели разобраться в теме и подготовили достойные решения», — рассказал главный инженер-разработчик Центра робототехники Сбера Георгий Мкртчян.

Лучшее решение представила команда Даниила Ускова из 7 человек — в нее вошли студенты разных российских вузов: МИФИ, МИСиС, СПбГУ, Липецкого государственного технического университета и других. Значение метрики Accuracy у модели команды составило около 70% (максимальное значение — 100%).

«В своем решении мы использовали много подходов — считаю, именно это и позволило нам победить. Мы рассмотрели алгоритмический и эмпирический подход с использованием машинного обучения. В машинном обучении мы тоже попробовали несколько подходов, а затем решили пойти немного в другую сторону и применить языковые модели — например, ChatGPT. При этом в нашей команде мало кто плотно знаком с ML — мы осваивали его на ходу, а также нам пригодилась наша харизма и то, как мы представили наше решение», — рассказал капитан команды-победителя, студент Университета МИФИ Даниил Усков.