Расскажите про воспроизводимость исследований. Почему сегодня это актуально?
Александр Капитонов: Сегодня научное сообщество IEEE пришло к пониманию того, что слишком много научных статей, порой цитируемых в значительных источниках и прошедших ряд проверок, содержат недостоверную информацию, например, мы помним огромный скандал с технологией от компании Theranos по быстрому тесту крови (Theranos была частной корпорацией, впоследствии печально известной своими ложными утверждениями о том, что она разработала анализы крови, для которых требовалось очень небольшое количество крови – прим. ред.).
Научное сообщество стало приходить к тому, что каждая статья должна сопровождаться не только описанием математической модели, но и выгрузкой всего набора данных, с которыми работали во время исследования, в противном случае публикацию не пропустят. Когда любой может повторить эксперимент, это и называется воспроизводимостью исследования. Я сам не раз сталкивался с тем, что воспроизвести действия, которые произвели исследователи, просто невозможно: на практике результаты оказываются нерабочими. Есть целый ряд проблем, которые не учитываются, в итоге исследование становится бесполезным. Сегодня есть желание изменить такое положение вещей.
Правильно я понимаю, что концепт воспроизводимости исследований применяется в робототехнике особенным образом?
Фабио Бонсигнори: Начать стоит с того, что робототехника вообще сильно отличается от других научных областей. Так, робототехника существует более 50 лет, но это все еще очень молодая область. В частности, только недавние достижения в этой сфере сделали ее наукой. Во многом это заслуга развития интерфейсов, предназначенных для людей, – например, протезов. В большинстве случаев люди смотрят на робототехнику как на науку о возможностях человека развить свою физическую систему, двигаясь к совершенству. Это первая причина, которая отличает эту научную область от других.
Другая причина связана с применением разработок. Люди привыкли, что современные роботы выполняют порой нехарактерные для них действия – например, роботы компании Boston Dynamics рисуют, – люди им верят, вдохновляются ими. Однако когда мы говорим о прогрессе в науке или серьезной эксплуатации результатов, то нам необходимо понимать, что здесь роботы пока не могут показывать постоянный, стабильно предсказуемый результат. Основатель Boston Dynamics в интервью 2018 года выразил опасение, что люди сегодня ожидают слишком многого от роботов.
Мы помним со школы, что в науке, например, физике, мы пользуемся известными формулами и можем таким образом повторить эксперименты великих ученых. В этом есть ценность научного метода, а весь научный прогресс, который влияет на уровень жизни, построен на научном методе. В свою очередь, метод требует того, что у исследователя есть предмет исследования, он тестирует идею, видит, что она работает, и полученные им результаты могут проверить другие. Так, если я могу воспроизвести ваши результаты, то я смогу продолжить развитие этой области, работая в этом конкретном направлении. Это главная идея научной методологии.
Однако для некоторых областей все работает не так однозначно, среди них – робототехника. Главная проблема области в том, что сообщество не основало практику воспроизводимости научных результатов. Только сейчас этот процесс запускается.
Как ученые и разработчики сферы робототехники реагируют на идею необходимости публиковать весь data set?
Фабио Бонсигнори: Мы начали обсуждать этот вопрос около 10 лет назад. Когда мы создавали Европейскую сеть робототехники для обсуждения этой проблемы, она действительно волновала практически каждого, соответственно, и готовность предпринимать шаги в сторону воспроизводимости была у большинства членов сообщества. Тем более сегодня большинство научных материалов публикуется онлайн, и предоставление всей выгрузки данных не является проблемой.
После многих дискуссий и воркшопов, которые мы организовали внутри сообщества, в журнале IEEE Robotics and Automation (Фабио Бонсигнори – заместитель редактора журнала IEEE Robotics and Automation – прим. ред.) появилась первая воспроизводимая научная публикация, и случилось это в нынешнем году. Это был один из самых успешных выпусков журнала. Чтобы сделать исследование воспроизводимым, требуется много времени и усилий. Нам понадобились четыре года, чтобы мы могли начать публиковать такие исследования.
Важно, что мы не преподносим такие работы как сугубо академические исследования, мы хотим, чтобы результаты реально использовались и становились более гибкими для разных условий. Мы фокусируемся на кооперации исследователей – это интересно как с научной точки зрения, так и с экономической.
Этим летом вы вместе работаете над несколькими проектами, что это за проекты и как они связаны с воспроизводимостью?
Фабио Бонсигнори: У нас много проектов, связанных с мультиагентной технологией для мобильных роботов, которые можно использовать на суше и в воде, блокчейн технологией. Это длительные проекты, где мы хотим развить решения, которые позволят людям работать в содружестве с роботами.
Сейчас мы работаем над проектом, в котором используем дроны для мониторинга окружающей среды, в частности нас интересуют водные пространства. В проекте сейчас используется несколько летающих и плавающих дронов. Воспроизводимость в данном эксперименте заключается в том, что в процессе работы все данные, которые есть у дрона, попадают в публичный доступ при помощи технологии блокчейн. Механизмы блокчейна используется для хранения опубликованных данных, они позволяют оставлять результаты измерений неизменными. Другими словами, мы представляем результат исследования через доверительную систему. Блокчейн в данном случае – гарант того, что данные достоверны. При этом самое главное для нас это выгрузка всех данных, с помощью которых любой сможет повторить наш эксперимент.
Александр Капитонов: В идеале этот проект в конечном итоге должен помочь мониторить состояние воды в Неве. Кстати, есть еще один проект, который был реализован в рамках магистерско-аспирантского гранта (под руководством ассистента факультета инфокоммуникационных технологий Университета ИТМО Игоря Пантюхина), он тоже лежит в области мониторинга окружающей среды, но в этом случае дроны фокусируются на поиске мест возгорания в лесах. В этом кейсе мы использовали только летающий дрон, его задача – детектировать не только место возгорания, но также и нахождение людей и автомобилей в запрещенных зонах. На одном из тестов нам удалось повысить скорость реакции спецслужб в три раза. Обычно службы знают только направление возгорания, но теперь есть возможность узнать конкретное место. Проект уже завершен, и сегодня мы его демонстрируем на различных мероприятиях.
Также вы вместе сотрудничаете с коллегами из MIT…
Александр Капитонов: Да, это сотрудничество связано с нашей работой, которую мы ведем по направлению блокчейн-технологии для робототехнических систем. В данном случае мы описываем, как механизмы блокчейн могут быть использованы для коммуникации между роботами. Это длительное сотрудничество с MIT Media Lab, наш главный партнер – Эдуардо Кастелло, обладатель гранта Марии Склодовской-Кюри. Сегодня он работает с не менее известными в этой области профессорами Алексом Пентландом и Марко Дориго над изучением комбинации робототехнических систем и технологии блокчейн для создания новых моделей безопасности, поведения и бизнеса для распределенных робототехнических систем, поэтому наши интересы совпадают.
Вы работаете над каким-то конкретным проектом с представителями MIT?
Александр Капитонов: Мы работаем не над проектом, а над развитием целой области – активно занимаемся продвижением использования блокчейн решений в коммуникации робототехнических устройств. Мы организовываем вместе симпозиумы, воркшопы, публикуем научные статьи по этому направлению.
Фабио Бонсигнори: Блокчейн хорош для хранения данных и гарантии их целостности и неизменяемости. Но также блокчейн мы продвигаем параллельно как направление, ориентированное на экономическое взаимодействие автоматических систем. Самый простой пример из будущего – автономный грузовик Tesla приезжает к автономному складу Amazon, и необходимо передать право собственности на товар после того, как он был отгружен. Блокчейн в этом процессе может выполнять ключевую роль как один из прозрачных и надежных способов решения таких задач.
В предыдущем интервью ITMO.NEWS вы говорили о том, что машинный интеллект, большие данные и компьютерное зрение дадут производственным предприятиям возможность общаться между собой, быстро ставить задачи и выполнять их самостоятельно. Это говорит о наступлении нового этапа в производстве и экономике?
Фабио Бонсигнори: Машинное обучение, блокчейн, искусственный интеллект, как кусочки лего, можно применить к производственной цепи, где доверие очень важно, и, таким образом, целиком ее изменить. Реальность такова, что предприятию или поставщику сервисов необходимо быть максимально адаптивными, им нужна гибкость. IoT, машинное обучение, искусственный интеллект как раз дают больше гибкости и пространства для маневров. Мы можем перестроить всю индустрию, и компании, общество и страны получат возможность «оседлать» новую волну экономики.
Александр Капитонов: Наука позволит перейти экономике на новый уровень. Сегодня есть много примеров, когда люди движутся к экономике совместного потребления, это означает меньшую стоимость товара и его более эффективный способ использования. И именно научное сообщество сегодня продвигает идею о том, далеко не все публикации в научных журналах одинаково полезны. Здесь мы снова возвращаемся к ценности воспроизводимости.
Я пытаюсь использовать принцип воспроизводимости в нашем образовательном процессе, потому что думаю, что образовательный процесс нуждается в большей открытости. Воспроизводимость и открытость – новые тренды. Студенты должны публиковать отчеты и результаты лабораторных работ, предлагая проверить или повторить эксперимент. Это улучшит качество и КПД их работы.
Какие главные направления, над которыми вы планируете вести работу в ближайшие месяцы?
Фабио Бонсигнори: Есть некоторые идеи, как мы можем внедрить мобильные роботы в экономику совместного потребления. Однако прямо сейчас мы больше сфокусированы на экологическом мониторинге и сети мобильных роботов, киберфизических системах и, конечно, воспроизводимости – это главные направления.
Александр Капитонов: Делиться полными данными в результатах исследований – это главная идея и новый вид мышления. Примечательно, что этот подход уже давно внедрен в робототехническом сообществе. Так, 12 лет назад разработчики операционной системы для роботов (Robot Operating System) сделали ее open source проектом, и все результаты разработки выкладываются в свободном доступе в репозиториях или на крупнейшем веб-сервисе для хостинга IT-проектов и их совместной разработки GitHub.
Сейчас люди меньше всего хотят соревноваться, новым поколениям соревнования не интересны. Следующим шагом, я надеюсь, станет то, что многие исследовательские группы будут публиковать результаты с программным кодом и исходными данными и таким образом помогать друг другу и развитию всей научной области. Синергия в исследованиях – это то, что продвинет человечество вперед.
