Аспиранты ИТМО стали двукратными победителями международных соревнований от Google Research

Впервые в топ-10 «золотых» медалистов аспиранты попали в прошлом году, тогда им удалось обойти более 500 команд со всего мира. В этом году команда Джаафара Махмуда и Аммара Али оставила позади 928 команд и стала абсолютным победителем соревнований.

Соревнования Image Matching Challenge проходили в пятый раз. Ежегодно участники решают одну из проблем создания 3D-моделей в Google Maps. Сложность задачи заключается в том, что трехмерное изображение «собирают» из нескольких фотографий разного качества. Представленные конкурсантами технологии впоследствии используются не только в разработке карт, но и в других продуктах Google, например, в оцифровке архитектурных памятников.

«Соревнования Image Matching Challenge объединяют наши с Аммаром профессиональные интересы. С одной стороны, это 3D-реконструкция и геометрическое восприятие пространства роботами — сфера, в которой работаю я. С другой — это Machine Learning и Deep Learning, с которыми работает Аммар. Наша команда участвует в соревнованиях уже в третий раз, в этом году найти решение задачи было значительно труднее. В предыдущем году мы вошли в топ-10 финалистов, и решили еще раз принять участие, чтобы добиться лучшего результата и «прокачать» свои навыки. Мы всегда стараемся найти время и возможность, чтобы расширить знания, поэтому не исключено, что вновь попробуем свои силы в Image Matching Challenge», — рассказывает об участии в конкурсе Джаафар Махмуд.

С каждым годом конкурсное задание значительно усложняется. При этом количество человек в командах и отведенное на решение задачи время остаются прежними. Так, еще два года назад 3D-панорама создавалась только из пары изображений. В этот раз участники разрабатывали программу для создания точных 3D-моделей из фотографий разного качества. В качестве исходников служили кадры, сделанные обычными пользователями в разных условиях (плохое освещение, густой лес, темная ночь) и изображения, сделанные с помощью дронов.

В этом году команда Джаафара Махмуда и Аммара Али представила модуль для реконструкции 3D-объектов на базе программы COLMAP, а также сервисов ALIKE и LightGlue. На первом этапе анализируются все имеющиеся снимки и вычисляется верное положение объекта в пространстве. Затем программа определяет фотографии, на которых объект находится в неверном положении, и исправляет ошибочную композицию. На третьем этапе отсеиваются идентичные фото. На последнем — оставшиеся изображения совмещаются в единую 3D-модель. Проект был также представлен на ежегодном международном семинаре, посвященном проблеме сопоставления изображений в современных сервисах, — Image Matching: Local Features & Beyond.