Законы физики и оптики

Компьютерное и техническое зрение можно освоить на многих программах, в том числе в ИТМО. Но они, как правило, сосредоточены именно на программных методах обработки изображений и не рассматривают оптическую и аппаратную часть систем. Часто специалисты без бэкграунда в оптико-электронных системах не знают, как именно строится анализируемое ими изображение, а поэтому испытывают трудности, сталкиваясь с дефектами или некорректной работой систем.

Как объясняет руководитель новой программы, сотрудник Международной лаборатории техносферной безопасности Александр Васильев, программисты сильны в прикладной математике, но зачастую плохо понимают, какие оптические законы стоят за работой видеокамер и как вообще устроены сенсорные устройства.

«Программистам без бэкграунда в оптике, оптико-электронных приборах и системах очень сложно понять, как работают те же самые лидары: как происходит сканирование пространства, как формируется облако точек, почему иногда появляются фантомные изображения и так далее. То же самое и с видео: они не знают, как построить пространственное расположение камер, как их связать между собой, почему возникает шум на изображении, как построена камера или другой сенсор — а без этого понимания сложно определить алгоритм, который будет работать правильно и эффективно», — говорит он.

Именно этот пробел и призвана заполнить образовательная программа «Техническое зрение», открывшаяся на физико-техническом мегафакультете ИТМО.

Партнеры и проекты

Обучение будет включать целый комплекс практических занятий, в том числе лабораторные практикумы, стажировки, а также непосредственно работу над проектами. Студенты смогут работать над реальными кейсами из ИТ-индустрии, умных технологий, беспилотников, военной техники и даже из сферы искусства:

«У нас в Европейском университете с нового года запускается программа “Искусственный интеллект в искусстве”. Но проблема в том, что она рассчитана в первую очередь на людей искусства, которые далеки от технических наук. И у нас родилась такая идея коллаборации: объединять студентов в группы для работы над совместными проектами — художественными или искусствоведческими. Ведь в искусстве есть много задач, которые можно решить с помощью технического зрения. Хочется, чтобы студенты обоих университетов смогли вместе поработать и чему-то научиться друг у друга»,— рассказывает исполнительный директор Лаборатории «Искусство и искусственный интеллект» в Европейском университете Олег Лашманов.

Ещё один интересный проект, который предложат студентам, — работа над платформой анализа медицинской информации Botkin.AI от компании BrainGarden. Система анализирует рентгеновские снимки на предмет патологий и новообразований и уже внедрена в нескольких крупных клиниках России. Проект входит в рейтинг ТОП-10 стартапов по всему миру согласно Entrepreneurship World Cup.

Другой интересный кейс — анализ агрокультур с помощью беспилотников или спутников — предоставит компания «Планер-Т», специализирующаяся на дистанционном зондировании земли.

Чему будут учить

Набор дисциплин, которые студенты освоят на программе, можно разделить на три блока:

1) системы технического зрения (сюда входит курс по устройству видеокамер и оптических сенсоров, а также курс по аппаратным средствам обработки изображений с обучением программированию на языках C++ и Verilog);

2) обработка изображений (в этом блоке студенты изучат современные методы обработки видео и цифровых изображений, алгоритмы аналитики, технологии распознавания лиц и объектов, методы фильтрации изображений, а также научатся использовать для этих целей искусственный интеллект);

3) оптические системы (сюда входит в том числе теория формирования оптического изображения, моделирование и конструирование приборов технического зрения).

Отдельных специализаций на программе нет, но после первого года обучения магистранты смогут сами выбрать прикладную область, которая интересна им больше всего. Доступно будет пять вариантов:

• анализ медицинских изображений (в клинической практике и в научных исследованиях по биологии и медицине);
• многоканальные системы технического зрения (например для трехмерных реконструкций, дополненной реальности, дистанционного зондирования земли и так далее);
• комплексные системы безопасности (в первую очередь, для цифровых систем видеонаблюдения и распознавания лиц);
• измерительные системы технического зрения (контроль за параметрами цветопередачи, энергопотребления, линейных и угловых параметров и так далее),
• интерферометрические методы измерений.

Как поступить на программу

Всего в первом наборе будет 30 бюджетных мест. От абитуриентов ждут базовых знаний линейной алгебры и аналитической геометрии (достаточно одного курса высшей математики), понимания базовых законов оптики и хотя бы начальные навыки программирования — дальше в программе предусмотрен полноценный курс по программированию на Python.

Эти знания будут проверять на вступительном экзамене. Но также есть возможность поступить на программу, успешно участвуя в различных конкурсах и олимпиадах. Среди них:

• конкурс докладов на «Конгрессе молодых ученых»,
• онлайн-форум «Тебе решать!»,
• конкурс портфолио,
• олимпиада «Я — профессионал»,
• МегаОлимпиада ИТМО,
• перезачет итоговой государственной аттестации.

Кем смогут работать выпускники

Учитывая, что программа будет готовить универсальных специалистов по обработке изображений и конструированию систем технического зрения, ее выпускники смогут выбрать карьеру разработчика, программиста, инженера-конструктора, робототехника, специалиста по машинному обучению, дата-сайентиста, научного исследователя или руководителя проекта. Средняя зарплата молодого специалиста после выпуска составляет 80 000 рублей в отечественных компаниях (данные по вакансиям, размещенных на HeadHunter) и $2 500 в зарубежных.

Среди потенциальных работодателей — в первую очередь партнеры программы: компании Braingarden, Luxoft, «Транзас» (Wärtsilä Voyage), Группа «Кронштадт», C-Sort.