Много данных — мало специалистов

В 2022 году объем данных, созданных человечеством, составил 97 зеттабайт (это 97 миллиардов терабайт). А к 2025 году, согласно исследованиям Statista, это число возрастет до 180 зеттабайт.

Компании уже давно используют данные, чтобы решать разные задачи. Например, банки анализируют транзакции, которые совершают миллионы клиентов каждый день, чтобы предложить им наиболее выгодные финансовые продукты или оценить платежеспособность потребителей. Стриминговые сервисы собирают информацию, чтобы понять, какие фильмы или аудиокниги больше всего понравились пользователям, и на основе этих данных построить персональную систему рекомендаций. Государственные структуры обрабатывают поток данных с видеокамер по всему городу, чтобы затем с помощью моделей машинного обучения проанализировать дорожно-транспортные происшествия (например, сколько было нарушителей и какие машины попали в аварию). Это позволяет IT-специалистам не отсматривать вручную многочасовые видеозаписи, а сразу получать готовый результат.

Но чтобы собирать и анализировать большие объемы данных, обычных компьютеров недостаточно, ведь у них есть ограничения по скорости обработки и количеству данных. Для этих задач необходимо использовать распределенные системы обработки данных. Они представляют собой комплекс вычислительных систем, каждая из которых выполняет отдельную задачу в рамках общей цели.

Для проектирования и управления распределенной сетью систем нужны специалисты с определенным набором навыков ― дата-инженеры, которые должны знать целый стек технологий (например, для хранения и эффективного доступа к данным, массивной обработки данных в пакетном или потоковом режиме, координации работы многочисленных серверов в кластере и так далее), обладать опытом в бэкенд-разработке, создании и поддержке баз данных.

В последние годы спрос на дата-инженеров растет ― например, в 2020 году он увеличился на 50% по сравнению с 2019 годом. Сейчас таких специалистов на рынке не хватает, отмечает доцент факультета программной инженерии и компьютерной техники ИТМО Алексей Платонов, который также разрабатывает системы информационного поиска в Huawei Russia. Еще одна проблема, которую видит эксперт, заключается в недостаточной подготовке студентов.

Чтобы решить эти проблемы и выстроить системный подход в подготовке дата-инженеров, в ИТМО запустили новую магистратуру «Проектирование и разработка систем больших данных». На программе студентам дадут фундаментальные основы работы с большими данными.

«Выпускники вузов не всегда представляют, как устроены системы больших данных. Когда они трудоустраиваются в IT-компании, им приходится многому учиться на месте. Конечно, они могут пройти онлайн-курсы, посвященные обработке больших данных. Но в большинстве случаев дополнительное обучение не предлагает системный подход к знаниям, а рассматривает отдельные аспекты и алгоритмы. Существующие программы в вузах не рассказывают про фундамент работы с большими данными в распределенных системах максимально глубоко и с разных точек зрения. Поэтому на нашей программе нам важно дать фундаментальные основы. Сначала студенты поймут, какие алгоритмы использовались в конкретной системе и почему именно они, а затем на практике применят их самостоятельно», — рассказывает Алексей Платонов, который стал руководителем новой программы.

Основные и дополнительные треки: как устроено обучение

Первый курс магистратуры посвящен устройству и принципам работы распределенных систем больших данных. Студенты узнают, как хранить, сжимать и индексировать данные, как координировать работу сотен компьютеров и как написать алгоритм для распределенной системы обработки данных. Также они познакомятся с современными инструментами для работы с системами данных — неструктурированными базами данных NoSQL, а также фреймворками (например, Apache Spark и Flink). А закрепят навыки на подсистемах, которые самостоятельно спроектируют на практических занятиях.

«Поскольку 80% сотрудников, разрабатывающих эту магистратуру, пришли из индустрии, мы знаем, какие задачи могут возникать на практике при разработке систем больших данных. Поэтому вся практика студентов нацелена на реализацию отдельных частей единой системы. Например, на одной дисциплине мы будем заниматься сжатием данных, на другой — индексацией, на третьей — распределенной обработкой. Таким образом, студенты увидят, как связаны между собой разные дисциплины, и узнают о разных аспектах работы с большими данными», — объясняет Алексей Платонов.

По задумке разработчиков программы, уже к концу первого курса студенты будут обладать всеми нужными для дата-инженера навыками и смогут разрабатывать, поддерживать и совершенствовать системы больших данных.

На втором курсе студентам продолжат один из двух треков на выбор:

• ML Engineer. Здесь студенты смогут получить навыки ML-инженеров, в частности узнают, как устроено машинное обучение, как разработать для него пайплайны и модели и эффективно внедрить их в системы больших данных (MLOps).
• Data Architect. На этом треке студенты смогут приобрести компетенции архитекторов систем обработки больших данных — они изучат паттерны проектирования системы больших данных с нуля, потоковую обработку данных и работу аналитических систем.

Где работать после выпуска

После окончания магистратуры в зависимости от выбранного трека выпускники могут претендовать на позиции дата-инженеров и бэкенд-разработчиков, а также архитекторов баз данных и инженеров по машинному обучению. Такие специалисты востребованы в различных компаниях ― например, в сфере телекоммуникаций, банковской и IT-сфере, а также логистике. Например, на сайте hh.ru сейчас опубликовано более 700 вакансий в Москве и порядка 150 — в Петербурге на позицию дата-инженера. Зарплата начинающих специалистов достигает 200 тысяч рублей, более опытных — 300 тысяч рублей, а архитекторов, у которых есть навыки управления командой, — 400 тысяч рублей. Трудоустроиться можно в «Сбер», «Тинькофф», «Райффайзен Банк», «Медси», «Авито», «Яндекс», «Tele2» и многие другие компании.

Кому подойдет магистратура

В первую очередь в магистратуру приглашают студентов, у которых есть опыт бэкенд-разработки и желание развиваться в области инженерии и архитектуры обработки данных. Также будет полезно знать алгоритмику, устройство и принцип работы серверных систем и организацию вычислений в кластерах.

Как поступить на программу

В магистратуре 25 бюджетных мест. Поступить на программу можно несколькими способами:

• Сдать вступительный экзамен.
• Собрать научные, учебные и профессиональные достижения и победить с ними в конкурсе портфолио ИТМО.
• Стать победителем или призером Мегаолимпиады ИТМО.
• Стать победителем или призером олимпиады «Я — профессионал».
• Стать победителем или призером в конкурсе докладов всероссийского конгресса молодых ученых.
• Перезачесть результаты итоговой государственной аттестации.