Об одном из основоположников машинного обучения в мире, родившемся в СССР

С 1962 по 1971 г. Владимир Наумович вместе с Алексеем Червоненкисом разрабатывал метод обобщенного портрета для распознавания образов. В 1968 г. они получили фундаментальный результат — условия равномерной сходимости частот к вероятностям по классу событий. В их честь названа характеристика семейства алгоритмов для решения задачи классификации с двумя классами, характеризующая сложность или ёмкость этого семейства (размерность Вапника — Червоненкиса или VC-размерность). В 1974 г. была опубликована книга: Вапник В.Н., Червоненкис А. Я. Теория распознавания образов. М.: Наука, 1974. А вот одна из первых их статей: Вапник В.Н., Червоненкис А.Я. Об одном классе алгоритмов обучения распознаванию образов // Автоматика и телемеханика. 1964. № 6, c. 937−945.

В 1971 г. Лернер совершил по тем временам невероятное преступление — подал заявление на отъезд из страны. Разрешение на выезд ему дали только через … 17 лет! (в разгар перестройки — в 1988 г.). После подачи указанного заявления в ИПУ началась паника, и чтобы подстраховаться решили уволить Вапника, как весьма близкого к Лернеру человека.

Выдающийся ученый Яков Залманович Цыпкин поручился за Вапника перед директором ИПУ Вадимом Александововичем Трапезниковым.

После этого конфликт был исчерпан. При этом Вапник и Червоненкис были переведены в лабораторию Александра Михайловича Петровского, который был человеком редкой порядочности. Он, в частности, позволил переведенным продолжить исследования по восстановлению зависимостей по эмпирическим данным.

Казалось бы, все было хорошо, но, когда Вапник написал докторскую диссертацию Высшая аттестационная комиссия пошла на редкий шаг — сменила ему одного из оппонентов. Это был плохой сигнал, и Трапезников предложил самому Вапнику выбрать — защищаться ему сейчас или нет, и тот снял диссертацию с защиты.

Владимир Наумович считает, что многое в его научной жизни прошло на волоске от катастрофы, однако ему сильно повезло и практически все задуманное у него получилось. Вапник смог опубликовать все научные результаты, что он получил. Люди его слушали, и это большое счастье. Он считает, что старики в ИПУ — Лернер, Цыпкин, Айзерман — были мужественными людьми.

После снятия диссертации с защиты Владимир Наумович начал писать книгу и писал ее, как он сам говорит, с остервенением, и написал хорошо. Она была опубликована на русском языке в 1979 г.: Вапник В. Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979, а через три года эта книга вышла и на английском: Vapnik.V. Estimation of Dependences Based on Empirical Data. NY: Springer, 1982.

Докторскую диссертацию на тему «Принцип структурной минимизации в задачах восстановления зависимостей по эмпирическим данным» Владимир Наумович, все-таки, защитил в 1984 г. или 1985 г. в ИПУ. Утвердил ли его ВАК я не знаю…

В результате им была создана статистическая теория восстановления зависимостей по эмпирическим данным, которая была названа методом опорных векторов. Название этого метода на английском: Support-Vector Machine или SVM. Метод используется в машинном обучении для анализа текста, изображений и других типов контента. При этом Вапник утверждает, что обучающимся машинам нужны не столько так называемые «большие данные», сколько умные способы их анализа. Это как в японской пословице: «Лучше один день провести с великим учителем, чем тысяча дней прилежного изучения».

За его создание Вапник награжден премией Канеллакиса (2008), премией IEEE «Пионеру нейронных сетей» (2010), премией IEEE Френка Розенблатта (2012), медалью Бенджамена Франклина (2012) — это одна из важнейших научных наград в мире, NEC C & C Prize (2013), премией Кампе де Фериэ (2014), медалью IEEE Джона фон Неймана (2017) и медалью Колмогорова (2018).

В 2004 г. IEEE установила награду имени Фрэнка Розенблата, которую присуждают за «выдающийся вклад в продвижение проектов, практику, методы или теорию, которые используют биологические и лингвистические вычислительные парадигмы, но не ограничиваются нейронными сетями, коннективистскими системами, эволюционными вычислениями, нечеткими системами, и гибридными интеллектуальными системами, в которых содержатся эти парадигмы».

Вот кто был награжден IEEE Frank Rozenblat Award: 2020: Xin Yao; 2019: Erkki Oja; 2018: Enrique H. Ruspini; 2017: Stephan Grossberg; 2016: Roald R. Yager; 2015: Marco Dorigo; 2014: Geoffrey E. Hinton; 2013: Terrence Sejnowski; 2012: Vladimir Vapnik; 2011: Hans-Paul Schwefel; 2010: Michio Sugeno; 2009: John J. Hopfield; 2008: Teuvo Kohonen; 2007: James C. Bezdek; 2006: Lawrence J. Fogel.

Одна из самых высоких наград в мире науки в целом — Benjamin Franklin Medal. В 2012 г. ее получили два человека, учившихся в одной школе: Vladimir Vapnik (Computer and Cognitive Science) и Rashid Sunyaev (Physics).

А вот, кто получал IEEE Neural Networks Pioneer Award: 2019: Yoshua Bengio; 2018: Lee Giles; 2016: Marios M. Polycarpou; 2016: Jürgen Schmidhuber; 2014: Yann LeCun; 2014: Jun Wang; 2013: Frank Lewis; 2011: Jose C. Principe; 2010: Vladimir Vapnik; 2009: John G. Taylor; 2008: Gail Carpenter; 2008: Kumpati S. Narendra; 2007: Michael Jordan; 2006: Erkki Oja; 2006: Donald Specht; 2005; Carver Mead; 2004: Andrew Barto; 2003: Kunihiko Fukushima; 2002: Terrence J. Sejnowski; 2001: James McClelland; 2001: David E. Rumelhart; 2000: Leon Chua; 1999: Robert Hecht-Nielsen; 1998: Geoffrey E. Hinton; 1997: John J. Hopfield; 1995: Michael A. Arbib; 1995: Nils J. Nilsson; 1995: Paul J. Werbos; 1994: Christoph von der Malsburg; 1993: Thomas M. Cover; 1992: Shun-Ichi Amari; 1992: David Willshaw; 1992: Walter Freeman; 1991: Stephen Grossberg; 1991: Teuvo Kohonen; 1991: Bernard Widrow.

Теперь о IEEE John von Neumann Medal. Вот некоторые из тех, кто ее получил: 1995: Д. Кнут; 2003: А. Ахо; 2004: Д. Хопкрофт (почетный доктор Университета ИТМО) и Д. Ульман; 2011: Ч. Хоар (почетный доктор Университета ИТМО); 2015: Д. Гослинг; 2017: В. Вапник (За разработку статистической теории обучения, теоретические основы машинного обучения и метод опорных векторов).

Вапник сегодня один из признанных в мире лидеров машинного обучения. Его труды, опубликованные с 1995 г. по 2011 г., приведены здесь. Показатели цитируемости: Citations — 257 520, h-index — 92.

Основные монографии: Vapnik V.N. The Nature of Statistical Learning Theory. Springer, 1995, 2000 и Vapnik V.N. Statistical Learning Theory. NY: John Wiley, 1998.

В 2019 г. Владимир Наумович опубликовал большую статью на русском языке, посвященную памяти, как он пишет, «выдающегося ученого и замечательного человека Я.З. Цыпкина»: Вапник В.Н. Полная теория обучения // Автоматика и телемеханика. 2019. № 11, с. 24−58. Естественно, имеется и ее англоязычная версия.

С 1990 г. В. Н. Вапник работает за рубежом, причем с 1990 по 2002 гг. в знаменитой AT&T Bell Laboratories. Сейчас Владимир Наумович — профессор Центра вычислительных систем обучения Колумбийского университета и и Fellow of NEC Labs America. Он почетный сотрудник ИПУ.

В заключение отмечу, что Алексей Яковлевич Червоненкис был ведущим научным сотрудником ИПУ, профессором МФТИ и колледжа Royal Holloway Лондонского университета, а также преподавателем Школы анализа данных «Яндекса». Он умер от переохлаждения в лесу. Journal of Machine Learning Research выпустил специальный номер, посвященный его памяти.

16.11.2021 г. суперкомпьютер Chervonenkis работающий в «Яндексе», занял с производительностью 21.53 петафлопс 19 место в мире. Это самый мощный компьютер в России.