Лекция прошла в рамках серии Scicomm Cocoa Talk от Центра научной коммуникации ИТМО. Мы записали главные тезисы.
Дональд Кэмпбелл — влиятельный американский психолог, социолог и методолог — на протяжении своей научной карьеры много занимался вопросами оценки деятельности социальных институтов. Еще в 1974 году в своей ключевой статье «Assessing the impact of planned social change» он сформулировал принцип, который теперь называется «Законом Кэмпбелла» и повсеместно используется в политике и экономике.
Во время своих наблюдений за функционированием социальных и бюрократических институтов (в их числе ― система образования, армия, полиция и так далее) Кэмпбелл заметил, что введение любых критериев, индикаторов, по которым оценивается работа того или иного института, неизбежно приводит к искажению — как самих индикаторов, так и тех процессов, которые он оценивает.
Несмотря на то, что прошло уже более сорока лет, а методы управления по большей части оцифровались и алгоритмизировались, законы Кэмпбелла продолжают работать, несмотря на все попытки их преодолеть.
«Шоттермизм» и работа на показатели
Эффективно управлять группой людей или целыми социальными институтами, не прибегая к выделению каких-то критериев, индикаторов, оценок эффективности, — невозможно. Об этом знает любой менеджер и любой чиновник. Но проблема состоит в том, что как только вводится конкретный показатель, который не только оценивает эффективность работы отдельного работника или целой организации, но и — важно подчеркнуть — на основании которого людей награждают или наказывают, в тот же момент искажениям начинает подвергаться и сам этот индикатор, и оцениваемый им социальный процесс.
В качестве примера Дональд Кэмпбелл приводит школу. Чиновники министерства образования хотят понять, насколько хорошо устроен процесс образования в конкретной школе и как его улучшить. Для этого они опираются на некоторые индикаторы, например, средние оценки на экзаменах, количество золотых медалистов и так далее. И на основании этих показателей будет зависеть, наградят ли школу или наоборот накажут — фактически, от них зависит жизнь учителей и административного состава школы.
При таких условиях высок вариант действия, когда учителя будут стремиться поднять этот индикатор, но не путем повышения уровня преподавания, а искусственно, например, «натаскивая» учеников решать определенный вид тестов.
Другим примером может служить «палочная» система в полиции, когда от сотрудников ожидается определенное количество раскрытых преступлений. Это приводит к тому, что полицейские избегают открывать расследование сложных преступлений и сосредоточиваются лишь на мелких правонарушениях, по которым гораздо проще составить отчет.
Современные исследователи дополнили принципы Кэмпбелла и вывели три стратегии искажения социальных процессов: банальный обман и подделка индикаторов, сосредоточение усилий лишь на формальной отработке показателей и фокусирование внимания лишь на той работе, которая напрямую связана с индикаторами в ущерб всему остальному. Грозит же это все, во-первых, «шоттермизмом», когда глобальные цели развития подменяются на краткосрочные и легко достижимые, а во-вторых, упрощением, при котором исчезает сама системность процессов.
Человеческий фактор и алгоритмическое управление
Казалось бы, такие искажения происходят только из-за человеческого фактора — желания людей получить награду и избежать наказания как можно более простыми способами.
Изначально задумывалось, что переход к цифровым методам управления — на основе статистики, больших данных, алгоритмов — станет более объективным, эффективным и качественным. Но почему-то этого не произошло.
Классический пример — цифровизация полиции. У американской полиции есть давние и широко известные проблемы: коррупция и высокий уровень дискриминации по отношению к людям отдельных рас и проживающим в бедных районах. Предполагалось, что введение цифровых технологий позволит нивелировать эти проблемы, а также поможет более эффективно предотвращать преступления.
Американский социолог Сара Брэйн провела масштабное двухгодичное исследование работы полиции Лос-Анджелеса — она ездила с ними в патрули, на вызовы, наблюдала за работой детективов и по итогу написала работу «Big data surveillance The case of Policing». В ней она поднимает вопрос, повлияли ли внедренные в полицейскую работу технологии: системы Operation LASER и Palantir.
Первая представляет собой базу данных и одновременно рейтинг: каждому району города и каждому человеку присваиваются баллы. Максимальные пять баллов присваиваются членам вооруженных банд, но также и рецидивистам, которые могли совершить совсем мелкие проступки, но несколько раз.
Проблема в том, что балл начисляли за каждую остановку человека на улице — даже без причины. Полицейские могли остановить кого угодно, по своему усмотрению — например, из-за подозрительного вида. И сам факт заполнения контактной карточки при задержании уже влиял на статус человека в общей базе. Причем, чем больше был у человека балл, тем чаще его задерживали — получился замкнутый круг. При высоком уровне рейтинга в базе за человеком вообще могла быть установлена слежка, несмотря на то, что никаких серьезных преступлений он не совершал (или не совершал вообще никаких).
Примерно то же самое произошло с системой Palantir. Это программное обеспечение, основанное на Data Mining. Оно помогает выстраивать вокруг человека — например, опасного преступника — все его связи с людьми и объектами: принадлежащей ему недвижимостью, местами, в которых он чаще всего бывает, автомобилями и транспортом, которыми он пользуется, людьми, с которыми он общается по телефону.
Получилось, что люди, которые сами никакого преступления не совершали, попадают в систему слежки по решению алгоритма. А поскольку друзья и партнеры преступников из базы данных часто относятся к той же расе или тому же кварталу проживания, то, соответственно, дискриминация по отношению к определенной расовой группе или людям, проживающим в определенном районе, увеличивается.
Алгоритмы в платформенной экономике: как водители научились обманывать алгоритмы Uber
Законы Кэмпбелла, конечно, работают не только в бюджетных учреждениях, но и в коммерческих компаниях, и они создают там схожие проблемы.
Ближе всего к решению проблемы приблизились представители платформенных экономик: приложения такси, сервисы доставки еды, агрегаторы гостиничных предложений вроде Booking и Airbnb. Менеджмент в таких приложениях осуществляется исключительно на основе алгоритмов — немногочисленный управляющий персонал выполняет лишь функция поддержки. Решение это, скорее, вынужденное: вряд ли можно было осуществить управление миллионами удаленных сотрудников из одного головного офиса.
Алгоритмическое управление должно было стать более умным, объективным и эффективным методом управления — за счет исключения человеческого фактора, — но, опять же, не стало. Пользователи быстро раскусили правила, по которым работают алгоритмы, и научились их обходить.
В пример можно привести Uber. Изначально предполагалось, что, чем больше работает человек, тем больше он поощряется. Таксисты же научились обманывать алгоритм: они оставляли режим «водителя» включенным, парковались среди других таксистов Uber и предоставляли им забирать все заказы, а сами в этом время отдыхали. Так же они научились избегать нежелательных для себя пассажиров: отключали режим в опасных или удаленных от центра районах, избегали улиц с большим количеством баров и предпочитали улицы с большим количеством фешенебельных ресторанов и гостиниц.
Причиной такого поведения исследователи явления называют недостаточную проработанность алгоритмов, их оторванность от реалий. Алгоритм не видит разницы между пассажирами, не видит разницу между районами, не понимает нюансы и различия, с которыми сталкивается водитель. Поэтому пользователям приходится как-то подстраивать эти правила под себя или вовсе их обходить.
Некоторые компании пытаются обойти человеческий фактор за счет введения туманных, нечетких и, главное, многочисленных показателей, которые пользователи просто не смогут разгадать. Так, например, поступили в Airbnb: собственники жилья просто не знают, по каким критериям их предложения оказываются выше или ниже в списке выдачи. Поэтому они стараются сделать свои услуги как можно более привлекательными: делают хорошие фото, устанавливают честные цены, отвечают всем клиентам, стараются сделать их размещение как можно более комфортным, чтобы заслужить хорошие отзывы.
Однако исследование, проведенное самими экспертами компании, показало, что у пользователей сайта возникает повышенный уровень тревожности — как раз из-за того, что они не понимают, как работает алгоритм и что именно он оценивает. Что приводит к тому, что люди становятся более озабоченными разгадкой алгоритма, чем повышением качества услуг. Решение проблемы порождает новые.
Почему закон Кэмпбелла сложно преодолеть
Дональд Кэмпбелл предложил несколько стратегий обхода выявленного им эффекта. Но большинство из них трудно выполнимы. Так, например, он предложил не связывать напрямую выполнение показателей и систему вознаграждения — но чаще всего люди в таком случае теряют мотивацию делать что-то лучше, чем оно уже есть. Также он предложил использовать множество разных индикаторов, делать их как можно менее четкими — однако, пример Airbnb показывает, что иногда это приводит лишь к новым проблемам.
Современные исследователи считают, что есть лишь два пути, которые помогут минимизировать эффект Кэмпбелла: постоянно изучать и наблюдать не только функционирование алгоритмов, но и взаимодействие пользователей с ними (этим занимаются направления Science and Technology Studies, Human-Computer Interaction и User Experience), а также делать эти алгоритмы более адаптированными к неопределенностям окружающего мира и особенностям человеческого поведения.
