Это был не последний случай, когда Шисслер обнаружил кафкианскую бюрократию в реакции компании на ситуацию в Мьянме. Через несколько месяцев после беспорядков и отключения интернета он узнал возможную причину такого медленного чтения сообщений и реагирования платформы на проблемы на местах. Один из членов PR-команды Facebook попросил совета у группы, когда журналист спросил его, как Facebook справляется с модерацией контента в такой стране, как Мьянма, где говорят более чем на ста языках. Многие в группе задавали тот же вопрос, но так и не получили ответа ни о количестве модераторов, ни о том, на скольких языках они говорят.
Что бы ни предполагали Шисслер и другие, все они были ошеломлены, когда сотрудник Facebook набрал в чате: «В отделе по работе с сообществом есть один представитель, говорящий по-бирмански», и назвал имя руководителя группы.
Этот руководитель присоединился к разговору, подтвердив: «У нас есть один подрядчик в дублинском офисе, который занимается бирманским сообществом».
Все начинало проясняться. Был только один модератор, которому было поручено следить за потоком контента, создаваемого в Мьянме, и этот человек говорил только по-бирмански. Многочисленные жалобы на преследования и разжигание ненависти оставались без ответа, потому что компания едва ли обращала на них внимание. Объем информации, который генерировался в Мьянме, был огромным, но Facebook не расширяла штат сотрудников, чтобы поспевать за ним.
«В Мьянме говорят, наверное, на ста языках, а диалектов еще больше, но Facebook решила, что достаточно бирманского, – сказал один активист из Мьянмы, который видел, как сообщение появилось в группе Facebook. – Это все равно что сказать: “Ну, у нас есть один носитель немецкого языка, поэтому мы можем контролировать всю Европу”».
После июльских беспорядков PR-команда Facebook выступила с официальным заявлением, дав обещание работать еще усерднее в целях защиты безопасности пользователей в Мьянме. В своей группе в Facebook сотрудники компании попросили Шисслера и других активистов помочь перевести их раздел «Общественнные стандарты» на бирманский язык. Бирманская неправительственная организация Phandeeyar сотрудничала с Facebook по вопросам перевода. Она также инициировала общественную кампанию по цифровым «пакетам информационных стикеров». Пользователи могли легко добавлять такие стикеры к постам, чтобы предотвратить распространение вредных высказываний. На стикерах были изображены мультяшные фигурки юной девушки, бабушки или плачущего ребенка с носом-пуговкой и румяными щечками. Они содержали сообщения «Думай, прежде чем поделиться» и «Не будь причиной насилия». Стикеры, по словам Facebook, помогали модераторам выявлять вредные посты и быстрее их удалять.
Но Шисслер и другие вскоре поняли, что стикеры повлекли за собой непредусмотренные последствия: алгоритмы Facebook учитывали их как еще один знак, что людям нравился пост. Вместо того чтобы уменьшить количество людей, увидевших материал, разжигающий ненависть, стикеры давали обратный эффект: они делали посты более популярными.
Шисслер был все более раздосадован отсутствием реакции со стороны компании и сократил свое участие в деятельности онлайн-группы. Однако он предпринял последнюю попытку достучаться до Facebook. В марте 2015 года он совместил личную поездку в Калифорнию с посещением Менло-Парка. В небольшом конференц-зале, где собралось около дюжины сотрудников Facebook, а остальные присоединились по видеосвязи, он представил презентацию в PowerPoint, которая документально подтверждала серьезность происходящего в Мьянме: риторика ненависти в Facebook вызвала реальное насилие в стране, и это привело к гибели людей.
Позже он встретился с небольшой группой сотрудников, которые были заинтересованы в продолжении дискуссии. Ближе к концу встречи одна из сотрудниц Facebook обратилась к нему с вопросом. Нахмурив брови, она попросила Шисслера предсказать, что произойдет в Мьянме в ближайшие месяцы или годы. «Возможно ли, – спросила она, – что люди преувеличивают масштабы насилия?» Она слышала, что уже произносится слово
«В этом нет никаких сомнений, – ответил он. – Если Мьянма продолжит идти по своему нынешнему пути и антимусульманская риторика ненависти не прекратится, то геноцид вполне возможен». Никто не стал задавать дальнейших вопросов. После ухода Шисслера два сотрудника Facebook задержались в коридоре за дверью конференц-зала. «Он не может говорить это всерьез, – громко сказал один из них. – Это просто невозможно».
Корень проблемы дезинформации, конечно, лежал в технологиях. Facebook была создана для того, чтобы подливать масла в огонь любого высказывания, вызывающего эмоции, даже если это была риторика ненависти: алгоритмы отдавали приоритет сенсационности. Пользователь нажимал на ссылку из соображений любопытства, ужаса или заинтересованности – это было неважно; система видела, что сообщение часто читают, и продвигала его по страницам пользователей в Facebook. Ситуация в Мьянме стала смертельно опасным экспериментом того, что может произойти, когда интернет приходит в страну, где социальная сеть становится основным и пользующимся доверием источником новостей.
Facebook была прекрасно осведомлена о способности своей платформы манипулировать эмоциями людей, о чем весь мир узнал в начале июня 2014 года, когда стало известно о тайно проведенном компанией эксперименте. Эксперимент обнажил как возможности Facebook по проникновению в психику своих пользователей, так и его готовность проверять границы своих возможностей без ведома пользователей.
«Эмоциональные состояния могут передаваться другим людям посредством эмоционального заражения, что приводит к тому, что люди неосознанно испытывают те же эмоции», – пишут исследователи Facebook, изучающие данные, в научной статье, опубликованной в журнале Proceedings of the National Academy of Sciences. Они описали, как в течение одной недели в 2012 году они подменили то, что видели почти 700 000 пользователей Facebook при входе на платформу.
В ходе эксперимента одной группе пользователей Facebook показывали контент, который был по большей части радостным, а другой – грустным. Предметом радостного поста могло быть рождение детеныша панды в зоопарке. Грустный пост мог содержать гневную статью об иммиграции. Результаты впечатляли. Просмотр негативных постов побуждал пользователей выплескивать негатив в собственных публикациях. А чем больше позитивного контента видел пользователь, тем больше была вероятность того, что он будет распространять жизнерадостный контент.
По мнению авторов исследования, это означало, что Facebook продемонстрировал возможность эмоционального заражения без «прямого взаимодействия между людьми» (поскольку невольные подопытные видели только Ленту новостей друг друга). Это было сенсационное открытие.
Как только репортеры, пишущие о технологиях и науке, обнаружили эту работу, ее попадание в заголовки основных СМИ стало лишь вопросом времени. «Facebook обращается с вами как с лабораторной крысой», – гласила одна из статей CNN146. Эксперимент с настроением подтвердил утверждения критиков о способности компании влиять на идеи и вызывать возмущение: Facebook действовала за занавесом, как Волшебник страны Оз. Когда пресса и группы потребителей потребовали от компании объяснений, Сэндберг вместо этого выступила с заявлением, в котором извинилась за неудачный пиар Facebook. «Это было частью текущих исследований, которые компании проводят для тестирования различных продуктов, ничего более. Информация по этому вопросу была плохо организована. И за это мы приносим свои извинения. Мы не хотели вас расстраивать».
Но инженеры Facebook, которые не знали об эксперименте до публикации работы, признали, что она выявила нечто более гнусное в способности Ленты новостей влиять на людей. С годами алгоритмы платформы становились все более изощренными в определении наиболее привлекательных материалов для конкретных пользователей и отдавали им приоритет, помещая в верхнюю часть Ленты. Лента новостей работала как тонко настроенный циферблат, чувствительный к тому, что пользователь чуть дольше задержался на фотографии или потратил больше времени на чтение какой-нибудь статьи. Установив, что пользователь с большей вероятностью будет просматривать определенный тип контента, она выдавала ему как можно больше похожих материалов.
Инженеры видели, что назревает проблема, и неоднократно пытались поднять тревогу среди руководителей. В серии сообщений на Workplace они жаловались на сайты-приманки, которые регулярно выталкивались в топ Ленты, и спрашивали, не нужно ли пересмотреть алгоритм. Один из инженеров разместил ряд примеров ложных или сальных историй, которые становились популярными: некоторые из них, например, утверждали, что у президента Барака Обамы родился внебрачный ребенок или что заговор мировой элиты хранит волшебную сыворотку для вечной молодости. «Неужели это действительно первое, что люди должны видеть в своих Лентах?» – спросил он.
Осенью несколько сотрудников встретились с Коксом и попросили его донести их опасения до Цукерберга. Они настоятельно просили его объяснить генеральному директору, что в алгоритме что-то фундаментально нарушено. «Крис сказал нам, что понимает и тоже видит проблему, – вспоминает один из сотрудников. – Мы сравнили то, что подавалось в Ленте новостей, с нездоровой пищей. Это был напичканный сахаром фастфуд, и мы знали, что продолжать его продвигать – нездоровая идея для всех».
И все же Кокс стоял перед дилеммой. Пользователи Facebook проводили на платформе больше времени, чем когда-либо прежде, и это означало, что системы работают. Сладкий фастфуд вызывал привыкание, и все это знали. Кокс думал о долгосрочных преимуществах такой Ленты новостей.