Опубликовано в журнале Отечественные записки, номер 2, 2013
«Большие данные» (Big Data) обычно определяются как совокупность методов и концепций сбора, хранения и анализа различных количественных данных, отличающихся чрезвычайно большим объемом, значительной скоростью изменения и многообразием, позволяющих связывать друг с другом самые разные явления.
Большие данные и военные игры
На первый взгляд «большие данные» выглядят всего лишь расширением классической статистики за счет современных вычислительных методов, однако сегодня они все больше претендуют на оформление обширного тематического поля, общественных настроений и научных практик. Так, Крис Андерсон, редактор журнала Wired, своеобразного рупора техно-капиталистической идеологии Силиконовой долины, представил одну из наиболее радикальных версий концепции «больших данных», предположив, что они позволят вообще отказаться от теорий[1]: теории (и модели) были лишь способом обобщения разных данных в условиях дефицита вычислительных возможностей, и теперь они не нужны. Службы безопасности, в частности Агентство национальной безопасности США, полностью перешли на методы «больших данных» — за счет возможности фиксировать и фильтровать весь цифровой трафик[2]. Своеобразным официальным признанием «философии больших данных» стала недавняя колонка известнейшего консервативного комментатора Дэвида Брукса[3], заявившего, что «большие данные» будут в центре общественного внимания и политических споров в ближайшее время.
Вопрос, однако, в том, что определяет действенность «больших данных», в какой аппарат производства и циркуляции знания они встроены, что конкретно отличает их от «статистики» как главной «государственной» науки. Далее я постараюсь, отправляясь от проблемы «экспертного» знания, проследить логику функционирования «больших данных» как элемента особого научного и одновременно стратегического аппарата анализа и вычислений — «военных игр», первоначально выступавших лишь инструментом моделирования конкретных боевых операций, но значительно видоизменившихся в XX веке. «Военные игры», таким образом, понимаются здесь в широком смысле — не только как конкретные механизмы моделирования битв при помощи географических карт и разнообразных правил ведения боя, но и как весь комплекс производства знания, который был подверстан под военные игры, определяя способы постановки «политических» вопросов, модальности решений, «политическую» рациональность в общем виде
(например, теорию «рационального выбора»), как и общий горизонт вопросов о безопасности[4]. Иными словами, «военные игры» — способ стыковки разных форм знания, процессов принятия решений и прогнозирования, который задается некоторыми общими принципами, целями и стилистическими моментами, позволяющими отличить знание от не-знания.
История военных игр достаточно хорошо описана[5], и здесь стоит выделить лишь некоторые моменты. Военные игры XIX века, разрабатываемые прежде всего в прусском генштабе, выступают в качестве модернизационного проекта: наверстать отставание в военной сфере (выявленное в период наполеоновских войн) можно только за счет принципиально нового «исчисления» военных действий и армий, которые становятся реконструируемыми агрегатами, своеобразными конструкторами, в которых свойства всех элементов заранее определены и в принципе равны свойствам аналогичных элементов вражеских армий. «Законы войны» — это способы вывода из данных элементов результирующей конфигурации, победы или поражения. Однако «законы войны» требуют исключения, ограничения «шума», любых неопределенных обстоятельств, особенно связанных с коммуникацией между различными частями армии. То есть военные игры исходно строятся на изоляции военной модели, которая должна включать в себя все релевантные данные (начиная с географических и заканчивая сведениями о компетенциях командующих), отбрасывая обычную для войны «неопределенность военной обстановки» (или fog of war) в качестве незначимой детали. Возможности освоения самой «неопределенности» как продуктивного элемента войны неоднократно подчеркивались в военных действиях (например, в операции Паттона в Нормандии, значительно разошедшейся со сценариями, отработанными в военных играх), однако любые попытки «вписать» неопределенность и случайность оставались формальными (например, в XIX веке для этих целей использовался жребий). По сути все военные игры (в том числе и компьютерные) сталкивались с проблемой невозможности обработки «данных» без их предварительного разбиения на «релевантные» и «нерелевантные».
Эволюция военных игр в «жоминианском»[6] (максимально закрытом и аксиоматизированном) направлении означала масштабное развитие научных направлений, находящихся на полпути между чисто академическим знанием и прикладным. «Исследования операций» (Operations Research или Operations Analysis), сформировавшиеся во Вторую мировую войну[7], являлись по сути инженерно-техническим направлением, объединяющим различные формы инженерных, военных и логистических знаний, применявшихся для стандартизации, анализа и рационализации военных операций (впоследствии также и гражданских, поскольку «исследования операций» выступили в качестве одного из источников новой науки менеджмента). Они задали модальность вопросов, ответ на которые можно считать «знанием», сформировав границы особой стилистики. К примеру, специалистов могли спросить: «Какой мощности должен быть заряд бомбы в тротиловом эквиваленте, чтобы нанести определенное поражение целям определенного типа? В каких именно формированиях должны летать бомбардировщики?.. Сколько именно противовоздушных орудий следует расположить вокруг критической цели?»[8].
В рамках выделенных институтов — прежде всего корпорации RAND — такие формы знания развиваются, позволяя расширять границы допустимых вопросов, но при этом сохраняя их «родовые черты». «Системный анализ» требует более сложного математического моделирования, но при этом поддерживает ту же модальность, ту же сертификацию знания как знания: «Какой вариант действий будет наилучшим при данном техническом обеспечении с соответствующими характеристиками?»[9]. Интересно то, что этот «стиль» не ограничивается конкретными организациями (RAND, разведывательные службы, Пентагон и т. д.). Такая стилистика, обоснованная первоначально военными задачами, а затем закрепленная благодаря абстрактным научным теориям (прежде всего теории игр), претендует на оформление границ осмысленных вопросов, формулируемых как в реальных исследованиях, связанных с моделированием различных угроз безопасности, так и в более произвольных текстах (художественных[10], учебных, медийных и т. д.). Для них характерно моделирование той или иной ситуации в будущем из «исчислимых» элементов (будущее носит, разумеется, формальный характер): как именно взорвется бомба, какая длина патруля позволит сохранить корабли и т. д.
Формирование теории игр как основного аппарата послевоенного дискурса безопасности, исторически фиксируемое в союзе таких теоретиков, как Джон фон Нейман, и первых think 1апк’ов (корпорации RAND), стало отправной точкой для развития современных «военных игр» как механизма, объединяющего различные формы моделирования и симуляций, основанных на возможности аккумулирования большого числа параметров, сводящихся в «платежные матрицы» игр. Ключевым моментом является для нас в данном случае необходимость дополнения чисто компьютерных симуляций (строившихся поначалу по модели «дилеммы заключенного») экспертными системами, то есть компьютеризированными базами данных и устройствами логического вывода, замещающими реальных «экспертов» по политике и безопасности. Примитивные компьютерные модели, изображающие действия «синих» и «красных» противников, то есть американцев и русских, демонстрировали «рациональность» перехода к упреждающему обмену ядерными ударами, однако такая рациональность была не более чем следствием изоляции военных игр от реальных политических решений, того политического контекста, в котором только и могут формироваться релевантные оценки ближайшего и отдаленного будущего[11]. Поэтому понадобилось снабдить эти автоматы симулированными экспертными знаниями и навыками.
Попытки «погрузить» экспертные навыки и знания в саму военную игру в целом провалились, но, как выяснится, не только по общим теоретическим или техническим причинам. Важно, что само экспертное знание в этой логике помечает еще один предел военных игр, еще один тип неопределенности наряду с исходно исключавшейся неопределенностью военного дела (страха, потери коммуникаций, неясности боевой обстановки). «Экспертная граница» — это именно неопределенность в форме самой политики, которая была исключена, когда «жоминианские» игры вытеснили логику Клаузевица (предполагающую подвязывание стратегической машины под дипломатические и политические решения).
Итак, «военные игры» исходно отягощены принципиальным избытком возможных данных, шумом, который может порождаться при любом их применении и который, однако, не мог учитываться именно потому, что сами игры строились скорее по дедуктивному принципу исходя из довольно жестких правил. Неопределенность (она отображается как принципиальная неограниченность данных, которые должны учитываться в военном исчислении) условно разбивается на два типа: та неопределенность, которая может быть встроена в сам дизайн игры и которая проявляется, к примеру, как устойчивый сбой в военной операции (что требует, однако, такого пополнения условий игры, которое в пределе делает ее нереализуемой), и та, что помечает саму границу военной игры — в частности, «экспертное знание», репрезентирующее собственно политику. Логику «больших данных» можно представить как попытку справиться с этими неопределенностями, воспользовавшись принципиально новыми возможностями, открывшимися в силу развития информационных технологий и таких научных направлений, как поведенческая психология. При этом новые решения позволят сохранить и развить «дискурсивный стиль» вопросов и ответов, ограничивающий «знание» квантифицируемыми будущими событиями.
Эксперты: ежи и лисы
«Экспертное знание» представляет собой неопределенность не только в том смысле, что оно оставалось внешним для моделирования в рамках военных игр, но и в силу своей внутренней противоречивости и ненадежности. Вскрытию этого факта и его осмыслению было посвящено несколько работ, из которых самым масштабным можно считать проект Филипа Тетлока, итоги которого сформулированы в книге «Экспертное политическое суждение. Насколько оно хорошо? Откуда нам знать?»[12].
Тетлок, профессор психологии Пенсильванского университета, начал свой проект по оценке политических суждений экспертов (из различных областей государственного управления и политики) в 1984 году, а закончил в 2004-м. Исследование, проходившее при поддержке как академических, так и силовых институций, отправляется от ряда «скептических» посылок, которые ставят под вопрос саму возможность экспертного политического суждения, то есть неслучайной и проверяемой оценки развития событий.
Политическое суждение — это в данном случае обоснованный прогноз какого-либо развития событий в ближайшем или отдаленном будущем (например: как именно ответит СССР на рейгановскую политику — ожесточением курса или смягчением; распадется ли Канада вследствие отделения Квебека; удастся ли завершить эпоху апартеида в Южной Африке, мирно передав власть представителям черного большинства, и т. д.). Скептики выдвигают ряд причин, по которым выполнение политического прогноза, то есть его совпадение с реальностью, всегда является попросту случайным событием. То есть прислушиваться к экспертам — все равно что довериться выбору шимпанзе (в соответствии с известным тезисом американского экономиста Бертона Мэлкиела «обезьяна с завязанными глазами, бросающая дротики для дартса в газетную страницу с финансовой информацией, способна выбрать портфель, результаты которого будут ничуть не хуже, чем у портфеля, тщательно подобранного экспертами».). К числу этих причин относятся: принципиальная непознаваемость и случайность мира, медийные эффекты, подкрепляющие «сверхуверенных» экспертов (и отбирающие их в обратном отношении к качеству их суждений), неспособность экспертов освоить элементарные правила вероятностного вывода и работы со статистическими данными, различные психологические предвзятости и склонности (biases).
Методология Тетлока — преобразование гипотез скептиков в ту форму, которая позволяет количественно проверить их экспериментальным путем. Так, он формулирует гипотезы, согласно которым эксперты не превосходят «обезьян с дротиками», всегда демонстрируют «уменьшение предельной полезности» собственных суждений (чем больше прирост «уровня эксперта», тем меньше прирост полезности соответствующего суждения), не способны к стабильно успешным результатам (гипотеза «пяти минут славы»), руководствуются принципами престижа и т. д. Эта методология и проведенные эксперименты позволили ответить на вызов скептика и одновременно поставить ряд интересных вопросов относительно функционирования «экспертного суждения».
В экспериментах приняли участие 284 эксперта, которые высказали несколько тысяч суждений, каждое из которых являлось ответом на специфический вопрос из той или иной предметной области, соответствующей данному эксперту. Вопросы были поделены на несколько категорий (например «внешняя политика / внутренняя политика»), а ответы давались в форме оценки вероятности сохранения status quo, развития в худшую сторону и развития в лучшую сторону. Типичные вопросы предполагали оценку роста ВВП в Аргентине, риск ядерной войны в Индостане, скорость «демократизации» и приватизации» в странах бывшего советского блока и т. п. Вероятности тем или иным событиям приписывались в соответствии со шкалой от «невозможно» до «наверняка» (шкала позволяет переводить вербальные оценки вероятности в количественные). Ключевая мера оценки точности предсказаний — показатель вероятности (probability score) — определяется как среднее расхождение между априорными вероятностями, приписываемыми экспертами возможным будущим, и апостериорными вероятностями, оцениваемыми за счет агрегации данных по реально случившимся событиям. Однако такая мера (отображающая, насколько хорошо «эксперт» угадывает события) слишком проста, поэтому она разбивается на два показателя — калибрования и дискриминации. Первый показывает то, в какой мере субъективные вероятности совпадают с объективными, то есть насколько верно эксперт оценивает общую вероятность определенных событий или тенденций. А второй — то, насколько хорошо он умеет предсказывать конкретные события, а не просто картину распределения вероятности. Между калиброванием и дискриминацией существует отношение «компромисса»: эксперту не обходимо часто жертвовать одним (особенно калиброванием, для которого достаточно придерживаться известных средних значений) ради другого, то есть дискриминации, требующей точного предсказания событий.
Результаты проекта, в котором проводились также и оценки суждений «дилетантов» (то есть образованных людей, не являющихся экспертами по вопросам, по которым они высказывались), оказались «умеренно скептическими». Например, для экспертов, высказывавшихся по краткосрочным «стабильным» вопросам (то есть за пределами ситуаций турбулентности) в области национальной безопасности, показатель дискриминации не превышал значений, соответствующих 18,6 % (то есть столько реальных результатов эксперты предсказали «наверняка»). Общий график[13] позволяет сопоставить успешность экспертов и дилетантов с успехами шимпанзе, а также нескольких экстраполяционных алгоритмов. Хотя общий показатель человека больше, чем у гипотетического шимпанзе (то есть случайного предсказания), по показателю калибрования эксперты проигрывают и «обезьяне», и даже простым алгоритмам (которые предсказывают на основании простой среднестатистической оценки). По «дискриминации» люди выигрывают (но не радикально) у обезьян и простых автоматов (то есть они точнее попадают «в яблочко»), но проигрывают сложным экстраполяционным алгоритмам (некоторые из них предсказывали до 47 % исходов).
Таким образом основная «скептическая» гипотеза о том, что суждения экспертов не надежнее выбора гипотетической обезьяны, получает «слабое опровержение», тогда как некоторые другие гипотезы подтверждаются. Например, отдача от «экспертизы» быстро падает, когда мы переходим от студентов к «дилетантам» и собственно экспертам все более высокого уровня. Хотя эксперты превосходят первокурсников университета, нет существенных отличий между экспертами и дилетантами. Читатели «элитной прессы» (изданий вроде The Economist, Wall Street Journal и т. п.) в большинстве случаев равны экспертам, большинство из которых потратили десятилетия на изучение своей профессиональной сферы. Гипотеза «пяти минут славы» не подтверждается — эксперты достаточно устойчивы в качестве своих предсказаний. С другой стороны, подтверждается то, что с ростом известности и репутации эксперта растет — непропорционально быстро — уверенность в выдвигаемом прогнозе: эксперты обычно имеют гораздо больше возможностей подкрепить свои суждения, ценность которых, однако, не оправдывает столь массивных затрат.
Однако интересны не столько количественные результаты экспериментов Тетлока (и итоговая достаточно «бледная» картина экспертизы в целом), сколько предпринимаемый им анализ самой машинерии политического суждения, позволяющий встать на путь «скептического мелиоризма», то есть выработки методов улучшения суждений. Первым делом были проверены различные гипотезы относительно того, кто именно делает более качественные предсказания. Как выяснилось, нет корреляции между точностью экспертов и их политическими ориентациями, образованием, доступом к закрытой информации, контактом с медиа, ориентацией на определенные научные теории (например, реализм и институционализм в теории международных отношений и т. д.). Единственная корреляция обнаруживается в области «когнитивного стиля», то есть того, «как эксперты думают». Тетлок использует известную метафору Исайи Берлина[14] (идущую от Архилоха) и называет одних экспертов «ежами», а других — «лисами». Первые знают «одну большую вещь», а вторые — «много мелких вещей». Первые стремятся к целостной картине мира и общим схемам, нетерпимы к эмпирическим противоречиям, вторые — признают когнитивную «сложность» и невозможность замыкания картины мира, любят связывать различные куски знаний и информации из разных областей, «играть» с контрафактуальными предположениями и т. д. С одной стороны, ежи и лисы определяются как крайние точки шкалы соответствующих психологических качеств, на которой существует множество промежуточных вариантов (ежелисы и лисоежи). С другой — сами эти понятия постепенно наполняются содержанием по мере того, как Тетлок описывает различные эксперименты, демонстрирующие различия лис и ежей в области экспертного политического суждения. В целом лисы превосходят ежей не только в «калибровании» (то есть они не только более осторожны в своих предсказаниях), но и в «дискриминации»: ежи не только гораздо чаще приписывают тем или иным событиям значения «наверняка» или «невозможно», но и гораздо чаще ошибаются в своих предсказаниях.
Различие лис и ежей позволяет экспериментально продемонстрировать ряд особенностей экспертного знания. Например, качество суждений ежей улучшается при переходе от экспертов к дилетантам, от долгосрочных предсказаний к краткосрочным, от ежей-экстремистов (придерживающихся крайних политических или теоретических позиций) к умеренным ежам. Тогда как у лис лучшее качество суждений — также среди экспертов, делающих краткосрочные прогнозы, но качество лис-дилетантов — что представляется логичным — хуже. (Такое расхождение между экспертами и дилетантами объясняется тем, что эксперты-ежи наиболее склонны к жестким суждениям, которые обосновываются грузом их знаний, а также многочисленными формами психологических защит.) Для значительной части экспертов знания, таким образом, являются «обузой» (то есть, чтобы выдвигать более качественные суждения, им стоило бы пренебречь грузом опыта и просто читать утреннюю прессу).
Качественные отличия суждений лис указывают в целом на то, что они (а) более скептичны к дедуктивным подходам к объяснению и предсказанию; (b) склонны осторожно оценивать соблазнительные аналогии, указывая на особые обстоятельства; (с) не любят делать крайних суждений, которые обосновываются отсутствием сдерживающего механизма в рассуждениях (когда, грубо говоря, один аргумент легко цепляется за другой, отметая все остальные); (d) с подозрением относятся к выводам, полученным задним числом (hindsight bias); (e) демонстрируют дистанцированный и ироничный взгляд на жизнь; (f) обычно имеют мотив соединять конфликтующие аргументы по фундаментальным вопросам политики, например, роли отдельных людей в истории или рациональности принятия решений. Изучение профиля «лис», в том числе и в многочисленных экспериментах, оценивающих реакции экспертов на собственные ошибки, а также на ошибки коллег, показывают, что их мышление имеет больше возможностей для балансирования различных склонностей и увлечений на метауровне: «Хорошее суждение в таком случае — это неустойчивый акт балансирования. Мы часто замечаем, что слишком далеко ушли в каком-то одном направлении только тогда, когда поворачивать обратно уже поздно. Выполнение подобной балансировки требует когнитивных навыков более высокого уровня — способности отслеживать свои собственные мыслительные процессы и выделять очевидные признаки избыточной открытости или закрытости в умозаключениях, что позволяет добиваться рефлексивного равновесия, соответствующего нашему представлению о нормах честной интеллектуальной игры»[15].
Плохие байесианцы
Если вернуться к фоновой проблеме «военных игр», состоящей в том, что им требовалось учитывать в собственных условиях экспертные знания, становится ясно, что предприятие Тетлока демонстрирует стандартную траекторию «абстрагирования» и «квантификации» знаний и навыков, которые некогда были собственностью отдельных специалистов, а затем получили выражение в абстрактной — например программной — форме. Попытка построить «экспертные системы» сталкивается с необходимостью проанализировать реальных экспертов, которые, как выясняется, в большинстве своем производят шум. Однако выяснить это можно лишь за счет накопления «больших данных» (в данном случае — нескольких тысяч предсказаний и результатов экспериментов самого разного толка). Первоначальный негативный результат — провал экспертов — используется затем для подготовки программы «мелиорации», качественного улучшения экспертного суждения за счет выявления тех различий в данных, которые указывают на то, что некоторые эксперты все же лучше остальных. Иначе говоря, манипуляция с большими данными позволяет выявить «лис» как психологический тип, который, однако, оказывается лишь первым шагом к высвобождению лис как особого способа обработки данных, идеальный вариант которого недоступен реальным лисам-экспертам. Соответственно пределом такой программы является создание не модели «эмпирического» эксперта (с его знаниями, ноу-хау, историей и т. п.), а «механического лиса», который извлекает тенденции из «реального лиса» и доводит их до уровня, не доступного человеку. В эксперте уже есть что-то достойное абстрагирования и включения в «военные игры», однако это не «психологический портрет».
Ключевым для такой процедуры оказывается обсуждение способности реальных экспертов «обновлять» (update) свои исходные посылки, а также исследование различных механизмов «психологической защиты», используемых экспертами, не желающими отказаться от своего мнения. Для сравнения процессуальных качеств мышления лис и ежей было проведено большое количество динамических тестов, позволяющих оценить реакции экспертов на то, в какой мере сбываются их собственные прогнозы. Базой для этих экспериментов и своеобразным «золотым стандартом» считается байесово исчисление вероятностей, которое позволяет ставить вероятность того или иного исхода событий в зависимость от вероятности гипотезы и постфактум корректировать вероятность (или убедительность) соответствующих гипотез. В ситуации, когда есть по меньшей мере две гипотезы, предсказывающие событие X, но приписывающие ему разную вероятность, если сами эти гипотезы имеют разные вероятности, оценка вероятности события X должна учитывать четыре значения. Однако даже при эксплицитном вопросе эксперты, которых спрашивали о вероятности события X после указания на конкурирующие теории, обычно основывали вероятность X попросту на том, какова вероятность этого события в соответствии с разделяемой ими самими (а не конкурентами) гипотезе. Иначе говоря, эксперты вели себя так, как если бы они были уверены на 100 % в своей гипотезе и не принимали конкурирующие гипотезы вовсе, хотя отдельные опросы показывают, что даже наиболее ярко выраженные ежи обычно считают, что вероятность истинности конкурирующей теории — 10—20 %. Результатом такого искажения становится «зазор эгоцентричности» (egocentricity gap): эксперты систематически приписывают будущим событиям более высокие вероятности, чем следовало бы в том случае, если бы они были «хорошими байесианцами» и принимали в расчет конкурирующие точки зрения с их отличными оценками будущих событий. Этот зазор наблюдался и у лис, и у ежей, но у вторых — в большей степени.
При экспериментальной оценке «байесова обновления» у экспертов получали ответ на четыре вопроса: (1) насколько вероятным Вы считаете данное будущее событие, если Ваша гипотеза, на которой Вы основываете оценку, верна; (2) насколько Вы доверяете Вашей гипотезе; (3) насколько вероятным Вы считаете данное будущее событие, если верна гипотеза Вашего конкурента; (4) насколько вероятна гипотеза Вашего конкурента (насколько ей можно доверять). Эти данные определяют все четыре переменные, необходимые для подстановки в теорему Байеса. Экспериментальные данные позволяют легко определить, в какой мере эксперты должны былиизменить доверие к собственным гипотезам и в какой мере они действительно желали это сделать. Сами «предсказания» оказываются в таком случае «репутационными ставками», поскольку эксперт ставит свою гипотезу в зависимость от того, случится или не случится предсказанное событие. Результаты показывают, что ни лисы, ни ежи после получения результатов не изменяли своих мнений в той мере, в которой это требовалось логикой Байеса. При этом выявились некоторые интересные закономерности. Наибольшее расхождение (то есть наименьшее желание действовать «по логике») обнаружилось у ежей, столкнувшихся с негативным результатом (то есть предсказываемое событие не произошло или произошла его противоположность). Они корректировали свои гипотезы в наименьшей мере (оставались при своем), а некоторые даже демонстрировали парадоксальный результат: столкнувшись с опровержением, они укреплялись в своем мнении. Эксперты оказываются «более качественными байесианцами», когда их гипотезы подтвердились и требуется подкорректировать их (особенно повысить уверенность в них), и, соответственно, намного более худшими — в противоположном случае. Эти результаты согласуются с классическими психологическими концепциями «когнитивного консерватизма» и «корыстного приписывания успехов» (selfserving attribution bias) — эксперты приписывают свои успехи «внутренним причинам» (то есть качеству своих гипотез), а провалы — внешним случайностям.
Для того чтобы оставаться «плохими байесианцами» и не «обновлять» свои гипотезы (то есть не менять уверенности в своей правоте), эксперты применяют ряд «защит систем верований», подробно анализируемых Тетлоком. Например, часто эксперты указывают на то, что у любой гипотезы есть условия выполнения, которые как раз и не были соблюдены. В августе 2000 года группа влиятельных политологов заявила, что согласно их моделям с вероятностью от 85 до 97 % на выборах Гор — Буш победит Гор. Когда это предсказание не сбылось, ученые указали на то, что модели остаются валидными, просто в них не были заложены правильные макроэкономические показатели. Некоторые также использовали различные варианты аргумента об «экзогенном шоке», указав на то, что строгие модели не могут учитывать превратностей президентских карьер (например, истории с импичментом Клинтону). Другой эксперт, узнав об уступках Михаила Горбачева на переговорах о сокращении стратегических наступательных вооружений, заявил, что его теория относится к международным отношениям и не может покрывать исключительные события, аналогичные медицинским казусам. Еще одной важной защитой являются контрафактуальные предположения: эксперты говорят, что «были почти правы» и что предсказанное «почти сбылось». Например, теоретики «жесткого курса» СССР заявляли, что их предсказания «почти сбылись» и что путч 1991 года «почти» вернул СССР на прежний путь развития. Симметричным по отношению к этому приему является защита, откладывающая исполнение предсказаний на будущее: событие еще не осуществилось, но может случиться в будущем (например, Канада еще может распасться, Казахстан еще может превратиться в аналог раздираемой гражданской войной Югославии и т. д.).
Наконец, некоторые эксперты отказываются менять свои мнения, указывая на принципиально случайный (или «облачный») характер политики или же на то, что их ошибки были «правильными» (в некоторых ситуациях важно переоценить опасность, чем недооценить ее). Количественные исследования показали, что эксперты применяют защиту избирательно, то есть именно в том случае, когда их репутационные ставки под угрозой, причем чем больше эксперт был уверен в своем прогнозе и с чем большей угрозой он сталкивается, тем с большей вероятностью он попытается нейтрализовать ее за счет того или иного набора психологических защит. Параллельным механизмом блокирования «байесова обновления» является hindsight effect, то есть склонность экспертов завышать постфактум указанные ими вероятности исхода, причем иногда даже неосознанно.
Итоги оценки способности к обновлению гипотез и использования психологических защит показывают, что, хотя лисы по-прежнему опережают ежей, возникают сомнения относительно возможности выработки «практик» «хорошего суждения» в собственно экспертной среде. Низкие результаты ежей связаны в целом с их нежеланием признавать свою неправоту. Но распространенность психологических защит, блокирующих «байесовы» механизмы, подтверждает общее скептическое утверждение, гласящее, что человек как психологическое существо вообще не способен быть хорошим байесианцем. По существу экспертам мешает именно то, что в каждом предсказании они ставят на карту собственную репутацию, говорят от своего лица, поддерживая гипотезу, которая является «их» гипотезой, а не конкурента. Стремление к «замыканию», выявляемое в наибольшей мере у «ежей», то есть стремление к целостной картине, коррелирующей с собственной идентичностью, можно было бы сопоставить с классическим строением субъекта как «трансцендентального эго», для которого сама возможность знания обусловлена возможностью присвоения и синтеза какого-либо когнитивного содержания в горизонте «я». Лисы менее «эгоцентричны», чем ежи, но все же не настолько, чтобы разрыв был радикальным. В любом случае они встроены в субъективную экономику знаний, которая не позволяет делать — по крайней мере на уровне собственно экспертного знания — «качественные» политические суждения. Но это не значит, что «лисий» подход нельзя использовать для совершенствования политических суждений, выполняя их в принципиально иной среде.
Армии распределенных предсказателей
Разумеется, речь не идет о том, чтобы создать алгоритм, который стал бы некоей «суперлисой». Важно не противопоставление человек — алгоритм, а сам подход, который, с одной стороны, потребовал бы использования больших количественных данных в оценке качественности «политического суждения», а с другой — указал на принципиальные ограничения «экспертной среды».
В настоящее время Тетлок ведет поддерживаемый IARPA (Intelligence Advanced Research Projects Activities — Управление по перспективным исследованиям в области разведки) проект, представляющий собой по сути следующий уровень изучения и «мелиорации» политического суждения[16]. Проект начался в 2010 году, а закончится, по планам, в 2015-м; он охватывает пять университетов и множество команд, в которые активно набираются добровольцы, участвующие в конкурсах политических прогнозистов. По сути задача в том, чтобы, соединив способы массивной обработки статистических данных (за счет постоянно совершенствующихся алгоритмов) с людьми-предсказателями (в значительной мере освободившимися от репутационных проблем и «эго» — просто за счет своей многочисленности и отсутствия статуса эксперта), добиться оптимальной «границы прогнозирования», на которой уже невозможно добиться лучшего результата (например, невозможно уменьшить число ложноположительных предсказаний, не увеличив числа ложноотрицательных). Разумеется, оптимальная граница не означает абсолютной предсказуемости, однако обещает результаты, которые существенно лучше любых прежних показателей как людей, так и алгоритмов.
Иными словами, предполагается, что эффективное выполнение мышления «лиса» возможно только в распределенной структуре, которая соединяет несколько элементов: (1) массивную статистическую агрегацию данных; (2) наличие «равных правил» игры для всех участников, которых должно быть обязательно много и которые в конечном счете не привязаны к своим «репутационным ставкам» (можно даже легко представить, как проект Тетлока позволит нанимать толпы удаленных предсказателей в режиме «аутсорсинга» — в Индии или Китае); (3) соединение алгоритмических предсказаний с человеческими — последние получают возможность корректировать первые; (4) байесово обновление гипотез — которое само обеспечивается как алгоритмически обрабатываемыми «большими данными», так и увеличением числа предсказателей, освобождаемых от необходимости психологической защиты; (5) возможность агрегирования итоговых предсказаний команд людей/алгоритмов за счет применения техник агрегирования по модели «мудрость толпы» (построенной на так называемом неравенстве Йенсена, предполагающего, в частности, что средняя точность отдельных предсказателей обычно хуже, чем точность среднего всех их предсказаний).
В качестве одного из наиболее многообещающих примеров подобной статистической агрегации Тетлок указывает на еще один манифест современного байесианства — работы Нэйта Силвера[17], одного из самых успешных и общественно значимых статистиков США, который, в частности, наиболее точно предсказал последние президентские выборы. Силвер начинал с создания механизмов агрегации данных по бейсболу, затем стал мастером покера, а после этого — самым надежным источником политических прогнозов. По версии Тетлока, будущее — за Силвером, вернее, за множеством бригад Силвера, которые работают в вышеуказанном «распределенном» режиме.
Хотя проект Тетлока не закончен, полезно вернуться к отправному пункту и рассмотреть, как именно мутировала «военная игра», когда была поставлена задача подключить к ней экспертные суждения, на поверку оказавшиеся — в своей натуральной форме — неконсистентными и малопригодными. Речь идет о том, что эта мутация способна оказать влияние на значительное число форм производства знаний, которые так или иначе были ориентированы на «военные игры» и военное моделирование. Лисы, с одной стороны, выявили «когнитивную закрытость» традиционных военных игр (и Жомини, и фон Нейман — еще слишком «ежи»), а с другой — показали возможность их принципиального размыкания, создания систем отслеживания и предсказания, которые позволят освободиться от «слишком человеческих» качеств обычных политических экспертов.
Если считать, что «лисы» — это не столько психологический тип, сколько модель обработки данных, утверждающаяся на старом пространстве «военных игр» (и подгоняющая под себя иные формы социально значимых знаний), можно выделить несколько ее характеристик, значимых в эпистемологическом отношении:
1. Лисы (как модель) тяготеют к обработке, управляемой «данными», а не «теориями», то есть этоdata-driven[18] механизм. Противопоставление data-driven и theory-driven восходит к основаниям теории цифровых машин (собственно, уже машина Тьюринга предполагает, что структурно «теория», или «программа», не отличается от «данных», поэтому с ней можно работать точно так же, как с данными). «Распределенные лисы» — армии предсказателей, статистически анализирующих «большие данные» — должны быть data-driven именно потому, что только такой подход позволяет не отдавать привилегии выделенным «гипотезам», а оценивать их в зависимости от того, какое именно предсказание реализовалось. По сути в теореме Байеса, утверждаемой в качестве основания новой констелляции производства политических и социальных знаний, различие между данными и теориями может быть чисто формальным. «Теория» — не более чем статистический пакет данных, по которому оценивается вероятность того или иного исхода. При поступлении новых подтверждений (или фальсификаций) теория должна меняться (или «обновляться») в точном соответствии с формулами Байеса. Разумеется, пока это лишь формальная модель, поскольку на практике стереть различие между теорией и данными не так-то просто. Важно то, что не данные обнаруживаются «в свете» или контексте «теории», а, напротив, теории меняются как простые функции данных.
2. «Данные» — это единица квантифицируемых социальных знаний, которые в пределе предполагают независимость от контекста. Одним из условий экспериментов Тетлока было освобождение экспертных суждений от всевозможных модальных оборотов и контекстуальных привязок, которые не позволяли суждению пройти «тест ясновидения» (то есть суждение, чтобы вообще считаться таковым, должно быть однозначно понятным для гипотетического ясновидящего, который способен однозначно сказать, верно оно или нет, исполнилось предсказание или не исполнилось). То, что может быть истолковано двояко, не может быть «данными». Очевидно, «вопросы» и «ответы» в методологии Тетлока несут признаки явного генеалогического родства со старыми вопросами из области operations research и системного анализа, обсуждавшимися выше: ничто не может быть ответом (и элементом множества «данных»), что не проходит теста гипотетического ясновидения. (Конечно, это родство опосредуется всем комплексом современной поведенческой психологии, тесно связанной с управленческими «науками».) Этим не отрицается то, что сами данные производятся достаточно сложными механизмами (наблюдений, опросов, агрегации и т. п.). Главное, «данные» активно сопротивляются любому «контексту», поскольку сводят контекст до уровня простой гипотезы, а не «общей» интерпретационной схемы, которая позволяет «понимать» происходящее. Мир уже состоит из «больших данных», поскольку прежнее различие данных и контекста следовало лишь из невозможности погрузить контекст (и неопределенность) в механизмы обработки, подобные расширенным военным играм, в которых любое будущее событие раскладывается на однозначные и исчислимые элементы.
3. Байесово исчисление вероятностей приходит на смену задаче автоматизации индуктивных выводов, которая представлялась важнейшей задачей в области искусственного интеллекта еще в 1970— 1980-х годах[19]. Если «дедуктивные» системы вывода были автоматизированы давно (по сути с формализации силлогизмов), «индуктивные» системы представлялись наиболее важной проблемой, поскольку именно они обещали создание автоматов (в том числе военных и разведывательных), способных реально учиться на опыте и отвечать на сигналы среды. Однако динамика «больших данных» указывает на то, что сама задача была сформулирована в слишком «иерархическом» стиле: и индуктивные, и дедуктивные рассуждения сохраняют принципиальное различие между данными, теориями и аксиомами, и вопрос был лишь в том, как переходить по этой эпистемологической «лестнице» от одного к другому. Байесово обновление, распределенное по армии предсказателей, вооруженных передовыми математическими и вычислительными технологиями, опрокидывает эту традиционную лестницу теоретического знания, так что теперь вопрос — не в «концентрации знания» (выведении общего из частного) и не в его «приложении», а в предельно гладкой, ничем не стесняемой «корректировке». Конечно, проблемой тут может быть лишь «медленный» темп реальных политических событий: естественная хронология событий сама по себе способствует закреплению неверных гипотез, поскольку, с одной стороны, низкая скорость осуществления или опровержения предсказаний не позволяет получить достаточно большое количество данных, которое только и могло бы обеспечить эффективность «гладкой корректировки» (в этом смысле история и политика просто производят слишком мало данных, оставаясь чем-то «кустарным»), а с другой — сама временная дистанция между предсказанием и его подтверждением/опровержением выступает условием различных когнитивных искажений (biases) — в «естественных» условиях больших временных промежутков экспертам проще забыть свои первоначальные прогнозы и переиначить их либо, напротив, «вложиться» в давно выбранную гипотезу и ни за что не отказываться от нее.
4. Инструментом определения социального мира как конструктора, построенного из «больших данных», становятся контрафактуальные суждения (или контрафактуальные данные). Одним из важных экспериментов Тетлока (нацеленных в том числе на нейтрализацию hindsight bias) было определение реакций экспертов на контрафактуальные исторические высказывания, расшатывающие детерминистский подход к истории. В общем случае брался некий хорошо известный исторический эпизод (например, Карибский кризис 1962 года)[20]. Затем для построения так называемой кривой неизбежности экспертов просили ответить на вопрос: «В какой момент между 16 и 29 октября 1962 года мирное решение кризиса стало неизбежным, а потому имеет вероятность 1,0?». Затем различным моментам этого промежутка времени приписывались различные вероятности мирного урегулирования меньше 1,0. Аналогичная процедура выполнялась для построения «кривой невозможности» («В какой момент между 16 и 29 октября 1962 года все альтернативные, насильственные концовки кризиса стали невозможными, получив вероятность 0?»). Затем испытуемые эксперты проходили через так называемое интенсивное распаковывание (intensive unpacking), то есть альтернативные концовки «уточнялись», разбиваясь на множество вариантов, которые должны были исчерпывающим образом описывать соответствующие возможности (например, при насильственном завершении конфликта может быть менее 1000 жертв или более 1000 жертв, в последнем варианте насилие могло быть локализовано Карибами или не ограничиваться ими, в обоих случаях оно делится на обычное и с применением ядерного оружия). Как показали эксперименты, такое «распаковывание» значительно смещает кривую невозможности вверх: присматриваясь к «альтернативам», эксперты приписывают им значительно большие возможности, чем первоначальным «простым» событиям. Само разбиение возможности «насильственного конфликта» на два типа («с числом жертв меньше тысячи» и «числом жертв больше тысячи») приводит к тому, что эксперты приписывают каждому подварианту значения, в сумме превышающие исходные оценки этой «альтернативы». Помимо очевидного логического заблуждения экспертов (не способных «правильно» складывать вероятности) здесь, однако, стоит выделить саму методологию, которая предполагает, что «история» в каком-то смысле уже состоит из контрфактуальных высказываний, исчисление которых должно подчиняться логике вероятности (к примеру, вероятность двух событий, случающихся вместе, не может быть больше вероятности каждого из событий). По сути эксперт — тот, кто отвергает утверждение «история не знает сослагательного наклонения»: точность экспертных оценок напрямую зависит от того, какой баланс в оценке «контрафактуальных» возможностей ему удается установить. Каждый новый прогноз — это именно конструкт из контрафактуальных высказываний, которые исчерпывающим образом репрезентируют социальную реальность (все дело в их комбинаторике с приписанием им соответствующих «весов») — например, в случае Карибского кризиса не может быть всеобщего примирения или какого-то радикального изменения (контрафактуальные элементы следуют за известными траекториями, а не постулируют наличие абсолютно случайных внешних событий). Эту процедуру можно сравнить с методологией классического военного историка Ганса Дельбрюка, реконструировавшего прошлые битвы из базовых элементов, знаний о боеспособности частей, вооружений, свойствах местности, логистики и т. д. Битвы как ведущие события перестали быть «неразложимыми», а предстали, напротив, в качестве своеобразного логического конструкта (поэтому, в частности, некоторые подвиги Аттилы были признаны невозможными). Здесь же любое историческое событие разбивается на компоненты (альтернативы), которые должны суммироваться в соответствии с достаточно простыми правилами, и только манипуляция с этими компонентами позволяет создать успешную систему предсказаний.
5. Наконец, подобная механизация «лис» как доминирующего способа обработки социальных данных требует такого оформления сферы политики и управления в целом, которое предполагает возможность реализации соответствующих «исчислений». По всей видимости, только некоторые политические системы частично позволяют описать себя в качестве исчислимого множества уже известных вариантов (в том числе контрафактуальных историй), причем это множество должно позволять репрезентативную выборку с точно определимыми статистическими свойствами. Разумеется, никто не собирается строить политику по образцу покера, вопрос лишь в том, насколько такие методологии действенны в области предсказаний и насколько они сами оформляют социальное пространство. Превращение политических действий в «данные», которые могут использоваться для статистических прогнозов, — далеко не безобидный жест. Оно требует не только репрезентируемости (или возможности фиксации всякого политически значимого события в качестве однозначного изменения), но и изменения всего режима функционирования «мнения» в демократических обществах. Интересно, что Тетлок, хотя и не скрывает связи своего теперешнего проекта с разведывательными службами, считает его вполне демократическим[21] и, более того, видит в нем решение традиционной проблемы оккупации общественного мнения «говорящими головами» (и стоящими за ними интересами). Программа построения распределенной системы тысяч и тысяч предсказателей и в самом деле позволяет создать «единые правила игры», которые подрывают любые прежние иерархии экспертов, освобождают нас от нечестных приемов, нужных для защиты репутационных ставок, и едва ли не возвращают нас к всеобщей демократии. Однако существенным моментом такого рода проектов является не только стремление к «фиксации» правил и сведение социального мира к множеству репрезентируемых данных (что исключает, разумеется, все то, что не заслуживает такой репрезентации), но и устранение специфического для демократического волеизъявления различия между самим актом высказывания и его содержанием. Мнение как «данность», отображаемая в опросах, само по себе не является политически значимым уже хотя бы потому, что нет ничего незаконного в действиях того избирателя, который высказывается за то, что противоречит его мнению (иначе говоря, мнение в принципе не может выступать легитимирующей инстанцией). Разумеется, стирание этого различия между актом высказывания и его содержанием (или его «основаниями») наметилось не вчера, к тому же само это различие является основанием для антидемократических манипуляций (в том числе маркетингового управления общественным мнением) и, например, голосования «вопреки собственным интересам». Но «большие данные», судя по всему, обещают не просто его стирание, а окончательное упразднение в пользу «прогноза» как единственного релевантного политического высказывания: именно в сфере предсказания простые избиратели объединяются, как может показаться, с экспертами, но лишь в том случае, если голос избирателя получает совершенно новую интерпретацию — и засчитывается за еще один частный прогноз, а не традиционное выражение желания. Подобное изменение вносит ряд рефлексивных изменений в саму логику выборов, последствия которых пока предсказать трудно (хотя некоторые их варианты, например протестное голосование, ориентирующееся на голоса противника как прогноз будущего, а не волеизъявление, давно известны).
Таким образом, использование «больших данных» в рамках мутировавшей «военной игры» для ограничения политического суждения функцией фактуального предсказания демонстрирует существенные изменения во всем поле производства и легитимации знания (и публичных высказываний в целом), которое теперь запрещает позиции традиционных «пророков» и «политиков» как тех, кто по сути не боялся hindsight effect, а, напротив, производил условия для возможности в различных, даже катастрофических ситуациях восстановить минимальную осмысленность событий, заявив: «Да, именно это мы и имели в виду, именно это мы и предсказывали, этого и боялись». В мире «больших данных» любое пророчество было бы воспринято как буквальная рекомендация, а не как перформативный акт, который как раз и создает возможность сказать в будущем: «Да, это мы и сказали в прошлом», хотя, разумеется, именно поэтому пророчество должно было строиться как «предсказание обо всем и ни о чем». Пророческие и политические осмысления истории были нужны в том мире, где history is just one damn thing before another[22], где единственным верным предсказанием было предсказание непременно неверного толкования любого «дурного предзнаменования». Удастся ли разбить эту «плохую историю» на элементарные частицы «данных», из которых ее можно будет строить точно так же, как любые цифровые, программируемые «объекты», — вопрос будущего. И здесь у нас, очевидно, нет возможности обезопасить свои позиции уверенным предсказанием.
[1] Chris Anderson. The End of Theory: Data Deluge Makes the Scientific Method Obsolete // Wired magazine, June 23, 2008. URL: http://www.wired.com/science/discoveries/magazine/16-07/pb_ theory
[2] James Bamford. The NSA Is Building the Country’s Biggest Spy Center. Wired magazine. April 20, 2012. URL: http://www.wired.com/threatlevel/2012/03/ff_nsadatacenter/
[3] David Brooks. The Philosophy of Data // New York Times. February 5, 2013.
[4] Сами «военные игры» представимы в качестве элемента более общего «режима стратегической экспертизы», формировавшегося в качестве модуса оправдания технической выполнимости войны. См., в частности: Christophe Wasinski. Valider la guerre: la construction du regime d’expertise strategique. Cultures & Conflits. 1/2010 (n╟77). P. 39—58.
[5] Далее я использую выполненную на материале нескольких известных исследований реконструкцию Мануэля Де Ланда: Manuel De Landa. War in the Age of Intelligent Machines. New York: Zone Books, 1991. P. 83—105.
[6] Противопоставление Антуана Анри Жомини и Карла Клаузевица является довольно устойчивым, хотя и спорным с исторической и контекстуальной точек зрения. В данном случае речь идет о закреплении «жоминианства» в качестве определенного маркера стратегического мышления, стремящегося к автономизации военной стратегии (по отношению к политическим решениям), выделению «вечных принципов» войны и, главное, таким техникам обобщения и калькуляции, которые позволяли сопоставлять и анализировать в одной системе координат совершенно разные военные события (так, Жомини мог сравнивать войны XVIII и XIX веков, несмотря на их принципиальные различия. См.: Wasinski. P. 50).
[7] Charles R. Shrader. History of Operations Research in the United States Army. Volume I: 1942—62. Washington DC: Dept. of the Army, 2006.
[8] Fred Kaplan. The Wizards of Armageddon (New York: Simon and Schuster, 1983). P. 52 (цитируется по: De Landa, p. 96).
[9] Ibid. P. 87 (цитируется по: De Landa, p. 101).
[10] Например, в рассказе советского фантаста Анатолия Днепрова «200 % свободы» есть характерный диалог между ученым Геллером и математиком-вундеркиндом Леонором: «А вот еще задача. Имеется десять овчарен, которые находятся под охраной пяти собак. На овчарни систематически нападают пятнадцать волков. Как нужно распределить охрану между овчарнями, чтобы… — Погодите задавать вопрос. Это тоже военная задача. Но вы еще не сообщили мне, каков радиус разворота каждой собаки и каждого волка. Без этих данных задача не имеет решения…». (Сборник научной фантастики. Выпуск 36. Москва: Издательство «Знание», 1992.)
[11] «Трение», столь значимое еще во время Второй мировой войны, в послевоенных моделях перестало учитываться, поскольку автоматы, изображавшие действия супердержав, действовали за пределами собственно «человеческих» источников «шума» (в этом смысле ядерное оружие выступило в качестве важнейшего инструмента рационализации войны, ее приведения в форму, исчислимую в соответствии с правилами теории игр).
[12] Philip E. Tetlock. Expert Political Judgment: How Good Is It? How Can We Know? Princeton: Princeton University Press, 2005.
[13] Tetlock. P. 51.
[14] Isaiah Berlin. The Hedgehog and the Fox: An Essay on Tolstoy’s View of History. London: Weidenfeld & Nicolson, 1953.
[15] Tetlock. P. 215.
[16] Philip E. Tetlock. How to Win at Forecasting // Edge.org, http://edge.org/conversation/win-at-forecasting
[17] Nate Silver. The Signal and the Noise: Why So Many Predictions Fail — but Some Don’t. New York: Penguin Press, 2012.
[18] Tetlock. Expert Political Judgment P. 147.
[19] De Landa. P. 144.
[20] Tetlock. P. 206 и далее.
[21] Tetlock. P. 231—232.
[22] Steven Connor. Disasters Galore // London Review of Books. Vol. 34. No. 18. 27 September 2012. P. 16.