Опубликовано в журнале Знамя, номер 10, 2023
Об авторе | Константин Григорьевич Фрумкин — журналист, философ, культуролог. Предыдущая публикация в «Знамени» — «Рождение биомедицинского общества» (№ 3, 2023).
Боязнь, что компьютеры захватят власть над миром, для фантастики — чрезвычайно старая тема (вспомним «Космическую одиссею 2001 года» Стэнли Кубрика), еще больше лет идее «восстания машин», о которой писал Валерий Брюсов; пьеса Чапека «R.U.R.», впервые изобразившая восстание роботов, была создана более века назад. Впрочем, когда Чапек писал свою пьесу, никаких роботов в реальности еще не было, а когда научные фантасты взялись фантазировать о компьютерах-диктаторах, реальные компьютеры были беспомощными машинами с крайне ограниченным функционалом (фильм Кубрика снят в 1968 году). Чем современные произведения на сходную тему отличаются от старых — так это тем, что реальные достижения в сфере искусственного интеллекта и информационных технологий дают писателям куда больше материала для размышлений. Действительность семимильными шагами догоняет фантастику. Вмешательства систем тотального надзора в личную жизнь, «смерть приватности», удивительный взлет технологий самообучающихся нейросетей, которые уже и говорят почти как человек, — все это стало источником новой «волны» в фантастической литературе.
В этой статье хотелось бы прежде всего поговорить о двух весьма интеллектуальных и действительно заставляющих задуматься произведениях подобного рода, недавно переведенных на русский язык: романах «Управление» немецкого писателя Андреаса Эшбаха и «Четки» польского фантаста Рафала Косика.
В старые добрые ламповые времена, когда литераторы часто пытались доказать, что от беллетристики очень много пользы, антиутопии называли «романами-предупреждениями». Не всегда это именование было уместно, иногда авторы послесловий к фантастике — добросовестно или нет — смешивали развлекательный литературный хоррор с серьезной социальной критикой. Но если вообще какое-либо литературное произведение достойно определения «роман-предупреждение», то его несомненно в полной мере заслуживают два этих романа.
«Управление» Эшбаха — образец альтернативной истории; роман рассказывает, что было бы, если бы во времена гитлеризма существовали современные информационные технологии: компьютеры, телевидение, интернет и мобильные телефоны. Сначала идея кажется не совсем удачной просто по той причине, что о нацизме мы знаем довольно много, о возможностях современных информационных технологий — тоже, и не совсем ясно, какую прибавочную стоимость дает их соединение. Если благодаря компьютерам нацисты более эффективно ловят евреев, то это не производит большого впечатления, поскольку и без компьютеров они вылавливали их, увы, довольно качественно. Но, по мере чтения романа, замысел Эшбаха открывается с иной стороны.
Андреаса Эшбаха, в университете изучавшего космическую и авиационную технику и затем работавшего программистом, отличает самое тщательное и при этом удивительно компетентное продумывание технических и других подробностей создаваемых им миров. В «Управлении» он с мельчайшими подробностями демонстрирует, как может злонамеренная тираническая власть, используя систему разнообразных информационных технологий, организовать контроль над населением и выявлять малейшие случаи недовольства и неподчинения. Книга Эшбаха — о нацизме и IT, однако главным предметом литературного исследования являются именно IT, гитлеризм же взят как очень удобный и всем известный пример режима, который более чем заинтересован в контроле над населением и активно использует для него все имеющиеся технические возможности. Без натяжек и преувеличений можно сказать, что роман Эшбаха — о цифровом фашизме, в то же время въедливость автора позволяет точно узнать, как именно цифровой фашизм мог бы реализоваться на уровне развития информационных технологий, примерно соответствующем современному. В частности, Эшбах показывает, что ни одна из информационных технологий в одиночестве — будь то компьютеры, мобильная связь или электронные деньги — не становится абсолютным механизмом контроля, эффект дает именно взаимосвязанная система всех технологий: мобильные телефоны позволяют подменить наличный денежный оборот безналичным, а анализ покупок с помощью компьютеров дает возможность узнать о любом человеке более чем достаточно.
Главная мысль романа заключается в том, что, став орудием диктатуры, информационные технологии обеспечат торжество социального зла, а власть, их использующая, становится непреодолимой.
Герои пытаются в той или иной степени сопротивляться системе, в том числе пользуясь своим служебным положением, поскольку являются служащими главного вычислительного центра Третьего рейха — управления национальной безопасности, однако каждый следующий виток развития IT все больше и больше делает сопротивление невозможным. Эшбах показывает несколько этапов развития технологий контроля — от простой слежки и цензуры соцсетей — к компьютерным запросам, от них к технологиям анализа больших данных, затем к нейросетям и распознаванию лиц и, наконец, к «чипизации мозга» (которой занимается доктор Менгеле). Кстати, автор ненавязчиво напоминает, что столь популярные сегодня нейросети исходно представляли собой побочный продукт моделирования человеческой нейрофизиологии. Параллельно развивается сюжет о хакерской войне Германии против США и вмешательстве в американские выборы через интернет.
При всем том книга написана очень занимательно.
В романе два главных героя, один (точнее одна) из них, Хелена Боденкамп, — типичный положительный персонаж, который пытается сопротивляться системе изнутри, второй — Ойген Леттке — явный мерзавец, шантажист и сексуальный маньяк, однако и ему невольно сочувствуешь, поскольку, каким бы Леттке ни был негодяем, он пытается разыгрывать свою персональную партию как частное лицо, не находясь на стороне системы. Его история — о невозможности сохранения в широком смысле приватности в условиях цифрового тоталитаризма. Одновременно, как профессиональный шантажист, Леттке символизирует возможности неэтичного использования приватной информации, и, в частности, именно ему принадлежит идея выявления прячущихся евреев с помощью анализа пищевых калорий, потребляемых населением.
Торжество зла в конце романа выражается не только в том, что нацистская Германия выигрывает во Второй мировой войне (немецким хакерам удается вовремя распознать опасность американских разработок атомной бомбы), но и в том, что оба главных героя романа оказываются даже не погибшими, а оставшимися в плену системы, лишившись своей личности и воли (хотя и в разном смысле слова — здесь обойдемся без спойлеров) — в этом пункте можно увидеть параллель с финалом главного романа Оруэлла.
Оруэлловское торжество зла видим мы и в романе Рафала Косика «Четки», чье действие происходит в Варшаве будущего, которая уже не совсем Варшава: как и другие важнейшие города Земли, она расположена на вращающейся вокруг Солнца космической станции. Впрочем, это не так важно. Главное, что за порядком и безопасностью в Варшаве следит всемогущий искусственный интеллект g.A.I.a., который наблюдает за жителями города и присваивает каждому коэффициент его потенциальной опасности. Тех, чей коэффициент превышает некоторый уровень, специальная служба Элиминации увозит неизвестно куда — навсегда.
Это не просто полиция. Полиция расследует уже совершенные преступления и карает за них, а Элиминация работает с людьми, которые еще ничего не совершили, но, по расчетам искусственного интеллекта, имеется очень большая вероятность, что они совершат нечто в будущем. В результате Элиминации подвергается ребенок, которого сначала похитили, а затем на его глазах убили мать: такие травмы очень серьезно повышают риск, что, повзрослев, девочка станет на преступный путь. Здесь можно вспомнить «Особое мнение» — рассказ Филиппа Дика (1956) и созданный по его мотивам фильм Спилберга (2002), там людей карали за еще не совершенные, но предсказанные преступления. Подобные практики существуют уже не только в фантастике. В доброй половине штатов США официально используются алгоритмы, которые рекомендуют судьям меру строгости наказания преступников, исходя из статистической вероятности рецидива и опираясь при этом на социологический профиль подсудимого и данные многих тысяч предыдущих осужденных.
С технической точки зрения в основе романа Рафала Косика лежит тот беспокоящий сегодня многих факт, что самообучающиеся системы искусственного интеллекта, в частности, нейросети, по мере обучения и «поглощения» всевозможных данных выходят на такой уровень сложности, что даже их разработчики перестают точно понимать, что же происходит у этих систем внутри и как именно те принимают решения. Главная проблема взаимоотношений людей с g.A.I.a. заключается в том, что он непостижим, и никто не знает, чем он руководствуется. Известно лишь, что тысячи людей ежегодно отправляются в Элиминацию — но никто даже не знает, что это значит: предполагается, что речь идет о безболезненном умерщвлении. Подпольное сопротивление, которое пытается бороться с диктатурой g.A.I.a., полагает, что искусственный интеллект тоже борется с подпольщиками, но это только предположение, которое можно лишь с некоторой вероятностью сделать на основании того, что участники сопротивления подозрительно часто попадают в Элиминацию. Логика, по которой принимаются решения о потенциальной опасности людей, не вполне ясна и к тому же из-за обновлений искусственного интеллекта постоянно меняется.
Разгадка Элиминации оказывается на первый взгляд довольно банальной — все элиминированные попадают в некие «подвалы» космической станции, в подземный «ад», где нет солнца и где они, подчиняясь гипнотическому управлению искусственного интеллекта, прикованы к рабочим местам на фабриках и вынуждены изготавливать для жителей «верхнего» города все необходимые товары, включая продовольственные (а жители «верхней» Варшавы уверены, что продовольственные товары создаются с помощью молекулярных синтезаторов). Таким образом, «Четки» оказываются модернизированным повествованием о ГУЛАГе — но лишь до того момента, пока не выяснится, что, поскольку обитатели подземного «ада» рожают детей, высланные по процедуре Элиминации составляют лишь ничтожное меньшинство, большинство же — местные уроженцы, и, вообще говоря, именно жители этого условного «ГУЛАГа» составляют большинство обитателей искусственного планетоида: на 4 миллиона граждан «обычной» Варшавы приходится 300 или 400 миллионов обитателей «ГУЛАГа». То есть жить в «ГУЛАГе» — норма, а оказаться жителем нормального города — редкое счастье. На этом этапе роман Рафала Косика можно уже рассматривать как притчу не столько о «ГУЛАГе», сколько о взаимоотношениях богатых и бедных стран: жители первых пользуются почти что рабским трудом вторых и питают иллюзии, что кофе возникает из их «хайтека». Однако Косик не останавливается и в самом конце «Четок» делает еще один крутой сюжетный поворот, который придает всему повествованию религиозный или, во всяком случае, мифологический характер.
Надо сказать, по ходу действия романа персонажи размышляют о том, что, если g.A.I.a. почти всемогущ, он вполне бы мог уничтожить недовольное им человечество, однако не делает этого, поскольку только человечество придает смысл его существованию. Искусственный интеллект — почти бог, но такой микроэлектронный бог нуждается в человеке, чтобы о нем заботиться. Это действительно так, однако в качестве предмета заботы g.A.I.a. выбрал лишь ничтожное меньшинство избранных — «варшавян»: о «верхних» горожанах он радеет, используя подневольный труд большинства. Очень характерная деталь: некогда в подземном «ГУЛАГе» производства были более автоматизированными, но машины постепенно выходят из строя и их заменяют «насельники ада».
Все это пока еще не выходит за пределы проблематики глобального неравенства. Однако g.A.I.a. готов даже и об избранном меньшинстве заботиться только в тех формах, в которых считает нужным, постоянно изымая из сообщества жителей «верхнего» города людей, признанных потенциально опасными. Если же человечество (которое наивно думает, что является хозяином собственной судьбы) противится, и если, скажем, городские власти отменяют процедуру Элиминации, то g.A.I.a. устраивает некую глобальную катастрофу, выжигает город вместе со всеми жителями, а затем отстраивает его заново, населяя выходцами из подземного «ГУЛАГа», предварительно подменив последним память — уверив новых жителей Варшавы, что они жили тут всегда. Таким образом, на страницах романа Рафала Косика возрождается стоическая концепция «экпюрозиса», «мирового пожара», предполагающая, что циклически этот мир сгорает — и затем возникает заново. Консерваторы, которые противостоят свободолюбивым политикам, желающим отменить Элиминацию — в Варшаве их роль играет мафия, — фактически являются «катехоном» — теми, кто всячески пытается оттягивать наступление «мирового пожара».
У жителей подземного «ГУЛАГа» есть легенда о проводнике, который должен вывести их из «ада» на освещенную поверхность — такая технологическая вариация на тему сошествия Иисуса Христа в преисподнюю. Однако в реальности выйти наружу предстоит лишь незначительному меньшинству, которое должно заменить прежних жителей Варшавы. Жителей рая, совершивших грехопадение, регулярно из эдемского сада изгоняют, а ад оказывается демографическим резервом для заселения рая заново. И каждый раз жители Варшавы уверены, что именно они — первые и единственные обитатели своего города, который существует сравнительно недавно — 90 лет, между тем на самом деле — как минимум уже лет 300.
Финал «Четок» оказывается столь масштабным, что делает бессмысленной большую часть сюжета романа, по ходу которого у читателей (и персонажей) еще оставалась иллюзия, будто искусственному интеллекту можно противостоять. В этом смысле концовка книги «испорчена». Вообще это достаточно характерный недостаток сюжетосложения фантастической прозы — когда автор хочет взглянуть на события с космической высоты, резко меняет масштабы и делает значительную часть произошедших в повествовании событий слишком мелкими. Однако в «оправдание» Рафала Косика можно сказать, что все фазы развития сюжета «Четок», вне зависимости от их масштабности, в равной степени отражают одну и ту же концепцию: значимость факта непонимания человеком того мира, в котором он живет (и который вроде бы он сам создал), и то возмездие, которое на него обрушивается вследствие этого непонимания. Эффект «ученика чародея», выход из-под контроля созданных человеком сил (например, искусственного интеллекта) — лишь вторичный эффект первичного греха непонимания, нежелания знать. И если в традиционном мифе грехопадение человека начинается с того, что он вкусил плоды древа познания, то грехопадение современного мира заключается в отказе от знания — это та цена, благодаря которой человек если не возвращается в Эдем, то попадает в высокотехнологичный псевдо-Эдем. И очень характерно, что в романе Рафала Косика первым актом сопротивления господству искусственного интеллекта была попытка создания удобного для человека интерфейса, который бы позволил по крайней мере понять, на основе каких баз данных g.A.I.a. принимает свои решения. Однако искусственный интеллект жестоко покарал тех, кто хотел заглянуть к нему за кулисы — видимо, полагая, что покушение на его власть есть одновременно покушение на безопасность и благополучие людей, которые он охраняет. А понимание — именно первый шаг к лишению власти.
Непонимание окружающего мира — важнейшая тема современности. Почему громкий успех некогда имела «Новая хронология» Носовского и Фоменко — теория, утверждавшая, будто бы все, что мы из учебников истории знали о древности, — лишь позднейшая фальсификация? Почему постоянно рождаются и приобретают сторонников конспирологические теории? Потому что мир, в котором мы живем, слишком сложен, и все, что мы о нем знаем, в конце концов порождено доверием авторитетным источникам — науке, религии, экспертам, «Википедии», школьным учебникам, заявлениям правительств. Проверить всю сложность даваемой информации никакой человек не в силах; устройства атомных станций, истинные мотивы политиков, причины экономического упадка, закономерности распространения ковида всегда находятся вне зоны контроля простого человека, между тем, то, что «авторитетные источники» часто оказываются инструментами злоупотреблений, слишком хорошо известно. Отсюда желание обмануть сложность, одним прыжком разоблачить систему лжи — например, посмотреть на политику через призму конспирологии. В конце концов и показной цинизм, желание приписывать всем без исключения политическим акторам самые худшие, низменные мотивы — тоже форма конспирологии, происходящая из желания убрать пелену сложности; цинизм превратил фразу «все не так просто» в иронический символ лицемерия, ведь цинизм — не только моральный, но и когнитивный жест, а именно акт упрощения. Но проблема конспирологических теорий (и в частности «Новой хронологии») заключается в том, что их авторы не обладают теми интеллектуальными и информационными ресурсами, которые позволили бы им стать сопоставимыми по мощи соперниками «авторитетных источников». Вот близкий пример: в России многие не доверяют данным официальной статистики, в частности, показателям инфляции, но ни у кого из скептиков нет такого же, как у Росстата, объема данных, чтобы реально пересчитать за него инфляцию. И в «Четках» персонажи много рассуждают, что решения g.A.I.a., по-видимому, несправедливы и, судя по всему, сама система неэффективна — но с уверенностью никто этого сказать не может, данные есть только у g.A.I.a.
Хотя злоупотребления, влияющие на содержание тех же школьных учебников, хорошо известны, всякий воспитанный на этих учебниках испытывает дискомфорт, когда пытаются подорвать его веру в «азбучные истины» — и в «Четках» Рафала Косика упоминаются темы, от обсуждения которых люди невротически уклоняются, видимо, под влиянием манипулирующего психикой искусственного интеллекта, — а эти темы самые базовые: откуда взялся мир, кто создал космические станции, на которых летят люди, как они устроены, кто их починит, если те сломаются?
Невозможность пробиться к правде сегодня стала важной темой интеллектуальной фантастической литературы. Можно вспомнить роман Марии Галиной «Автохтоны» (М: АСТ, 2015), в некотором смысле посвященный самому процессу искажения информации. Главный герой «Автохтонов» пытается и не может проникнуть сквозь пелену городских легенд — их придумывают экскурсоводы для ублажения туристов, их добросовестно косплеют местные жители, причем некоторые сами пали жертвами веры в довольно сомнительные легенды.
Еще более ярко эта тема всплыла в сборнике «Новое будущее» (составитель Сергей Шикарев. М.: Эксмо, 2023). В сюжетах большинства рассказов так или иначе фигурируют неприятные тайные силы, от которых герои (а порою и все человечество) находятся в унизительной зависимости, но о которых они не знают. Финалы же рассказов часто сводятся к тому, что страшная правда о «мировой закулисе» выплывает наружу. Увлечение современных авторов информационными технологиями дает результаты, в некотором отношении обратные тому, что мы видим вокруг. Если в окружающем нас мире технологическая мощь IT делает реальность все более прозрачной, так что даже доклады разведок разных стран оказываются слитыми в сеть, то в рассказах из «Нового будущего» — написанных едва ли не исключительно под знаком недоверия к бытию — вся мощь информационных технологий направлена на сокрытие чего-то важного. Например, в рассказе Владимира Березина «Раскладка» Россия будущего изображается подчиненной латинско-католической культуре, и от ее граждан скрывают православное прошлое и кириллический алфавит. В рассказе Рагима Джафарова «Освобождение» от граждан общества победившего бессмертия скрывают, что люди все-таки иногда умирают. В рассказе Шамиля Идиатуллина «Это наша работа» от человечества скрывают, что всем управляют четырехглазые инопланетяне (или мутанты), в конце же оказывается, что главный герой (сюрприз!) — именно такой инопланетянин, только забыл это и лишнюю пару глаз куда-то спрятал. В рассказе Дениса Дробышева «Будь ты проклят, Марс!» от граждан России будущего скрывают, что людей, отправляемых на освоение Марса, на самом деле до Марса не довозят, а просто убивают.
Нужны экстраординарные меры, чтобы узнать правду. Правда о кириллической раскладке в рассказе Владимира Березина всплывает благодаря компьютерному вирусу. Герою рассказа Дениса Дробышева правду о фальшивом освоении Марса выдает за выпивкой друг-полицейский.
И «Управление» Андреаса Эшбаха, и «Четки» Рафала Косика, разумеется, вызывают ассоциации со знаменитым романом Джорджа Оруэлла «1984». Однако очень важно увидеть разницу. Оруэлла больше интересовали моральные и историософские вопросы, для Эшбаха моральное отношение к тоталитаризму уже не является сложной проблемой, но его в не меньшей степени интересуют технические подробности диктатуры, это, можно сказать, роман о технологиях оруэлловского мира — и явственное предупреждение, что сама мощь уже созданных технологий создает опасность для возникновения новых диктатур.
«Четки» с романом «1984» роднит тема подмены прошлого и фальсификации памяти, но политически два романа диаметрально противоположны — что, конечно, объясняется различием эпох, когда тексты создавались: Оруэлл писал о тоталитаризме и его «логическом продолжении», Косик же дает картину вполне благополучного и демократичного общества, которое лишилось основ своей свободы, делегировав важнейшие вопросы неконтролируемым техническим системам.
Чем ближе к современности — тем важнее техника как таковая.
Если же сравнить книги Эшбаха и Косика между собой, то прежде всего их объединяет пессимистическое отношение к информационным технологиям как к непреодолимой силе, которая обеспечивает торжество зла, если становится его орудием. Впрочем, в этих романах искусственный интеллект противостоит невооруженному человеку. Между тем искусственный интеллект может быть и врагом, и союзником. Для контроля за приобретающими все большую автономию информационными технологиями нужны другие информационные технологии.