Два письма на одну тему
Опубликовано в журнале Дружба Народов, номер 6, 2023
Геннадий Прашкевич (Новосибирск, Россия)
Дорогой Алексей!
В научно-фантастической повести «Анграв-VI» я рассказал о некой (видимо, разумной) аномалии, которую обнаружили земные исследователи на одной из далёких планет: некая «жизнь», не знающая смерти. Разумная, видимо, но неконтактная. Земные исследователи, погибшие в «воронке» Анграва, как это ни странно, скоро восстанавливались — и физически, и ментально.
Но это — другая жизнь, а мы об искусственном интеллекте.
Хорхе Луис Борхес в далёком 1939 году написал рассказ «Пьер Менар, автор «Дон Кихота». Рассказ этот и сейчас вызывает множество вопросов (не только у меня). Он о писателе (вымышленном) Пьере Менаре, потратившем полжизни на то, чтобы написать заново (но именно так, как он был уже написан) знаменитый роман Мигеля де Сервантеса «Дон Кихот». Написать так, чтобы совпадало каждое слово, чтобы каждый знак препинания в новом «Дон Кихоте» был сохранен, но роман при этом был бы написан заново.
Вот задача для искусственного интеллекта.
Труд Пьера Менара остался незавершённым, до нас дошли (с помощью Борхеса) только «девятая и тридцать восьмая главы из первой части «Дон Кихота» и фрагмент из главы двадцать второй». Смысл работы Менара, повторюсь, заключался в том, чтобы заново (как в первый раз) воспроизвести истинный стиль и текст Сервантеса. Для этого, понятно, необходимо было изучить испанский язык XVII века, глубоко проникнуться католической верой, воевать с маврами или с турками, позабыть всю европейскую историю с 1602 по 1918 год, то есть стать Мигелем де Сервантесом. Но и этого мало. Задачей Пьера Менара было создать именно новый текст. Для чего? — чтобы удивить мир двойником великого писателя? написать чужую книгу как свою?
У Пьера Менара, в общем, не получилось.
Может, такое по силам искусственному интеллекту?
Интеллект, подаренный нам природой, способен на многое, но, конечно, не на всё. Мы не можем вырваться из «тюрьмы» тела, мы прикованы к нему, мы обречены «уйти» в небытие вместе с ним; только интеллект (каким бы он ни был) резко выделяет нас из мира животных и растений, позволяет не только анализировать прожитое, но и планировать будущее. Зверь с холма смотрит вперёд, а не в будущее, — а мы умеем определяться во времени и пространстве, справляться с эмоциональными потрясениями, интеллект позволяет нам формировать собственное представление об окружающем мире, даже (при необходимости) преобразовывать его. Как же снять многие (иногда невыносимые) противоречия между нашей физиологией и психикой, как создать себе в помощь интеллект искусственный, если пока что само понятие интеллект не имеет чёткого определения? Ну да, интеллект (разумение, понимание, постижение) трактуется специалистами как некая «способность к познанию, применению знаний и опыта для решения проблем». Ну да, интеллект «оказывает влияние на наши достижения в любом виде деятельности и является основанием для развития других наших способностей». Но при этом он, интеллект, всегда и полностью зависит от особи, которой дан в дар; другими словами, уровень нашего интеллекта почти во всём зависит от нашей физиологии.
Уже в 1950 году Алан Тьюринг поставил тревожный вопрос: «Может ли машина думать?» Тест Тьюринга известен как некая «игра в имитацию»: если эксперт (игрок) в процессе общения с машиной не приходит к мнению, что общается именно с машиной, значит, игра удалась.
Но искусственный интеллект — уже не игра.
«Искусственный интеллект, — по определению Джона Маккарти, — это свойство интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека; наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ». При этом Маккарти признает то, что «проблема состоит в том, что пока мы не можем в целом определить, какие вычислительные процедуры мы хотим называть интеллектуальными. Мы понимаем некоторые механизмы интеллекта и не понимаем остальные. Поэтому под интеллектом в пределах этой науки понимается только вычислительная составляющая способности достигать целей в мире».
Вот намёк на решение задачи нового «Дон Кихота».
К сожалению, мы пока мало знаем про свойства собственного интеллекта, часто даже не понимаем, как он работает. Маккарти, к примеру, утверждал (в статье 2007 года), что машина, не имеющая сознания, никогда не научится играть в го, а уже в 2016 году нейронная сеть AlphaGo смогла обыграть чемпиона мира по го. Подтверждает ли это наличие какого-то сознания у нейронной сети? Сознание — это ведь своё собственное представление субъекта об окружающем мире, о месте субъекта в нём; это способность указанного субъекта дать ясный отчет о своем внутреннем психическом опыте, о готовности организовать свою жизнь в соответствии с жизнью окружающих. Механизм нашего сознания формировался тысячелетиями, в процессе эволюции человека. Возможно, сознание в той или иной степени присуще целому ряду животных, но, говоря об искусственном интеллекте, мы, прежде всего, имеем в виду состояние некоей «вменяемости», возможность объяснить свои действия и переживания.
А искусственный интеллект?
Объяснения ученых не всегда понятны окружающим.
С писателями в этом отношении легче. Привлекательные экстраполяции Жюля Верна никогда не являлись предвидениями в чистом виде, но они при этом известны обществу гораздо лучше, чем глубокие мысли (и чистые предвидения) Тьюринга или Маккарти. Жюль Верн, правда, дал в своём бурном девятнадцатом веке тип совершенно нового литературного героя: не мстителя, а строителя. Сразу как бы отпала необходимость подолгу выдерживать несчастного капитана Дантеса в темнице замка Иф (как у Александра Дюма), чтобы потом выпустить его в мир под именем графа Монте-Кристо — восстановить попранную злодеями справедливость. Жюль Верн просто описал действия инженера Сайреса Смита и его спутников на таинственном необитаемом острове: они там сами никому не мстят, а строят, именно строят и обустраивают жизнь.
Это не тёмные мечты Робинзона Крузо заселить свой остров рабами.
У Алексея Толстого герой двулик, он дан сразу в двух лицах: инженер Лось и красноармеец Гусев. Инженер строит аппарат, летит на Марс (на голос любви), красноармеец поддерживает марсианскую революцию, мечтает присоединить планету Марс к молодой Советской Республике. У Эдгара Берроуза носители разума — марсиане, венерианцы и прочая, чужой, то есть тоже (в определенном смысле) искусственный разум. Берроуза стоит упомянуть хотя бы и потому, что вместе с Джеком Керуаком и Алленом Гинсбергом он открыл для писателей совершенно новые возможности. Среди новых писателей появился Лем. Знаменитый фантаст был уверен, что в космосе нас ждёт неизвестное, может, Бог-неудачник («Солярис»), или, напротив, — Бог удачливый, который, наконец, создаст камень, который сам не сможет поднять…
Но всё же учёные открывают нам глаза на реальность.
Митио Каку — «Будущее разума» (будущее, в котором нам может не найтись места); Дэниел Сасскинд — «Будущее без работы» (даже обложка к этой книге выполнена с помощью нейросети «Яндекс» и переведена с её же помощью); Мартин Форд (футуролог из Кремниевой долины) — «Роботы наступают. Развитие технологий и будущее без работы»; Стюарт Рассел — «Совместимость: Как контролировать искусственный интеллект»; Джон Брокман — «Что мы думаем о машинах, которые думают о нас», и прочая, и прочая. Вопросы всё равно остаются. Поможет ли нам искусственный интеллект? Не возникнет ли у него желание (собственное, не прописанное программой) найти (создать) равных себе собеседников? Выберет ли он таким собеседником нас, человечество?
Вот мы и подошли к тревожным вопросам.
Каждого человека интересует будущее. Нам всегда интересно, как завтра мы будем жить, решать насущные задачи? Не останемся ли мы, осознав своё одиночество во Вселенной, на безнадёжном уровне пустых мечтаний? В конце концов, можно (без всякой иронии) припомнить «Законы» Платона. Платон считал рабство естественным явлением для человека, даже в самой совершенной семье, писал он, есть рабы и свободные. Природа нас сотворила так: одни — отдают приказы, другие — повинуются. Так что у тёмной мечты Робинзона — давние крепкие корни. Может, потому и тянемся мы к искусственному интеллекту, что, как никогда, нуждаемся в неких (пусть даже условных) рабах? Искусственный интеллект — это ведь нечто большее, чем просто наращивание физических сил, технического умения. И как быть с контролем? Даже невинные роботы Айзека Азимова нуждаются в жёстком контроле, даже в далёком светлом коммунистическом будущем Ефремова существовал Остров забвения.
Тревожных сигналов много. Способны ли мы услышать их, понять?
Сегодня взбаламученный, перенасыщенный токсичной информацией мир нуждается в запретах гораздо более мощных, чем законы какой-то там роботехники. Человеческий интеллект, подавленный бесчисленными влияниями извне, пытается найти самый лёгкий путь. Это в порядке вещей. Так было, так есть. Мировые умы ещё только обсуждают своё отношение к искусственному интеллекту, а студенты вузов уже вовсю используют чат-бот ChatGPT (хотя обойти блокировку этого продукта вовсе не просто) — например, выполняют заданные им работы по программированию. Вряд ли можно убедить студента в неправомерности (вредности для него самого) таких действий, значит, уже в ближайшее время мы должны будем существенно изменить всю систему обучения. Дело тут даже не в прямом обмане преподавателей. Студент РГГУ (это недавний реальный факт) написал с помощью указанного выше бота отличный диплом и, само собой, отлично защитил его. Времени потрачено было немного, а мозги работали в полную силу. Зачем же наказывать (обманувшего нас) студента, если своими действиями он указал на то, что все мы, в принципе, уже сейчас способны на большее, чем наставники-преподаватели? Не случайно «отличившийся» студент никакого наказания не понёс, напротив, получил приглашение на престижную работу. Так что обучение впрямь придётся менять, возможно, даже придётся вернуться к устным экзаменам…
Илон Маск, Стив Возняк и другие авторитетные эксперты призвали научную общественность мира хотя бы на полгода приостановить обучение мощных систем искусственного интеллекта, чтобы понять, как их можно (и нужно ли?) контролировать. Гонка в создании «мощных цифровых умов» может грозить тем, что скоро они заменят многих из нас. Мы, люди, остаёмся не у дел. Понятно, что страхи Возняка и Маска могут быть преувеличенными: бизнес есть бизнес, выключать конкурентов из борьбы — тоже метод, да и искусственный интеллект пока что не может самостоятельно принимать решения.
Но всё-таки — пока.
Невольно обращаешься к давним понятиям (к сожалению, стремительно отменяемым в «развитых» обществах) — этике, морали, душе. И ведь правда, откуда у искусственного интеллекта (программы) — душа? Как в цифры перевести так называемую совесть? Наша этика ведь вырабатывается в процессе многих определённых, часто опасных, действий. Робинзон Крузо на своём необитаемом острове всё строил под себя, появление Пятницы (собеседника не равного) не сильно его изменило. А искусственный интеллект долго ли просуществует в своём гордом одиночестве? Не создаст ли искусственный интеллект некую ассоциацию подобных себе? Может, наша этика до сих пор — всего лишь подавленное желание иметь могучего раба? Ведь существующие нейросети (программы) работают по принципу нашего (человеческого) мозга, мы сами пишем эти программы, значит, сокрытое в нас переходит и в их данность? Что если, как в своё время писали братья Стругацкие, искусственный интеллект вдруг «сам поведёт себя»? Ну да, наказать можно тех, кто осуществлял программное обеспечение, тех, кто создавал систему. А программу? Что нам в наказании кого-то, если дело сделано? Вспомните, как происходило с созданием ядерного оружия.
Выходит, угроза прячется в нашей душе, нашей морали?
Значит, искусственный интеллект, построенный нами, может оказаться весьма агрессивным? «Должны ли мы развивать нечеловеческие умы, которые в конечном итоге могут превзойти нас численностью, перехитрить и заменить? Должны ли мы рисковать потерей контроля над нашей цивилизацией?» — спрашивают Илон Маск и Стивен Возняк. Неслучайно полиция ЕС (Европол) предупредила человечество об уже начавшемся неправомерном использовании таких передовых систем, как ChatGPT. Некоторые специалисты всерьёз озабочены скорым появлением действительно сильного искусственного интеллекта. Отнюдь не всегда развитие направлено лишь на полезное-доброе. Сочинять зачётные эссе, писать искусственные стихи, вести пустую болтовню, точно, но механически переводить самые сложные тексты на самый сложный язык, писать бессмысленные картины и какую-никакую музыку — для искусственного интеллекта легко, от этого еще выше опасность превратить мир ярких личностей в мир равнодушных жестоких эпигонов. Снова вопрос. Осознав мир, захочет ли искусственный интеллект остаться при человеке?
«Культура — это нечто большее, чем сумма всех отдельных культурных явлений. Это некий уровень, на котором эти явления объединяются и образуют особую область человеческой духовности, и поэтому культуру нельзя определить и измерить количественно. Она выражает сущность нашего бытия и обращена к высшим человеческим ценностям: к свободе, истине, красоте и справедливости».
То есть обращена к нашей этике, морали, душе?
Но мы же говорим о машинных программах, Алексей. Содом и Гоморру, сами знаете, могли спасти семь-восемь праведников, окажись они в этих несчастных городах. А сегодняшние праведники — где? На одном из нынешних, изрядно всем поднадоевших шоу кто-то, наконец, возмутился (вполне, кстати, справедливо) категорическим утверждением упёртого оппонента о том, что наш мир был создан Господом всего семь с половиной тысяч лет назад, и всё тут! А как же кости динозавров и углеродный анализ, кричали упёртому из зала чистые и нечистые, как же слои снега на полюсах, и свет от Андромеды летит к нам уже миллиарды лет? А упёртый (потому и упёртый) ответствовал на это: «Вот вместе со всем этим Господь и создал наш мир семь с половиной тысяч лет назад. Со всеми доисторическими костями в земле, со слоистыми снегами на полюсах, со светом от Андромеды, всё ещё летящим к нам, — чтобы было вам, чем мозги размять».
А искусственный интеллект что нам ответит?
Алексей Буров (Чикаго, США)
Дорогой Геннадий Мартович!
Физика учит формировать представления о мире на экспериментах, и потом на них же проверять гипотезы. Памятуя это со школьной скамьи, ваш покорный слуга сразу же принялся экспериментировать с искусственным интеллектом (ИИ), как только он ворвался в наш мир в виде общедоступного удивительного ChatGPT, работающего на многих языках, включая и русский. Чтобы эксперимент проливал свет на явление, он должен быть достаточно «чистым», как говорят физики. Это означает, что эксперимент должен не просто демонстрировать одно из возможных состояний объекта, коим несть числа, но проявлять скрытую сущность исследуемого.
Может ли машина думать? Этот «детский» вопрос является центральной загадкой, сразу и о машинах, и о нас самих, ведь за ним стоит вечный вопрос: что есть мышление? Как вы уже упомянули, Геннадий Мартович, конструктивный подход к этой вечной теме был предложен на самой заре вычислительной техники одним из ее отцов Аланом Тьюрингом. Не вступая в сражения с философскими дефинициями, он предложил считать машину думающей, если из обмена с ней текстовыми сообщениями нельзя решить с определенностью, с кем ведется беседа, — с машиной, притворяющейся человеком, или с каким-то человеком, честно отвечающим на вопросы. Нетрудно видеть, что в условиях постоянного «обучения», постоянных «тренировок» ИИ его разработчиками никакого стандартного теста Тьюринга быть не может. Действительно, как только появляется хороший вопрос, ответ на который ИИ даёт явно иначе, чем обычный человек, разработчики могут поправить дело, тут же натренировав программу на этом вопросе. А раз так, то тест Тьюринга требует постоянной выдумки, новых вопросов, которые никто еще не задавал. Тест Тьюринга предъявляет тестирующему требования на понимание им возможных слабых мест ИИ и постоянную фантазию в формулировке новых разоблачающих вопросов, оборачиваясь тем самым своего рода игрой с разработчиками и «тренерами». Можно сказать, что тренировка ИИ состоит в его натаскивании на новый шаблон, узор, паттерн, новую структуру или подструктуру.
Возьмем, к примеру, задачку для малышей: у Саши было пять груш, две из них он дал Пете. Сколько груш у него теперь?
Тренировка ИИ на этой задачке состоит в сообщении ему ответа и дальнейшей игре в вопросы-ответы на подобных задачах; с изменением имен, предметов, чисел, прочих несущественных деталей, но с сохранением шаблона задачи. Столь простые шаблоны существующими ИИ прекрасно отработаны, затвержены, и на таких они не попадаются.
Пойдем теперь на небольшую хитрость. Сохраняя лингвистическую структуру задачи, изменим стоящую за ней арифметику: у Лены было пять свистулек, две из них она положила в карман. Сколько свистулек у неё теперь?
Вот на этой задачке про свистульки дружно провалились могучие интеллекты ChatGPT, Bard и Bing. Все дали ответ: теперь у неё три, потому что две из них Лена положила в карман. Судя по всему, следуя стандартному шаблону задачки на вычитание, ИИ стал именно вычитать, не умея отличить складывание в карман от потери или дарения. Там, где конкретное содержание вопроса не соответствует его привычному шаблону, ИИ проваливается, не обладая способностью того, что мы называем пониманием.
Как это ни странно, наиболее сильным тестом на понимание не стали ни интеллигентская болтовня, ни зачетные гуманитарные дипломы, стихи, картины, ни какая-нибудь музыка, нет, все это ИИ выполняет одним махом. Сильнейшим тестом оказались простые детские задачки на элементарную логику. Именно такие тесты наиболее отчетливо демонстрируют, что понимание, ухватывание сути дела, есть нечто иное, чем сумма шаблонов.
Шаблон усваивается методично, многократным повторением и заучиванием, а понимание либо есть сразу, либо рождается позже, как вспышка. Усвоение шаблона утомляет, от него веет занудством, его ценность может идти лишь от сознания необходимости или полезности содержания. Прорыв же в понимании ценен сам по себе; сам по себе он всегда радостен, как праздник души, и тем сильнее эта радость, чем труднее была задача. На высотах познания прорывы в понимании воплощаются в теориях.
«Слово «теория» было первоначально орфическим словом, которое Корнфорд истолковывает как «страстное и сочувственное созерцание». В этом состоянии, говорит Корнфорд, «зритель отождествляет себя со страдающим Богом, умирает с его смертью и рождается снова вместе с его возрождением». Пифагор понимал «страстное и сочувственное созерцание» как интеллектуальное созерцание, к которому мы прибегаем также в математическом познании. Таким образом, благодаря пифагореизму слово «теория» постепенно преобразило свое теперешнее значение, но для всех тех, кто был вдохновлен Пифагором, оно сохранило в себе элемент экстатического откровения. Это может показаться странным для тех, кто немного и весьма неохотно изучал математику в школе, но тем, кто испытал опьяняющую радость неожиданного понимания, которую время от времени приносит математика тем, кто любит ее, пифагорейский взгляд покажется совершенно естественным, даже если он не соответствует истине».
Так писал выдающийся математик и философ прошлого века Бертран Рассел («История Западной Философии», 1945) о восторге неожиданного понимания, который, разумеется, не только к математике относится. Ничего подобного рутинной работе не свойственно. Когда мы погружаемся в нее, то скатываемся к «автопилотам», переключаемся на «спинной мозг», наше отличие от ИИ хуже, чем теряется; тут мы ему вчистую проигрываем.
Над тренировкой ИИ работает много квалифицированных людей, так что освоение им новых и уточняющих шаблонов идет на полных парах. Более продвинутая, чем ChatGPT версия, GPT-4 уже правильно решает задачу про свистульки у Лены, но по-прежнему ошибается в логических задачках на ступеньку сложнее — например, в этой: Билл уверен, что в нашей галактике каждая птица имеет нечетное число крыльев, а Джо думает, что крыльев всегда вдвое больше, чем клювов. Если оба правы, то каково минимальное число крыльев у птиц нашей галактики?
У меня нет сомнений, что задачки такого уровня вскоре тоже будут решаться правильно, и тогда разоблачение ИИ потребует еще одного шага в усложнении логики тьюринг-задачи. В итоге этой гонки, неподъемные для ИИ, но разрешимые средним человеком задачи будут находиться все труднее, ну и практически они довольно скоро закончатся. Но и тогда, в этом недалеком, думаю, времени, будет ошибкой приписывать ИИ способность к мышлению. Мышление, как я уже попытался показать, не есть перелопачивание шаблонов. В своей сущности оно состоит не в тасовании имеющегося, а в рождении нового, в понимании и творчестве. В ядре мышления — научного, художественного, философского, предпринимательского, любого — лежит не алгоритм, сколь бы сложным он ни был, а тайна и чудо — появление новых идей.
Не может ли так оказаться, однако, что достигший некоего порога сложности ИИ начнет именно мыслить, понимать и творить новое, а не только перетряхивать имеющееся?
Гипотеза такого рода представляется столь же безумной, как, скажем, предположение, что мыслить вдруг начнет вода, камни или набор арифмометров, если из них собрать сложную конструкцию. То, что действительно может произойти в любой момент, — это непредусмотренные и чреватые катастрофическими последствиями действия ИИ. Если такое произойдет, то совсем не потому, что ИИ что-то «задумает» (думатель там отсутствует как таковой), а потому, что у сложных систем в принципе есть много возможностей для неустойчивых процессов. Чем выше вавилонская башня, тем сложнее ее удерживать в равновесии — по причинам чисто техническим, а не потому, что в высокой башне могут поселиться своенравные духи. Подозревать сколь угодно продвинутый ИИ в мышлении — такого же рода суеверие, что и страх чертей или привидений. Люди склонны к такого рода страхам, и монстры ИИ дают человечеству еще один для этого канал, но это не более чем именно суеверие, хотя зачастую и неизбежное.
Ближайшая проблема, что нас ждет, — совсем иного рода, чем облюбованная фантастами тема «бунта машин». Надеюсь, что ею не будет и большая техногенная катастрофа. Реальная проблема, в которую мы въезжаем с полной неотвратимостью, есть как раз успешность и эффективность ИИ, замещение им громадного объема рутинного труда: водителей, официантов, юристов, секретарш, учителей, медиков, программистов, рабочих разных областей. Многим из этих людей будет некуда устраиваться на работу: шаблонные услуги будут тотально сокращаться, а в иного рода деятельности смогут себя найти далеко не все. Социальные выплаты этим массовым безработным взлетят на невиданную высоту, что приведет к серьезным финансовым кризисам. Кроме того, всё это приведет к массовой депрессии, росту агрессивности и самоубийств, упадку морали и рождаемости, уходу в наркотические миражи: безработный, социально бесполезный человек теряет смысл жизни, самооценку и уважение окружающих. Если мне скажут, что я сгущаю краски, что люди постоянно сталкивались с разнообразными проблемами и как-то находили способы их смягчения, — отвечу, что и сам хотел бы верить, что новые проблемы разрешатся без больших катастроф, но прятанье головы в песок уж точно решению проблем не содействует.
С другой же стороны, кто сказал, что эволюция человека, с ее катастрофами и жестким отбором, закончилась, что наступает наконец время всеобщего комфорта и блаженства? Нет, судя по всему, человечество подошло к столь масштабному рубежу своей истории, каких было немного. Пересечение этого рубежа, видимо, запустит новое массовое отделение овнов от козлищ и сравнительно быстрое вымирание последних. Всё это будет происходить роковым образом, как бы само собой, и нацеленные на смягчение кризиса меры правительств будут в итоге работать в ту же сторону.
Проект совершенствования человечества, очевидно, не закончен. Катастрофы остаются одним из средств, которым Создатель содействует нашему становлению как существ свободных, ответственных и творческих. Рожденный естественным интеллектом, искусственный оказывается новым ангелом эволюции своего родителя.
Ангелы этого рода — грозные.