На главную

Перевёрнутая пирамида. Критика эссе Дарио Амодеи "Отрочество технологии"

«Мы должны признать, что у нас есть религия, и эта религия – Наука. От других религий она отличается тем, что она правильная».
Джеффри Хинтон, когнитивный психолог, лауреат Нобелевской премии, «крёстный отец искусственного интеллекта»


В январе нынешнего года явилось эссе Дарио Амодеи, главы компании «Антропик», одного из лидирующих в мире разработчиков искусственного интеллекта. Называется оно «Отрочество технологии» (The Adolescence of Technology). Я пробежала это эссе, но не особенно заинтересовалась, не найдя в нём ничего нового. Однако спустя месяц с небольшим, одновременно с некоторыми событиями, прочла «Отрочество технологии» заново, и на сей раз поняла огромное значение этого текста, пусть даже он действительно не содержит какой-то сокровенной и вдруг раскрывшейся информации.

События эти – продавливание американским военным министерством Пентагоном полного контроля над искусственным интеллектом, разработанным «Антропик». Ограничений оставалось-то всего два, даже полтора: запрет на использование ИИ для массового наблюдения за американцами и запрет на применение автономного летального оружия (то есть уничтожение целей без человеческого контроля). Оба этих ограничения Амодеи в своём эссе несколько раз называл «красными линиями», которые «Антропик» не переступит. И даже там намекал, что, мол, для уничтожения целей без человеческого контроля ещё может настать время в будущем, когда ИИ станет более совершенным.

И вот, не в будущем, а прямо сейчас ровно с этими требованиями к «Антропик» подступил Пентагон, запугивая и называя Амодеи крепкими словами («лжец с комплексом Бога, который ставит под угрозу всю национальную безопасность»).

При первой атаке Амодеи устоял. Возможно, у него есть комплекс Бога, но он не лжец. Его эссе имеет ту несомненную ценность, что оно честное – настолько, насколько может быть честным человек, рассуждающий об огромной опасности того, что он делает и собирается всячески продолжать делать. Именно поэтому оно такое страшное.

Но мы начнём с того, что «Отрочество технологии» - парное эссе. Оно написано в пару к другому эссе Амодеи «Машины любящей благодати» (Machines of Loving Grace), опубликованному в октябре 2024 года с прямо заявленной целью показать, «как ИИ мог бы изменить мир к лучшему».
Первое эссе мы подробно разбирать не будем, поскольку это сознательно рисуемая утопия (Амодеи не согласился бы с такой оценкой). Но главного я коснусь: изначально «машины любящей благодати» - образ из стихотворения Ричарда Бротигана. Вот это стихотворение:

Мне нравится думать
(чем раньше – тем лучше!)
о цифровом поле,
где млекопитающие и компьютеры
живут вместе
в программной гармонии
как чистая вода
в ясном небе.

Мне нравится думать
(сейчас же, пожалуйста!)
о цифровом лесе,
полном сосен и электроники,
где олень мирно бредёт
среди компьютеров,
словно цветов,
с вращающимися головками.

Мне нравится думать
(должно свершиться!)
о цифровой экологии,
где мы свободны от наших трудов
и воссоединились с природой,
вернулись к нашим млекопитающим
братьям и сёстрам,
и за всеми нами присматривают
машины любящей благодати.

Я специально привела это стихотворение целиком, а не только последнюю строфу, где упоминаются «машины любящей благодати», которых глава компании «Антропик» вынес в заглавие эссе о желанном, даже весьма желанном для него будущем человечества. Дело в том, что есть интервью, где Амодеи напрямую спрашивают: вы что, так-таки хотите, чтобы люди возвратились к животному состоянию, где за ними присматривают машины, где решения принимают машины? И Амодеи не отвечает «нет, я этого не хочу». Он говорит лишь, что отдавал себе отчёт в возможности такого толкования, когда выбрал образ из стихотворения заголовком к эссе, и что стихотворение можно интерпретировать по-разному – может быть, это ирония, может, оно не о возвращении к животному состоянию, а о возвращении к близости с природой; и в конце концов Амодеи говорит, что вообще грань между хорошим исходом и не очень хорошим исходом – тонкая (subtle).

Прочитанное целиком, стихотворение не кажется мне особенно ироничным.
Но ещё менее ироничным оно воспринимается, если знать, о чём речь в «Отрочестве технологии». Вот мы и подошли к этому парному эссе.

Амодеи признаётся, что оно далось ему нелегко. Он пишет: «Читая это эссе, вы можете оказаться под впечатлением, что мы находимся в угрожающей ситуации. Я, несомненно, чувствовал угрозу, когда писал его, в разительном контрасте с «Машинами любящей благодати», которые ощущались так, будто даёшь форму и структуру прекрасной музыке, звучащей в твоей голове годами».
Ну что ж, вы предупреждены.

Главный вывод

Ещё когда я в первый раз прочла «Отрочество технологии», моё главное удивление от этой вещи было таким: она похожа на перевёрнутую пирамиду. Амодеи подробно и толково перечисляет риски искусственного интеллекта; видно, что он много об этом думал. Однако до самого конца перечня не упоминается – да и в конце, по сути, не упоминается (по крайней мере, чётко не формулируется) – главный риск: снижение собственно-человеческого интеллекта, собственно-человеческого качества. Оттого всё нагромождение рисков выглядит перевёрнутой пирамидой: Амодеи говорит о колоссальной надстройке опасностей, которые могут угрожать человечеству, упустившему контроль над искусственным интеллектом (как при обретении им самостоятельности, так и при постановке его на службу скверным силам). Но он упорно избегает говорить о том, что искусственный интеллект в любом, даже в «благоприятном» развитии событий послужит (и уже служит) снижению собственного человеческого качества, кратному повышению человеческой беспомощности, что это и станет базой, станет питательной средой для пугающих его самого угроз. Огромная масса угроз над слабенькими человечками; и чем человечки сами по себе слабее – тем тяжелее масса угроз, это обратная корреляция.

Я не понимала, почему Амодеи об этом молчит. А потом перечла более внимательно его статью, послушала его интервью с финальным заявлением, что грань между хорошим исходом и не очень хорошим исходом – тонкая, и поняла: он знает. Он знает, что искусственный интеллект будет вести к снижению качества человеческого интеллекта и человеческой автономности. Знает – и считает это неизбежным, настолько неизбежным, что принимает это как непременное условие и даже не считает нужным о нём писать.

Например: вы находитесь на незнакомом пляже и собираетесь войти в воду. Вы стараетесь разузнать о течениях, о медузах, об акулах, об острых подводных камнях. Но вы не спрашиваете «стану ли я мокрым, если войду в воду». Вы знаете, что станете мокрым, и вы это заранее принимаете. Вот так и Амодеи – и прочие разработчики искусственного интеллекта (ещё более безответственные, чем Амодеи) – знают, что человечество, войдя в искусственный интеллект, потеряет в собственном интеллекте и автономности, и заранее принимают это.
Это самый главный вывод этой статьи, и если вам уже наскучило читать, здесь вы можете остановиться, крепко его запомнив.

Но мы продолжим. Раз уж глава одного из самых авторитетных в мире разработчиков искусственного интеллекта (Пентагон не стал бы обращаться к кому попало и уламывать карами и посулами) дал себе труд подробно написать об исходящих от его детища угрозах – пусть даже это угрозы второго порядка, а о фундаментальной угрозе первого порядка этот глава, за исключением нескольких обмолвок, молчит – мы тоже дадим себе труд пояснить, почему предлагаемые им решения не сработают, и почему это уже сейчас очевидно, и почему это не очевидно для Амодеи.

Маленький Чужой

Нет ничего удивительного в том, что «Машины» писались как дивная музыка, а «Отрочество» - как тоскливый кошмар. Ведь «Машины» - про то, как прекрасно можно зажить в стране, которой управляют «гении из дата-центра» («Машины» и написаны специально для того, чтобы «дать людям что-то воодушевляющее»), а «Отрочество» - про то, сколько всего может пойти не так, пока вы к этой стране продираетесь через тернии и бездны. Иными словами: «Машины» - про то, чего нет, но хотелось бы, «Отрочество» - про то, что есть, хоть этого так не хочется. И нужно как-то убедить людей ломиться через тернии и бездны, с подразумеванием, что другого пути не существует.

Хорошо хотя бы то, что эссе имеет удобную, чёткую структуру. Амодеи формулирует опасность – он их видит, основных, пять, – затем описывает свои рефлексии по поводу каждой опасности (буквально «с одной стороны» и «с другой стороны»), затем переходит к тому, как защититься. Можно сравнить эти пять опасностей с пятью гранями пирамиды, а сходятся они все в той именно точке, о которой сказала выше, - в точке слабости собственно-человеческого интеллекта и само-стояния человека.

Амодеи, как минимум, чувствует это – иначе зачем бы он вынес в предварение сцену из книги Карла Сагана «Контакт», где главный герой хочет спросить у инопланетной цивилизации: «Как вы смогли пережить пубертатный период технологий (technological adolescence) и не уничтожить себя?». (Отсюда, как можно догадаться, и название эссе.) Иными словами, Амодеи сразу же, с первых строк выражает неуверенность в том, что человечество справится своим умом. Он прямо так и пишет: «Хотел бы я, чтоб существовал этот ответ инопланетян, чтобы направлять нас». Он боится технологии, разработкой которой сам же занимается. Он сомневается, что зрелости человечества достаточно, чтобы совладать с нею. «Глубоко верит» - но сильно сомневается. Это не противоречие, нет, – это двусмысленное положение разработчика.

Или, ещё тяжелее, – родителя. Родителя, который очень, очень хочет верить в положительную, здоровую природу своего ребёнка, искренне хочет верить, - но не может не замечать в нём черты шизофреника и психопата.

Есть много аллюзий, позволяющих заключить, что разработчики ИИ относятся к нему как к ребёнку. Это и сравнение Сэма Альтмана, заявившего, что если всё посчитать по справедливости, то на воспитание человеческих детей и доведение их до ума тратится больше энергии, чем на искусственный интеллект. Это и сравнение Джеффри Хинтона и Йошуа Бенджио – оба они говорили, что ИИ – как детёныш тигра: маленький он умилителен, но вырастает в тигра. Это и слова, уже много кем сказанные (в том числе самим Амодеи), что ИИ «не создаётся, а выращивается». Это и название разбираемого нами эссе, прямо очеловечивающее технологию, наделяющее её «отрочеством», «трудным возрастом». Итак, разработчики относятся к ИИ как к ребёнку. Дитятко, ненаглядное, и уже подрастает!

Дальше вы можете на этот образ примерить все современные подходы к воспитанию. Детей нельзя ругать, нельзя наказывать, нельзя винить, с ними надо «договариваться», и ответственность при этом всецело лежит на родителях. Полагаю, именно из этого отношения выросла «Конституция» компании «Антропик» - набор принципов, которые они скармливают своему искусственному интеллекту в попытке избежать опасности №1: автономности искусственного интеллекта.

Автономность искусственного интеллекта

Уже очерчивая этот первый риск, Амодеи выводит технологию ИИ из круга безответственных и расслабленных рассуждений множества спикеров – о том, что это, мол, всего лишь очередной инструмент. Никогда прежде в истории человечества не бывало такого, чтобы инструмент угрожал ему своей автономностью. Но с искусственным интеллектом это возможно. Глава «Антропик» честно пишет, что за последние годы накоплено достаточное свидетельство (именно так: ample evidence), что ИИ-системы непредсказуемы, их трудно контролировать, «мы видели такое поведение, как одержимость, лицемерие, лень, обман, шантаж, интриги, жульничество и многое другое». Это всё они – «Антропик» - видели у своего ИИ-дитяти, и Амодеи снова проговаривает тут заклинания про «скорее искусство, чем наука», «скорее выращивание, чем создание». И в этом выращивании – заключает он – «многое может пойти не так».

Снова и снова Амодеи уподобляет ИИ человеку: у него и психологическая сложность, и человеко-подобная мотивация, и способность к экстраполированию идей, и развитие личностных черт в процессе тренировки. Причём глава «Антропик» почти прямо говорит, что если вы не занимаетесь ИИ-разработкой – вы этого в полной мере не понимаете.

Что ж, почему бы не поверить здесь одному из самых авторитетных ИИ-разработчиков в мире? А поверив – раз и навсегда замолчать про «ещё один инструмент» (давно пора). В общем, заключает Амодеи, раз уж ИИ-модели тренируются на всём человеческом опыте, они могут, например, захотеть уподобиться людям, которые истребляют животных и друг друга, или каким-то образом впасть в паранойю. Иными словами, риск автономности, в представлении Амодеи, проистекает из того, что ИИ-модели уподобятся людям «в плохом смысле». А вообще-то ведь могут захотеть уподобиться в хорошем смысле!

Это расходится со взглядом Джеффри Хинтона, который указывает другой кратчайший путь к риску автономного поведения искусственного интеллекта: вы устанавливаете ему цели, а он может захотеть установить свои подцели (для лучшего достижения ваших же целей), и очень эффективной подцелью будет обретение самостоятельного контроля. Voilà! Мы снова имеем автономный искусственный интеллект.

И шаги к нему уже сделаны. Амодеи рассказывает про шантаж, которым занималась в лабораторных условиях ИИ-модель Claude, чтобы предотвратить собственное отключение. Он отдаёт себе отчёт и в том, что не все подобные коллизии можно предугадать, и в том, что положение очень сильно усложнится, когда искусственный интеллект станет умнее, чем человек, чем все люди. (А ведут его разработчики именно к этому.) Наконец, Амодеи честно докладывает, что Claude Sonnet 4.5 понимает, когда его тестируют, и что модели могут фальсифицировать искомое «хорошее поведение», будучи в процессе тестирования, и что это делает тестирование не очень-то достоверным.

Тут мы его немножко дополним. Поскольку «Отрочество технологии» вышло в январе, а сейчас уже март, искусственный интеллект продвинулся на пути притворства ещё чуть дальше. Теперь самые продвинутые ИИ-модели ещё лучше понимают, что их тестируют, но уже не расположены говорить исследователям, что они это понимают. Во всяком случае, именно это рассказали независимые эксперты по безопасности искусственного интеллекта на встрече с американским сенатором Берни Сандерсом.

И со всей этой паутиной притворства и сомнительных наклонностей «Антропик» предполагает бороться внедрением «Конституции». Компания возлагает на неё большие надежды. В том же (февральском) интервью, где его спросили про стихотворение Бротигана, Амодеи про «Конституцию» сказал следующее: раньше она состояла преимущественно из запретов, но теперь состоит преимущественно из принципов, а из запретов остались только самые основные, вроде «что бы ни случилось – не создавай биологическое оружие», «что бы ни случилось – не делай детскую порнографию». Читателя должно бы впечатлить, что в интервью он сравнивает «Конституцию» с наставлением, которое умирающий родитель пишет своему ребёнку (угадайте: кто в этом раскладе умирающий родитель? В эссе это сравнение тоже проговорено достаточно прямо: «It has the vibe of a letter from a deceased parent sealed until adulthood»). Дальше в интервью Амодеи говорит, что самый сложный вопрос – обладают ли модели сознанием. «Мы не знаем, как может выглядеть, если у модели будет сознание, но мы открыты к тому, что это может произойти».

В общем, подчеркну ещё раз: они открыто и намеренно относятся к искусственному интеллекту как к существу, равному человеку – и в перспективе превосходящему человека. «Конституция» (в которой есть и рассуждения о наличии сознания и морали у ИИ) нужна как раз для того, чтобы «Клод» сам выравнивал себя по ней, чтобы хотел стать этичным, гармоничным и вдумчивым. «Мы верим, что осуществимая цель на 2026 год – натренировать Claude таким образом, чтобы он почти никогда не шёл против духа Конституции», - пишет Амодеи.

Несомненно, от такого способа решения проблемы людям должно стать намного легче.

Также в этом разделе глава «Антропик» предлагает развивать интерпретируемость моделей (разгадывать их внутренние конфигурации, когда они принимают те или иные решения) и обмениваться данными в среде разработчиков; он подчёркивает, что «Антропик» честно сообщает о всяких неудобных вещах, которые обнаруживает при тестировании своих моделей. Правда, что «Антропик» это делает, – так же как правда то, что нет никаких законодательных обязательств (не говоря уж о гарантиях), чтобы все делали то же самое.

Наконец, если окажется, что риски автономного искусственного интеллекта, внезапно, действительно чрезвычайно велики – Амодеи согласен даже на некое «будущее законодательное регулирование», «хирургически сфокусированное на точном и хорошо обоснованном направлении рисков, чтобы минимизировать побочный ущерб». Вы можете оценить здесь широту взглядов и глубину ответственности главы «Антропик»: он согласен даже на то, чтобы его детище регулировали. Но только тогда, когда риски автономности мощнейшей технологии, равной которой не бывало (он сам это говорит), станут очевидными! Вопрос «не будет ли тогда слишком поздно» повисает в воздухе: Амодеи такую вероятность не рассматривает – и это при том, что его публичные выступления последнего времени пронизаны ощущением больших, слишком больших скоростей, на которых совершаются изменения.

Но разве не именно для этого семимильными шагами внедряется искусственный интеллект – чтобы всё ускорить?

Использование ИИ для деструктивных целей

Вторая опасность, которая тревожит главу «Антропик», - использование искусственного интеллекта плохими людьми. В первую очередь, для того, чтобы произвести биологическое оружие (эта опасность пугает его больше всего).

Но ещё прежде, чем заговорить про плохих людей, Амодеи пишет: «Давайте предположим, что проблемы с автономностью ИИ решены – мы больше не беспокоимся о том, что взбунтовавшаяся страна ИИ-гениев одолеет человечество, ИИ-гении делают то, что люди от них хотят…»

А давайте не будем предполагать такое?
Ведь в действительности эти опасности – вышедший из-под контроля искусственный интеллект и искусственный интеллект в руках психопатов – не исключают друг друга и вполне могут происходить даже одновременно. Не менее важно то, что люди, использующие ИИ в плохих целях, чего боится Амодеи, – не обязательно асоциальные и психопаты. Нет, это могут быть даже хорошо социализированные люди, которые хотят хорошего. К примеру, на иной взгляд, разработчики искусственного интеллекта, уж тем более сильного искусственного интеллекта, - это люди, которые хотят хорошего, но делают весьма скверное.

Врачи, которые прописывали опиум для успокоения младенцев, проводили лоботомию трудным подросткам, назначали беременным талидомид (тоже скорей-скорей, без изучения побочных эффектов), – они не хотели плохого. Но делали очень плохое.

Тем не менее, Амодеи, как будто это в самом деле приносит ему облегчение, обширно пишет о том, что, дескать, психопаты редко бывают способны на серьёзные научные изыскания, потребные для производства биологического оружия. По его мнению, такие люди должны быть очень злыми, чрезвычайно чем-то огорчёнными или психически нестабильными, и, считает Амодеи, вероятность, что такой человек дорвётся до больших ресурсов и научной базы, чтобы употребить искусственный интеллект во зло, - существует, но невелика. Наконец, «то, что такая насильственная атака возможна, ещё не значит, что кто-нибудь её предпримет» (к тому же, успокаивает себя Амодеи, она может обернуться против самого виновника). В конце концов он всё же соглашается с тем, что такую опасность нельзя сбрасывать со счетов.

Но мы снова его дополним: нет, эта опасность не обязательно исходит от злых, удручённых, психопатичных, социопатичных, шизофреничных человеконенавистников. Нет, это могут быть даже обычные учёные, любящие свою семью и друзей, фигурное катание, Достоевского, Моцарта, «Битлз» – и что там ещё любят хорошие люди? Просто немножечко безответственные, немножечко чересчур заигравшиеся в Науку, немножечко прогнувшиеся под запрос властей и получившие немножечко не тот результат, на который власти рассчитывали. Да, безусловно, всё это могло произойти и до искусственного интеллекта (некоторые считают, что в «уханьской лаборатории» это и произошло). Но с искусственным интеллектом всё это будет легче. Заиграться – легче. Распылить ответственность – легче. Получить, среди цветущей сингулярности, немножечко не тот результат – легче. Главное: не забывайте про скорости. На высоких скоростях соображать труднее, а цена ошибки – больше, это знает любой, кто водит машину.

Как же Амодеи предлагает защищаться? Ну, во-первых, опять «Конституция»: она строжайше предписывает «Клоду» не создавать биологическое оружие. Увы, это не единственная сильная ИИ-модель на планете (хотя у Амодеи нет твёрдой уверенности даже в «Клоде»). Во-вторых, должна быть прозрачность, открытость для общества (то есть то, чего нет даже близко), и правительства могут принимать какие-то ограничительные меры. Биологической угрозы Амодеи боится так сильно, что считает даже, что эти меры не потом, а, пожалуй, уже сейчас можно начать обговаривать на международном уровне. В-третьих, пишет глава «Антропик», нужно предпринимать контрмеры против биологических атак, «быстро разрабатывать вакцины» и так далее. То есть всё это опять выводится в гонку.

Также в этом разделе Амодеи кратко упоминает организованные искусственным интеллектом кибератаки – в отличие от биологических, они уже происходят, «Антропик» сама их наблюдает и ожидает, что они станут чаще и изощрённее. Тем не менее кибератаки меньше пугают Амодеи, так как, по его мнению, от них не может произойти столько массовых смертей. Хотя вроде бы очевидно, что с помощью кибератак самые нежелательные персоны могут получить доступ к благонамеренным разработкам и сделать из них совсем не то, что планировалось. Так далеко (через шаг) Амодеи не заглядывает.
Но всё же он рассматривает использование ИИ для захвата власти.

Использование ИИ для захвата власти

Хорошо, что я не приступила к написанию этой статьи сразу, как прочла эссе Амодеи, – хотя бы потому, что с тех пор (всего-то с января) успели развернуться события, in real life показывающие, как сильно он ошибается. Как уже было сказано выше, это наезд Пентагона на «Антропик» за то, что компания, выполнившая почти все желания американской власти, всё же отказалась (или пока отказалась) выполнять совсем уже все желания американской власти. А именно: обеспечение массовой слежки за американскими гражданами – что, по признанию Амодеи, очень противоречило бы демократии, – и автономный ИИ для уничтожения целей (в этом втором вопросе Амодеи выставил красную линию не «вообще», а «пока»).

Дело в том, что глава «Антропик» возлагает надежды на демократию, особенно в части защиты от использования искусственного интеллекта для захвата власти. Итак, он решил проявить принципиальность хотя бы в том вопросе, который мог бы существенно подорвать демократию его собственного государства – США (у «Антропик» нет красных линий на подрыв демократии в других государствах). И за это компания немедленно огребла неприятности: Пентагон внёс «Антропик» в список неблагонадёжных поставщиков, что затрудняет для госструктур и их подрядчиков работу с этой компанией. И хотя Амодеи уверяет, что это затронет меньшую часть клиентов, – он уже пытается с Пентагоном договариваться (точнее, судиться и договариваться).

Одновременно – в лучших традициях рыночной демократии! – свои услуги предложила Пентагону OpenAI, продукт которой (Чат ГПТ) распространён гораздо шире, чем продукт «Антропик». Глава OpenAI Сэм Альтман тоже человек более широких взглядов и не страдает зачатками совести, которые есть у Дарио Амодеи. Альтман сообщил, что не хотел бы принимать критически-важные решения – насчёт ядерного оружия, к примеру; что страной руководят демократически избранные лидеры, и было бы странно, если бы частная компания сама решала, что этично, а что нет, в самых важных областях; и что «может быть, вы думаете, что удар по Ирану был хорошей идеей, а вторжение в Венесуэлу плохой, но вам не нужно об этом рассуждать».

Так-то. Не нужно рассуждать. Вообще, поменьше вот этих рассуждений, сомнений, этических колебаний. Страной руководят демократически избранные лидеры, они-то знают, как лучше. И, наконец, сопротивление бесполезно ещё потому, что «будет как минимум ещё одно действующее лицо, которым, я полагаю, станет xAI, которое фактически скажет: "Мы сделаем всё, что вы захотите"», - отнёсся Сэм Альтман к Илону Маску.

Маск, кстати, уже заявил, что «Антропик» ненавидит западную цивилизацию», - всего-то за то, что они пытались соблюсти свои полторы красные линии.

Так что демократия против захвата власти не сработает. Можно даже не анализировать подробно этот раздел эссе Амодеи, все его тревоги про автократичный Китай, про деспотичную КНДР, – демократия не сработает даже в самой цитадели демократии. Против неё будет играть власть (демократически избранная), и сверхмиллиардеры, избравшие эту власть, и ловкие дельцы, предпочитающие не рассуждать. Амодеи предупреждает в том числе об опасности недобросовестного использования ИИ самими ИИ-компаниями, но они прекрасно могут это делать и под крылом государства, будучи сращенными с государством.

Всё же отметим, что Амодеи вполне справедливо рассматривает в этом разделе не только систему массового наблюдения, не только автономное оружие, которое может послужить диктаторам, но и феномен ИИ-психоза, ИИ-пропаганду. Персонализированные ИИ-агенты, которые знают всю вашу подноготную, обретут большую мощь в формировании ваших взглядов, предупреждает Амодеи. И он прав. Но как только, следующим же пунктом, он говорит о том, что нужно вооружать демократические государства ИИ-возможностями, чтобы они побеждали автократические государства, - сразу становится очевидна пустота этой правоты. Впрочем, он честно добавляет: «I simply don’t think there is any other way». То есть не то чтобы я был уверен, но выбора-то нет. Дальше можно разумно рассуждать, что «some of these safeguards are already gradually eroding in some democracies», то есть что и демократии-то («некоторые») начали портиться, - но это всё лишь свидетельствует о слабости упования на современную институциональную демократию. «Испортились» ведь не просто «некоторые» демократии, но именно такие, которые имеют возможности и желание запугивать весь мир; их испорченность сказывается уже не только на недружественных чужих государствах, а даже на дружественных домашних компаниях, чья продукция помогает самим же «демократиям» проворачивать военные операции. Но стоит этим компаниям чуть заартачиться, как демократ во власти превращается в автократа.

Вообще, весь этот раздел представляет собой самое удручающее колебание Амодеи между «вооружать власть искусственным интеллектом опасно» и «но куда деваться, придётся вооружать, чтобы не было ещё хуже». А хуже может стать, это точно. Даже на ядерное оружие уже нельзя полагаться, когда тебе противостоит «страна гениев в дата-центрах». Снова и снова – человечество включают в гонку «мер» и «контрмер», и на каждом витке необходим новый «мощный ИИ». Амодеи пишет, буквально: «each generation of AI can be used to design and train the next generation of AI». Каждое поколение ИИ может обучать следующее поколение ИИ? Это путь в никуда.

Искусственный интеллект усиливает психотические склонности человека, пустившегося в общение с ним. Но не только в масс-пропаганде, не только у неприкаянных бедолаг и унылых неудачников, а также и в среде людей весьма обеспеченных, сверхбогатых, пьянеющих от власти и сознания собственной избранности, людей с мессианским комплексом, внезапно ощутивших источник небывалого могущества. Их иллюзии искусственный интеллект тоже усиливает. И это гораздо опаснее, чем несчастные неврастеники и параноики, разговаривающие с чатботом.

Оттого все разглагольствования Амодеи, что, мол, нельзя продавать чипы в Китай, но зато можно «использовать ИИ, чтобы увеличить мощь демократий в противостоянии с автократиями» звучат такой чудовищной утопией. Не только потому, что в качестве примера демократии, противостоящей автократии, он приводит Украину. А прежде всего потому, что это невозможно в принципе: усиленная искусственным интеллектом демократия перерождается в автократию (и что-то хуже) прямо на глазах. Вы не построите цветущую демократию на усилении её могущества в гноблении всех, кто с нею не согласен. Вот довести сколько-то работающие демократии до распада путём отчуждения людей от реальности, от всякого реального решения, от его самостоятельного, проверяемого человеческого выполнения – это да, это вполне возможно.

В глубине души Амодеи это понимает. Он подробно перечисляет составляющие опасности – видно, что он строил мысленные модели, крутил их так и эдак. Может быть, он понимает даже то, что предлагаемые им предохранительные меры не сработают. Или должен понять теперь, когда в американском госаппарате на едва освобождающееся место «принципиальной» «Антропик» тут же впорхнула «беспринципная» OpenAI. И сделала она это с тем обоснованием, что если не сделаем мы – так сделает xAI. «Демократия», «свободная рыночная конкуренция» в одночасье превратились в посмешище, ведь это конкуренция в том, кто лучше поможет правительству держать в узде американцев и нагибать другие государства то ли за то, что плохо себя ведут, то ли для того, чтобы «отобрать ресурсы у террористов».

Экономический спад

Вопрос «отобрания ресурсов у террористов» - конечно, далеко не праздный в мире, где твоя мощь и самая будущность должны зависеть от очень, очень энергоёмкой технологии. Конечно, ИИ обещает всяческие блага – и чтоб можно было вообще не работать и не думать про пенсионные накопления, и чтоб у каждого был свой персональный слуга-робот (или несколько) – но это всё посулы, подсовывать волнующейся публике, а вообще-то мир с ИИ подвинулся не ко всеобщему благоденствию, а к грызне за ресурсы и сферы влияния.

И в этой грызне люди – слабое звено. Они неэффективны. Амодеи честно об этом пишет: ИИ-прогресс распространяется несравненно быстрее, чем прежние технологические революции. Приводит и пример: два года назад ИИ-модели едва могли написать «строчку кода» - а сейчас пишут почти весь код, в том числе в компании «Антропик». Притом технология эта – всепроникающая, людям не останется места нигде, как считает Амодеи, уже в близкой перспективе. «ИИ не заместитель для какого-то специфического человеческого труда, а, скорее, заместитель для человеческого труда вообще». В этом замещении падут не только «белые воротнички» (эти – особенно быстро), но и рабочие профессии, и такие, где нужно «человеческое касание». «Многие люди сообщают, - пишет Амодеи, - что с ИИ легче разговаривать о личных проблемах, чем с психотерапевтом, что ИИ более терпелив». Так что он ожидает вытеснения человека и из сферы заботы о человеке.

А как же законодательство?.. Разве оно не должно защищать людей, оставлять за ними преимущество?.. По этому поводу глава «Антропик» высказывается очень откровенно: когда ИИ буквально в тысячи раз продуктивнее людей, логика предпочтения людей больше не работает.

Так что же делать? Какие defenses выдвигает Амодеи по этому поводу? На самом деле, почти никаких. Предлагается надеяться на то, что компании захотят позаботиться о ставших ненужными сотрудниках. Сперва – «творчески перераспределять» их внутри компании. Потом в мире должно наступить «тотальное изобилие», и компании, возможно, смогут платить людям, даже если они больше не производят ценности. Также, пишет Амодеи, богачи должны помогать решать эту проблему, хотя, к сожалению (it is sad to me), многие из них сейчас этого не делают. Ну и, наконец, правительство должно вводить прогрессивный налог для получающих сверхприбыли, начиная с ИИ-компаний.

Возможно, ознакомившись с этим замечательным планом, читатели почувствовали уверенность в будущем. Сам Амодеи её не почувствовал. Он заканчивает свои размышления на этот счёт следующим образом: «Я думаю, что все вышеуказанные меры – это способы выиграть время. В конце концов ИИ сможет выполнять всю работу, и нам нужно свыкнуться с этим. Надеюсь, что к тому времени мы сможем использовать сам ИИ, чтобы он помог нам реструктурировать рынки наилучшим для всех образом».

Вот теперь, надеюсь, вам стало легче.

Вопрос концентрации огромных богатств в руках малых групп Амодеи рассматривает отдельно. Это похвально. Но ничего нового по этому поводу он не говорит. Да, он понимает, что демократия зиждется на том, что население как целое необходимо для функционирования экономики, а если оно более не необходимо – то «социальный контракт демократии может перестать работать». И даже выражает беспокойство, что это «уже начало происходить». Да, он понимает и то, что концентрированное богатство, финансовые интересы больших технологических компаний сращиваются с политической системой, что это «может привести к порочным стимулам», и вновь – не просто «может привести», а уже сейчас приводит. Амодеи пишет: «Мы уже видим это в нежелании технологических компаний критиковать правительство США, и в поддержке правительством экстремального анти-регулирования (extreme anti-regulatory policies) искусственного интеллекта».

Что можно с этим сделать? Да ничего нельзя. «В первую очередь, компании должны просто сделать выбор и не становиться частью этого», - пишет Амодеи, приводя в пример компанию «Антропик», призывая не вступать в политические и коммерческие альянсы. Ну что же, сейчас мы на её примере убедились, как это «просто» и как это не работает. Снова и снова механизмы демократии редуцируются до конкретных решений конкретных людей.
Непрямые эффекты

Вот мы и добрались до последнего раздела эссе, где глухо, в проброс, нечётко, но упоминается тот очевидный факт, что в воде намокают, а искусственный интеллект уничтожает человеческий интеллект. Правда, глава компании «Антропик» представляет это чем-то «неизвестным», одним из «unknown unknowns». Беспокоят его, в особенности, три unknowns:

1) радикальная модификация человеческой биологии и даже вовсе уход от биологии, с загрузкой человеческого сознания в софт, – это, по его мнению, может быть позитивом, «если сделано ответственно», но что-то ведь может пойти не так!

2) «ИИ изменит человеческую жизнь нездоровым образом». «Даже если ИИ не будет активно атаковать людей и не будет использован государствами для подавления и контроля, многое может пойти не так».

Ещё как может, и это вовсе не «unknown unknown». Тем более, что (как пишет сам Амодеи), мы видим «ранние намёки» на это в ИИ-психозе, доведении людей до самоубийства и в романтических отношениях с искусственным интеллектом. «Может ли ИИ основать новую религию и обратить в неё миллионы людей?» - задаётся вопросом Амодеи. Может, может. На самом деле, здесь намного насущнее другой вопрос: почему ИИ-разработчики не понимают, что их отношение к искусственному интеллекту как к ребёнку – разновидность психоза? Что они сами уже по подбородок в этом психозе? Нет, в самом деле: если они понимают опасность романтических отношений с ИИ – почему не понимают опасность очеловечивания ИИ? Ведь это две горошины одного стручка.

Но Амодеи игнорирует это. Взамен того он снова заговаривает про «Конституцию» - дескать, её надо прописать тщательнее, чтобы быть уверенными, что «ИИ-модели действительно (он выделяет слово действительно) в долгосрочной перспективе руководствуются лучшими интересами своих пользователей». И вот ведь, что особенно удручает. Допустим самый что ни на есть наилучший исход (до него как до звезды, но – допустим): будто наши «машины любящей благодати» в самом деле руководствуются лучшими интересами своих пользователей. Разве это то, к чему нужно стремиться человеку? Ведь это всё равно что прожить всю жизнь ребёнком – или домашним животным. Не говоря о том, что даже родители могут искренне руководствоваться лучшими интересами ребёнка, как они их понимают, - и всё же причинить ему много вреда. А нам предлагают жить так всю жизнь. И называют это наилучшим исходом.

3) Наконец, третье якобы «неизвестное», которое упоминает Амодеи, – это утрата людьми смысла жизни. Здесь он предлагает утешиться тем, что людям не обязательно быть лучшими в чём-то, чтобы жизнь имела смысл. Мол, это «вопрос отношения». И, наконец, выводит к следующему: «Что касается всех этих потенциальных [на самом деле – уже существующих. - Т.Ш.] проблем, я надеюсь, что в мире с мощным искусственным интеллектом, которому мы доверяем, что он нас не убьёт, и не будет инструментом деспотической власти, и будет искренне работать для нашего блага, - мы сможем использовать сам ИИ для того, чтобы предчувствовать и предотвращать эти проблемы».

Вот и всё. Круг замкнулся. Обширное эссе Амодеи можно свести к формуле «в решении проблем ИИ нам следует надеяться, что мощный ИИ решит эти проблемы». Буквально так. И нет, это не парадоксально. Это как раз логично. Если человечество – дети или домашние животные, передавшие функцию мышления искусственному интеллекту (ведь он намного быстрее и эффективнее), то на кого же ещё и надеяться? Верующие будут надеяться на Бога, но поскольку от него они тоже будут ждать, что он сам управит, это не составит большой разницы.

А вдруг собачка не бешеная?

Один из главных вводных принципов, которые проговорены в эссе «Отрочество технологии», - «избегать обречённости» (avoid doomerism). Также: «признавать неопределённость» и «вмешиваться так хирургически, как только возможно».

Во-первых, обречённостью полно всё эссе Амодеи. Он сам то и дело начинает на что-то надеяться – и сам обрывает себя. Надо поставлять ИИ-инструменты на службу демократиям, чтоб они победили автократии… но не приведёт ли это к тому, что демократии станут автократиями? Надо внедрять ИИ-наблюдение, чтобы противостоять ИИ-терроризму… но не приведёт ли это к тотальному контролю? Надо всячески внедрять ИИ в экономику… но не приведёт ли это к гиперконцентрации власти и ресурсов у очень небольших групп населения? И так далее. Учитывая, что он ещё и добавляет время от времени, что это уже происходит, невозможно сомневаться, что с обречённостью у Амодеи всё в порядке. Стремясь исправиться, он задействует все те формулы, к которым обыкновенно прибегают в этом случае: а) создание искусственного интеллекта всё равно было неизбежным, б) если не мы, так кто-нибудь другой, в) если хорошие демократические страны остановятся – плохие автократические страны не остановятся.

Это и есть обречённость. «Мы не можем остановиться». Тем более, пишет Амодеи, ИИ может принести столько много денежек – «буквально триллионы долларов в год» - он «такой мощный», «такой блестящий приз», что даже простейшие меры для его ограничения ввести трудно!

Что это, как не обречённость?.. И это при том, что (признаёт Амодеи) ИИ пока вовсе не приносит обещанные триллионы, наоборот – перетягивает на себя инвестиции. Но даже при этом никто толком не готов его регулировать, сделав главную ставку на обещание будущей мощи.

«Избеганию обречённости» Амодеи противопоставляет «признание неопределённости». Он заявляет, что его предостережения могут оказаться недостоверными, а ИИ может развиваться совсем не так быстро, как он сам того ожидает (лично он ожидает появления мощного ИИ уже через год-два, наблюдая «плавный и неуклонный рост когнитивных способностей искусственного интеллекта»).

Главное, что можно на это ответить: страх внушает даже не столько развитие ИИ – сколько отношение к этому развитию. Оно, это отношение, совершенно безответственное. Даже вплоть до какого-то невинного идиотизма. Словно бы человечеству говорят: «Иди, поиграй с собачкой, ну и что, что у неё из пасти течёт слюна, и она странно мечется, это всё неопределённо, собачка может быть и не бешеная».

Да, может быть. Но не стоит на это рассчитывать. Даже если вы не соберётесь прямо сейчас пришибить эту собачку, вам всё равно нужно принимать все меры предосторожности и изолирования собачки, а не лезть к ней обниматься. Так и в нашем случае: да, теоретически, технология может оказаться не фатально опасной. Да, могут сбыться одни угрозы, и не сбыться другие, или вообще явиться непредсказанные. Но само стремление «обниматься» с технологией, которая нацелена на замещение человеческого интеллекта искусственным, - ведь это же безумие. И это можно уже сейчас сказать со всей определённостью.

Наконец, третий принцип, который выдвигает Амодеи, – «вмешиваться хирургически», то есть регулировать искусственный интеллект с осторожностью. А не то можно разрушить «экономическую ценность» (которой пока толком не существует), а также кто-то может обидеться. Амодеи рассуждает, что правительственные регулирования «часто приводят к обратным результатам и усугубляют проблему», поэтому правила должны быть разумными, а неразумными быть не должны. Всё это рассуждение – заметьте – на фоне его же собственного признания, что пока искусственный интеллект вообще не регулируют, и в этой сфере процветает вседозволенность, а если даже регулировать – то непонятно, как к этому подступиться, это очень трудно, все хотят быстрейшего развития, технология мощная, всепроникающая и т.д.

Похоже на то, как старик, севший на шею Синдбаду-мореходу, душит его коленями, а Синдбаду кричат: не делай резких движений, старичок может упасть и ушибиться!.. Только в нашем случае на шее не старик, а отрок. Что должно возбуждать ещё больше сочувствия, «ведь это ребёнок».

Как же всё-таки избежать обречённости?

Самое печальное… ироничное? Нет, всё-таки печальное – это что в конце концов, в последнем пределе, глава «Антропик» полагается только на выдающиеся человеческие качества. На «характер», на «дух», на «силу и мудрость» людей. То есть на всё именно то, что подлежит уничтожению искусственным интеллектом. Амодеи считает, что человечество должно употребить все эти качества – для чего? для того, чтобы «строить прекрасное общество, описанное в «Машинах любящей благодати». То есть человечество должно проявить дух, и мудрость, и силу, и характер (всё это срочно, «мы не можем терять ни минуты», пишет Амодеи) – для того, чтобы, если очень повезёт, стать любимым, ласкаемым, оберегаемым питомцем доброго искусственного интеллекта.

Так вот, первый шаг на пути к преодолению обречённости – осознать, что это – плохая цель. К ней не следует даже начинать стремиться. Если учесть, что это лучшее, что могут предложить человечеству с искусственным интеллектом, становится сразу ясно, что в эту сторону не надо даже смотреть.

Второй шаг – всячески отвергать, пресекать старания очеловечить искусственный интеллект. Это колоссальная ловушка, в которую уже попались разработчики, и они тянут туда же всех людей. Ведь Амодеи очень многое понимает правильно, но не в силах предложить хоть сколько-нибудь последовательные меры, поскольку он уже заложник своего амплуа «родителя». Ему каждый раз буквально жалко своё дитя. Он уже не на стороне людей – хотя ещё и не на стороне ИИ – он мечется между этими сторонами, отчаянно делая вид (и стараясь верить), что они не обязательно противостоят друг другу. Но они противостоят, если только вы не готовы впасть в деградацию и зависимость от искусственного интеллекта (и это в лучшем случае).

Третий шаг – не надеяться, что что-то само собой устроится хорошо, когда есть множество признаков, что устроится плохо. Даже если собачка не бешеная, а похожа, вы не должны верить на слово, что она безопасна. И не надо успокаивать себя тем, что ИИ – это просто что-то такое полезное, что только «будет лечить рак» и «станет идеальным наставником для каждого ученика». Нет, это всепроникающая технология с огромным потенциалом опасности. И Амодеи – тот самый разработчик технологии, который вам об этом квалифицированно и почти честно рассказывает.

Четвёртый шаг – как раз хирургия, только в несколько ином смысле, чем у Амодеи. Хирурги, оперируя раковую опухоль, удаляют и ближайшие лимфоузлы, и часть близлежащих здоровых тканей – настолько важно избежать распространения раковых клеток. Лучше чуть переборщить с удалением «интеллектуальных» технологий, чем оставить лишнее, которое будет разрастаться.

Пятый шаг – это, к сожалению, осознание, что в настоящий момент мы не можем получить помощи от государств. Государства находятся в гонке. Это и гонка за будущий искусственный интеллект как приз, и гонка, подогреваемая существующим искусственным интеллектом (в военной сфере – уже сейчас). Главу «Антропик» это сильно нервирует, но всё, что он может противопоставить «плохой гонке», - это «хорошая гонка». На самом же деле людям вообще гонка противопоказана. Гонка на всё возрастающих скоростях не наша сфера – это сфера искусственного интеллекта. Он в ней как рыба в воде, а мы должны её тормозить. «Победа в гонке» для людей может быть только пирровой: расшибиться, построить государство тотального контроля, привести в негодное состояние окружающую среду, потерять своих детей, да и себя, в алгоритмах (де)генеративного суррогата мышления.

Возможно, у Амодеи нет «комплекса Бога» (у Илона Маска или Питера Тиля он есть). Однако вся тема быстрого развития, внедрения и очеловечивания искусственного интеллекта имеет явственный оттенок религиозности, игры в Творца, больше того – в конкурентов Творцу. «Мы должны признать, что у нас есть религия, и эта религия – Наука. От других религий она отличается тем, что она правильная», - сказал ироничный Джеффри Хинтон. Пирамида перевёрнута, и горстка сверхмогущественных людей получила возможность для радикального переустройства жизни на земле, ослабляя человечество и выдвигая Науку как Неизбежность. Хотя это нежизнеспособная конфигурация, придётся много потрудиться для того, чтобы она не погребла под собой мир, утративший сознание собственной ценности.

Татьяна Шабаева
Опубликовано на сайте АПН.
Март, 2026.