Искусственный интеллект может уничтожить человечество: стоит ли создавать бога из искусственного интеллекта.

Как сообщает Vox: Около 2000 лет назад двое мужчин провели дискуссию, которая может дать немало уроков о будущем искусственного интеллекта. Их звали Элизер и Иошуа.

Это не Элизер Юдковский, который недавно опубликовал бестселлер, утверждающий, что ИИ уничтожит всех, и не Иошуа Бенгио, известный ученый в области ИИ — хотя я обсуждал эту 2000-летнюю дискуссию с обоими. Речь идет о раввине Элизере и раввине Иошуа, двух древних мудрецах первого века.

Согласно известной истории из Талмуда, раввин Элизер был уверен в своей правоте по определенному юридическому вопросу, но другие мудрецы возражали. Итак, он совершил ряд чудес, чтобы доказать, что Бог на его стороне. Он велел дереву вырваться с корнем, вернул течение реки обратно, а стены в синагоге начали обрушиваться. В конечном итоге он объявил: Если я прав, голос с небес это подтвердит!

И, к удивлению, небесный голос прогремел, объявив, что раввин Элизер прав. Однако мудрецы остались неприятно поражены. Раввин Иошуа настаивал:

«Тора не на небесах!»

Основные выводы

• Эксперты говорят о согласовании ИИ с человеческими ценностями. Но «решение проблемы согласования» не имеет смысла, если оно приводит к утрате человеческой агентности.
• Настоящее согласование потребует не только решения технических проблем, но и серьезного философского вопроса: возможность действовать является важной частью нашего понимания жизни, поэтому создание ИИ, принимающего решения за нас, может лишить нас смысла существования.
• Философ религии Джон Хик говорил о «эпистемической дистанции» — идее о том, что Бог частично удерживается от вмешательства в человеческие дела, чтобы мы могли развивать свою агентность. Возможно, то же самое должно быть справедливо и для ИИ.

Прошедшие два тысячелетия, мы в той же самой спорах — только вместо 'божественного голоса' у нас 'ИИ-бог'.

Современные игроки в сфере ИИ стремятся не только создать полезного чат-бота, но и «суперинтеллект», который значительно умнее людей. Это меняет цели — от создания инструмента до создания божественного. Когда генеральный директор OpenAI Сэм Альтман утверждает, что он создает «магический интеллект», он имеет в виду не только ChatGPT, но и «почти безграничный интеллект», который может достигать «открытия всего физического». Некоторые исследователи считают, что суперинтеллект такого рода может принимать важные решения за людей, действуя автономно.

Развивая суперинтеллект, компании в сфере ИИ признают, что нужно решить «проблему согласования» — как заставить системы ИИ надежно выполнять то, что на самом деле хотят люди. Но их готовность решить эту проблему затмевает еще более серьезную.

Да, мы хотим, чтобы компании не позволяли ИИ действовать вредно или предвзято. Однако решение согласования как технической проблемы недостаточно, особенно учитывая амбиции отрасли строить бога. Эти амбиции побуждают нас спросить: даже если мы можем построить известную, чрезвычайно мощную машину, и если мы можем настроить ее на моральные ценности, стоит ли это делать? Разве это не плохая идея — создавать ИИ-бога, независимо от того, насколько хорошо он настроен — ведь это может лишить человеческого выбора, делая жизнь бессмысленной?

Я спросил Элизера Юдковского и Иошуа Бенгио, согласны ли они со своими древними предшественниками. Но прежде чем узнать, считают ли они ИИ-бога желаемым, нужно обсудить более базовый вопрос: возможно ли это вообще?

Можно ли согласовать суперинтеллектуальный ИИ с человеческими ценностями?

Бог, как правило, должен быть добрым — все это знают. Но как сделать ИИ добрым? На этот вопрос пока никто не имеет ответа.

Первый шаг к решению проблемы согласования был упрощен. Компании, такие как OpenAI и Anthropic, попытались сделать свои чат-боты безопасными, но не уточнили, как это должно выглядеть. Является ли «полезным» или «вредным» для чат-бота, скажем, принимать участие в бесконечных романтических играх с пользователем? Содействовать списыванию на домашних заданиях? Предлагать сомнительную терапию и этические советы?

Большинство инженеров ИИ не имеют обучения в области моральной философии и не осознают, как мало они знают. Так что они предоставили своим чат-ботам поверхностное представление об этике — и вскоре начались проблемы — от предвзятости до дискриминации.

Но истина в том, что нет одного понимания добра, даже среди экспертов по этике. Мораль — это спорный вопрос: философы разработали много разных моральных теорий, и, несмотря на тысячелетние споры, консенсуса о том, какая из них является «правильной», нет.

Даже если бы вся человечность пришла к соглашению о одной моральной теории, мы все равно столкнулись бы с проблемой, ведь наш взгляд на то, что является моральным, меняется со временем, и иногда действительно полезно нарушить правила. Например, мы считаем, что правильно соблюдать закон, но когда Роза Паркс незаконно отказалась уступить свое место у окна белому пассажиру в 1955 году, это помогло заложить основы движения за права человека — и мы считаем ее действия достойными уважения. Контекст имеет значение.

Кроме того, иногда разные виды морального добра конфликтуют на фундаментальном уровне. Представьте женщину, которая стоит перед выбором: она хочет стать монахиней, но также хочет родить ребенка. Какое из решений лучше? Мы не можем сказать, ведь варианты несопоставимы. Нет единого эталона, по которому можно измерить их, чтобы понять, какое из них лучше.

«Возможно, мы создаем ИИ, который систематически замолкает. Но это то, что мы хотим.

К счастью, некоторые исследователи в области ИИ осознают важность предоставления ИИ более сложного, плюралистического понимания этики — такого, которое признает, что у людей есть разные ценности, которые часто находятся в напряжении друг с другом.

Одни из самых сложных разработок происходят из Института Согласования Смысла, который изучает, как согласовать ИИ с человеческими ценностями. Когда я спросил соавтора Джо Эдельмана, считает ли он возможным согласование суперинтеллектуального ИИ с человеческими ценностями, он ответил без колебаний.

«Да», — сказал он. Но важно научить ИИ говорить «я не знаю» в определенных ситуациях.

«Если вы научите ИИ этому, задачи станут значительно легче, ведь в спорных ситуациях или ситуациях истинной моральной путаницы вам не нужно иметь однозначный ответ», — объяснил Эдельман.

Он упомянул современную философиню Рут Чанг, которая писала о «трудных выборах» — это такие выборы, которые действительно трудны, ведь лучшего варианта не существует. Когда вы сталкиваетесь с такими несопоставимыми добрами, вы не можете «вывести» объективно лучший вариант — вам просто нужно решить, за каким вариантом вы хотите подставить свою человеческую агентность.

«Если вы научите (ИИ) понимать трудные выборы, то вы научите его чему-то о морали», — резюмировал Эдельман. «Так что это считается согласованием, так?»

Ну, до определенной степени. Это определенно лучше, чем ИИ, который не понимает, что есть ситуации, где нет лучшего варианта. Но многие из самых важных моральных выборов включают в себя ценности, которые конкурируют друг с другом. Если мы создадим специальные правила для таких выборов, действительно ли мы решаем проблему согласования в содержательном смысле? Или просто создаем ИИ, который систематически замолкает по всем важным вопросам?

«Возможно, мы создаем ИИ, который систематически замолкает», — сказала Чанг, когда я спросил ее об этом вопросе. «Он будет говорить: ‘Красный флаг, красный флаг, это трудный выбор — люди, вам нужен вклад!’ Но это то, что мы хотим.» Другой вариант — предоставить ИИ возможность принимать решения с большими последствиями — считается ею ужасной идеей.

В противовес этому, Юдковский — архи-мрачный мыслитель мира ИИ, которого, вероятно, никогда не обвиняли в слишком великомыслении. Однако он утверждает, что согласование суперинтеллекта возможно в принципе. Он считает это инженерной проблемой, которую мы пока не знаем, как решить — но все же, по его мнению, это просто инженерная задача. Как только мы решим ее, мы должны продолжать использовать суперинтеллект.

В своей книге, написанной в соавторстве с Нэйтом Суаресом, он утверждает, что мы должны «усиливать людей, чтобы сделать их умнее», чтобы они могли разработать лучшую парадигму для создания ИИ, которая позволила бы истинное согласование. Я спросил его, что, по его мнению, произойдет, если соберем достаточное количество умных и добрых людей, которые постараются создать согласованный суперинтеллект.

«Возможно, мы все будем жить счастливо», — ответил Юдковский.

В его идеальном мире мы просили бы людей с повышенным интеллектом не программировать свои ценности в ИИ, а строить то, что он называет «согласованной экстрапольированной волей» — ИИ, который может заглянуть в разум каждого живого человека и экстраполировать, что бы мы хотели, зная все, что знает ИИ. (Как это будет работать? Юдковский пишет, что суперинтеллект может достичь «полной считываемости состояния вашего мозга» — это звучит чрезвычайно волшебно.) Затем он будет использовать эти знания для управления обществом за нас.

Я спросил: согласен ли он, чтобы этот суперинтеллект принимал решения с большими моральными последствиями, как, например, кидать бомбу. «Я в принципе согласен,» — ответил Юдковский, «если 80 процентов человечества будут на 80 процентов согласны с тем, что они бы хотели, зная все, что знает суперинтеллект.» Другими словами, если большинство из нас выступает за определенное действие и мы поддерживаем его достаточно сильно, тогда ИИ должен поступить именно так.

Однако серьезная проблема заключается в том, что это может привести к «тирании большинства», где абсолютно легитимные взгляды меньшинств могут быть подавлены. Это уже является угрозой в современных democracies. Но ИИ-бог повысил бы угрозу «тирании большинства» до максимума, поскольку он фактически принимал бы решения для всего населения мира навсегда.

Так выглядит будущее, о котором говорит влиятельный философ Ник Бостром, черпающий вдохновение из трансгуманистических идей. В своей бестселлерной книге Суперинтеллект он фантазирует о «машине-суперинтеллекте, которая формирует будущее человечества». Она могла бы управлять всем — от экономики до глобальной политики. Однако очевидной проблемой является то, что суперинтеллект может решать влияние на все человеческие жизни, сосредоточивая власть в абсолютном виде. Если вам не нравятся его решения, вы не сможете их оспорить, и вам некуда будет бежать.

Очевидно, если мы создадим систему, которая практически всемогуща и всеведуща, и она будет управлять нашей цивилизацией, это будет представлять беспрецедентную угрозу для человеческой автономии. Это заставляет задать вопрос...

Желанен ли ИИ-бог?

Юдковский вырос в ортодоксально-еврейской среде, поэтому я предположил, что он знает историю Талмуда о раввине Элизере и раввине Иошуа. И, конечно, он вспомнил ее, как только я ее поднял.

Я заметил, что смысл истории заключается в том, что даже если у вас есть самый «согласованный» суперинтеллектуальный консультант — просто голос Бога! — не следует делать всё, что он предлагает.

Но Юдковский, верный своему древнему имени, четко заявил, что хочет иметь суперинтеллектуальный ИИ. Как только нам удастся безопасно его создать, он считает, что мы абсолютно должны этим заняться, поскольку это может помочь человечеству колонизировать другую солнечную систему до того, как наше Солнце погибнет и уничтожит нашу планету.

«У нашего вида нет ни одного другого шанса на колонизацию галактик», — сказал он мне.

Разве он не переживает о смысле истории — о том, что сохранение пространства для человеческой агентности является важной ценностью, которую не следует жертвовать? Немного так. Но он предложил, что если суперинтеллект может определить, используя согласованную экстрапольированную волю, что большинство из нас хочет, чтобы определенную лабораторию в Северной Корее уничтожили, тогда он должен сделать это действие — возможно, без нас. «Моральная и этическая вещь, которую следует сделать для суперинтеллекта, — это… быть тихой божественной интервенцией, чтобы ни у кого из нас не было выбора, слушать шепоты этого голоса, который знает лучше за нас,» — сказал он.

Однако не все хотят, чтобы ИИ принимал за нас решения о том, как управлять нашим миром. На самом деле, более 130000 ведущих исследователей и общественных деятелей недавно подписали петицию о запрете разработки суперинтеллектуального ИИ. Американская публика также в целом против этого. Согласно опросам Института будущей жизни (FLI), 64% считают, что его не следует разрабатывать, пока не будет доказано, что он безопасен, или его не следует разрабатывать никогда. Предыдущие опросы показали, что большинство избирателей хотят регулирования для активной запреты суперинтеллектуального ИИ.

«Представление о ИИ, который решает все за нас, — это как бы лишение нас смысла жизни.»

Они беспокоятся о том, что может произойти, если ИИ не сможет быть согласованным (худший случай: уничтожение человечества), но они также обеспокоены тем, что может произойти, даже если техническую проблему согласования будет решено: армии, которые создают беспрецедентный надзор и автономное оружие; массовая концентрация богатства и власти в руках нескольких компаний; массовая безработица; и постепенная замена человеческого принятия решений во всех важных сферах.

Как сказал исполнительный директор FLI Энтони Аглиер, даже если вы не переживаете за то, что ИИ может представлять экзистенциальную угрозу, существует еще экзистенциалистский риск. Другими словами, существует риск для нашей идентичности как создателей смысла.

Чанг, философ, которая говорит, что именно благодаря принятию трудных решений мы становимся теми, кем мы есть, сказала мне, что никогда не хотела бы делегировать большинство принятия решений ИИ, даже если он будет согласован. «Все наши навыки и чувствительность к ценностям о том, что важно, угаснут, ведь у вас будут все эти машины,» — сказала она. «Мы точно этого не хотим.»

Кроме риска атрофии, Эдельман также видит более широкий риск. «Я чувствую, что мы все на Земле должны в чем-то разобраться,» — сказал он. «Поэтому представление о ИИ, который решает все за нас, — это как бы лишение нас смысла жизни.»

Это стало главной заботой и для Иошуа Бенгио. Когда я рассказал ему историю Талмуда и спросил, согласен ли он со своим предшественником, он сказал:

«Да, практически! Даже если у нас был бы безумный интеллект, он не должен решать за нас, что мы хотим.»

Он добавил:

«Человеческие выборы, человеческие предпочтения, человеческие ценности — это не результат лишь разума. Это результат наших эмоций, эмпатии, сочувствия. Это не внешняя истина. Это наша истина. И поэтому, даже если существует божественный интеллект, он не мог бы решить за нас, что мы хотим.»

Я спросил: Что, если мы могли бы встроить «согласованную экстрапольированную волю» Юдковского в ИИ?

Бенгио покачал головой.

«Я не готов отказаться от этой автономии,» — настаивал он. «Это — моя человеческая воля.»

Его слова напоминают мне английского философа религии Джона Хика, который разработал понятие «эпистемической дистанции». Идея заключается в том, что Бог сознательно оставляет дистанцию от человеческих дел, ведь в противном случае мы, люди, не смогли бы развить свою агентность и моральный характер.

Это идея, которая согласуется с окончанием истории Талмуда. Через несколько лет после великой спора между раввином Элизером и раввином Иошуа, нам рассказывают, что кто-то спросил пророка Илию, как Бог реагировал на тот момент, когда раввин Иошуа отказался слушать божественный голос. Был ли Бог разгневан?

Совсем нет, - объяснил пророк:

«Святой усмехнулся и сказал: Мои дети победили лучше меня; мои дети победили меня.»