ШІ може знищити людство: чи варто створювати бога зі штучного інтелекту.

Як повідомляє Vox: Близько 2000 років тому двоє чоловіків провели дискусію, яка може дати чимало уроків про майбутнє штучного інтелекту. Їх звали Елізер і Йошуа.

Це не Елізер Юдковський, який нещодавно опублікував бестселер, стверджуючи, що ШІ знищить всіх, і не Йошуа Бенгіо, відомий вчений у галузі ШІ — хоча я обговорював цю 2000-річну дискусію з обома. Мова йде про рабина Елізера та рабина Йошуа, двох давніх мудреців першого століття.

Згідно з відомою історією з Талмуду, рабин Елізер був впевнений у своїй правоті з певного юридичного питання, але інші мудреці заперечували. Тож він виконав ряд чудес, щоб довести, що Бог на його боці. Він наказав дереву вирватися з кореня, повернув течію річки назад, а стіни в синагозі почали обвалюватися. Врешті-решт він оголосив: Якщо я правий, голос з небес це підтвердить!

І, на диво, небесний голос прогримів, оголосивши, що рабин Елізер правий. Однак мудреці залишилися неприємно вражені. Рабин Йошуа наполіг:

“Тора не на небесах!”

Основні висновки

• Експерти говорять про узгодження ШІ з людськими цінностями. Але “вирішення проблеми узгодження” не має сенсу, якщо воно призводить до втрати людської агентності.
• Справжнє узгодження вимагатиме не лише вирішення технічних проблем, а й серйозного філософського питання: можливість діяти є важливою частиною нашого розуміння життя, тому створення ШІ, що ухвалює рішення за нас, може позбавити нас сенсу існування.
• Філософ релігії Джон Хік говорив про “епістемічну відстань” — ідею про те, що Бог частково утримується від втручання в людські справи, щоб ми могли розвивати свою агентність. Можливо, те ж саме повинно бути справедливим і для ШІ.

Пройшовши два тисячоліття вперед, ми у тому самому суперечці — тільки замість "божественного голосу" у нас "ШІ-бог".

Сучасні гравці в сфері ШІ прагнуть не лише створити корисний чат-бот, а й “суперінтелект”, що є значно розумнішим за людей. Це змінює цілі — від створення інструмента до створення божественного. Коли генеральний директор OpenAI Сем Альтман стверджує, що він створює “магічний інтелект”, він має на увазі не лише ChatGPT, а “майже безмежний інтелект”, що може досягти “відкриття всього фізичного”. Деякі дослідники вважають, що суперінтелект на кшталт цього може ухвалювати важливі рішення за людей, діючи автономно.

Розвиваючи суперінтелект, компанії в сфері ШІ визнають, що потрібно вирішити “проблему узгодження” — як змусити системи ШІ надійно виконувати те, що насправді хочуть люди. Але їхня готовність вирішити цю проблему затуляє ще більш серйозну.

Так, ми хочемо, щоб компанії не дозволяли ШІ діяти шкідливо або упереджено. Проте вирішення узгодження як технічної проблеми недостатньо, особливо враховуючи амбіції галузі будувати бога. Ці амбіції спонукають нас запитати: навіть якщо ми можемо побудувати знане, надзвичайно потужне машину, і якщо ми можемо налагодити його з моральними цінностями, чи варто це робити? Чи не є це поганою ідеєю — створювати ШІ-бога, незалежно від того, наскільки добре він налаштований — адже це може позбавити людського вибору, роблячи життя безглуздим?

Я запитав Елізера Юдковського та Йошуа Бенгіо, чи згодні вони зі своїми давніми попередниками. Але перш ніж дізнатися, чи вважають вони AI-бога бажаним, потрібно обговорити більш базове питання: чи взагалі це можливо?

Чи можна узгодити суперінтелектуальний ШІ з людськими цінностями?

Бог, зазвичай, повинен бути добрим — всі це знають. Але як зробити ШІ добрим? На це питання поки ніхто не має відповіді.

Перший крок до вирішення проблеми узгодження був спрощеним. Компанії, такі як OpenAI та Anthropic, намагалися зробити свої чат-боти безпечними, але не уточнили, як це має виглядати. Чи є “корисним” або “шкідливим” для чат-бота, скажімо, брати участь у безкінечних романтичних іграх з користувачем? Сприяти списуванню на домашніх завданнях? Пропонувати сумнівну терапію та етичні поради?

Більшість інженерів ШІ не мають навчання в галузі моральної філософії і не усвідомлюють, як мало вони знають. Тож вони надали своїм чат-ботам поверхневе уявлення про етику — і незабаром почалися проблеми — від упередженості до дискримінації.

Але істина в тому, що немає одного розуміння добра, навіть серед експертів з етики. Мораль — це спірне питання: філософи розробили багато різних моральних теорій, і, незважаючи на тисячолітні суперечки, консенсусу, яка з них є “правильною”, немає.

Навіть якби вся людськість дійшла угоди про одну моральну теорію, ми все ще стикнулися б із проблемою, адже наш погляд на те, що є моральним, змінюється з часом, і іноді дійсно корисно порушити правила. Наприклад, ми вважаємо, що правильно дотримуватись закону, але коли Роза Паркс незаконно відмовилася поступитися своїм місцем біля вікна білому пасажирові в 1955 році, це допомогло закласти основи руху за права людини — і ми вважаємо її дії гідними поваги. Контекст має значення.

Крім того, іноді різні види морального добра конфліктують на фундаментальному рівні. Уявіть жінку, яка стикається з вибором: вона хоче стати монахинею, але також хоче народити дитину. Яке з рішень краще? Ми не можемо сказати, адже варіанти не співмірні. Немає єдиного еталону, за яким можна виміряти їх, щоб зрозуміти, яке з них є кращим.

“Можливо, ми створюємо ШІ, який систематично замовкає. Але це те, що ми хочемо.”

На щастя, деякі дослідники в сфері ШІ усвідомлюють важливість надання ШІ більш складного, плюралістичного розуміння етики — такого, яке визнає, що у людей є різні цінності, які часто перебувають у напрузі один з одним.

Одні з найскладніших розробок походять з Інституту Узгодження Сенсу, який досліджує, як узгодити ШІ з людськими цінностями. Коли я запитав співавтора Джо Едельмана, чи вважає він можливим узгодження суперінтелектуального ШІ з людськими цінностями, він відповів без зволікань.

“Так,” — сказав він. Але важливо навчити ШІ говорити “я не знаю” у певних ситуаціях.

“Якщо ви навчите ШІ це, завдання стануть значно легшими, адже в спірних ситуаціях або ситуаціях істинної моральної плутанини вам не потрібно мати однозначну відповідь,” пояснив Едельман.

Він згадував сучасну філософиню Рут Чанг, яка писала про “важкі вибори” — це такі вибори, які дійсно важкі, адже кращого варіанту не існує. Коли ви стикаєтеся з такими непорівнянними добрами, ви не можете “вивести” об'єктивно найкращий варіант — вам просто потрібно вирішити, за яким варіантом ви хочете підставити свою людську агентність.

“Якщо ви навчите (ШІ) розуміти важкі вибори, то ви навчите його чомусь про мораль,” резюмував Едельман. “Отже, це вважається узгодженням, так?”

Ну, до певної міри. Це точно краще, ніж ШІ, яке не розуміє, що є ситуації, де немає найкращого варіанту. Але багато найважливіших моральних виборів включають в себе цінності, що змагаються одна з одною. Якщо ми створимо спеціальні правила для таких виборів, чи насправді ми вирішуємо проблему узгодження в змістовному сенсі? Чи просто створюємо ШІ, який систематично замовкає у всіх важливих питаннях?

“Мабуть, ми створюємо ШІ, який систематично замовкає,” сказала Чанг, коли я запитав її про це питання. “Воно говоритиме: ‘Червоний прапор, червоний прапор, це важкий вибір — люди, вам потрібен внесок!’ Але це те, що ми хочемо.” Інша можливість — дати ШІ можливість ухвалювати рішення з великою кількістю наслідків — вважається нею жахливою ідеєю.

На противагу цьому, Юдковський — архі-думер світу ШІ, якого, напевно, ніколи не звинувачували в занадто великомисленні. Однак він стверджує, що узгодження суперінтелекту є можливим у принципі. Він вважає це інженерною проблемою, яку наразі не знаємо, як вирішити — але все ж, на його думку, це просто інженерна задача. Як лише ми вирішимо її, ми повинні продовжувати використовувати суперінтелект.

У своїй книзі, написаній у співавторстві з Нейтом Суаресом, він стверджує, що ми повинні “посилювати людей, щоб зробити їх розумнішими”, щоб вони могли розробити кращу парадигму для створення ШІ, що дозволила б істинне узгодження. Я запитав його, що, на його думку, трапиться, якщо зберемо достатню кількість розумних і добрих людей, які спробують створити узгоджений суперінтелект.

“Мабуть, ми всі будемо жити щасливо,” відповів Юдковський.

У його ідеальному світі ми просили б людей з підвищеним інтелектом не програмувати свої цінності в ШІ, а будувати те, що він називає “узгодженою екстрапольованою волею” — ШІ, яке може заглянути у розум кожної живої людини і екстраполювати, що б ми хотіли, якби знали все, що знає ШІ. (Як це працювало б? Юдковський пише, що суперінтелект може досягти “повної зчитуваності вашого стану мозку” — це звучить надзвичайно магічно.) Потім він використовуватиме ці знання для управління суспільством за нас.

Я запитав: чи був би він готовий, щоб цей суперінтелект ухвалював рішення з великими моральними наслідками, як, наприклад, чи кидати бомбу. “Я в принципі погоджуюсь,” відповів Юдковський, “якщо 80 відсотків людства будуть на 80 відсотків узгоджені з тим, що вони б хотіли, знаючи все, що знає суперінтелект.” Іншими словами, якщо більшість з нас виступає на підтримку певної дії і ми підтримуємо її досить сильно, тоді ШІ має вчинити саме так.

Однак серйозна проблема полягає в тому, що це може призвести до “тиранії більшості”, де абсолютно легітимні погляди меншин можуть бути задушені. Це вже є загрозою в сучасних демократіях. Але ШІ-бог підвищив би загрозу “тиранії більшості” до максимуму, оскільки він фактично ухвалював би рішення для всього населення світу назавжди.

Так виглядає майбутнє, про яке говорить впливовий філософ Нік Бостром, що черпає натхнення з трансгуманістичних ідей. У своїй бестселерній книзі Суперінтелект він фантазує про “машину-суперінтелект, яка формуватиме майбутнє людства”. Вона могла б управляти всім — від економіки до глобальної політики. Однак очевидною проблемою є те, що суперінтелект може вирішувати вплив на всі людські життя, зосереджуючи владу в абсолютному вигляді. Якщо вам не подобаються його рішення, ви не зможете їх оскаржити, і вас не буде куди бігти.

Очевидно, якщо ми створимо систему, яка практично всезнаюча і всепотужна, і вона керуватиме нашою цивілізацією, це становитиме небачену загрозу для людської автономії. Це змушує запитати...

Чи бажаний ШІ-бог?

Юдковський виріс у ортодоксально-єврейському середовищі, тому я припустив, що він знає історію Талмуду про рабина Елізера та рабина Йошуа. І, звичайно, він згадав її, щойно я її підняв.

Я зауважив, що сенс історії полягає в тому, що навіть якщо ви маєте найбільш “узгодженого” суперінтелектуального консультанта — просто мовлення Бога! — не слід робити все, що він пропонує.

Але Юдковський, вірний своєму древньому ім'я, чітко зазначив, що хоче мати суперінтелектуальний ШІ. Як тільки нам вдасться безпечно його створити, він вважає, що ми абсолютно повинні цим займатися, оскільки це може допомогти людству колонізувати іншу сонячну систему до того, як наше Сонце загине і знищить нашу планету.

“У нашого виду немає жодного іншого шансу на колонізацію галактик,” сказав він мені.

Хіба він не переживає про сенс історії — про те, що збереження простору для людської агентності є важливою цінністю, яку не слід жертвувати? Трохи так. Але він запропонував, що якщо суперінтелект може визначити, використовуючи узгоджену екстрапольовану волю, що більшість з нас хоче, щоб певну лабораторію в Північній Кореї знищили, тоді він повинен зробити цю дію — можливо, без нас. “Моральна та етична річ, яку слід зробити для суперінтелекту, — це… бути тихою божественною інтервенцією, щоб ні у кого з нас не було вибору, чи слухати шепоти цього голосу, який знає краще за нас,” сказав він.

Однак не всі хочуть, щоб ШІ ухвалював за нас рішення про те, як керувати нашим світом. Насправді, понад 130,000 провідних дослідників і громадських діячів нещодавно підписали петицію про заборону розробки суперінтелектуального ШІ. Американська публіка також загалом проти цього. Згідно з опитуваннями Інституту майбутнього життя (FLI), 64% вважають, що його не слід розробляти, поки не буде доведено, що він безпечний, або його не слід розробляти ніколи. Попередні опитування показали, що більшість виборців хочуть регулювання для активної заборони суперінтелектуального ШІ.

“Уявлення про ШІ, яке вирішує все за нас, — це наче позбавлення нас сенсу життя.”

Вони турбуються про те, що може статися, якщо ШІ не зможе бути узгодженим (найгірший випадок: знищення людства), але вони також стурбовані тим, що може статися, навіть якщо технічну проблему узгодження буде вирішено: армії, які створюють безпрецедентний нагляд і автономну зброю; масова концентрація багатства і влади в руках кількох компаній; масове безробіття; і поступова заміна людського ухвалення рішень у всіх важливих сферах.

Як сказав виконавчий директор FLI Ентоні Агіер, навіть якщо ви не переживаєте за те, що ШІ може представляти екзистенційну загрозу, існує ще екзистенціалістське ризик. Іншими словами, існує ризик для нашої ідентичності як творців сенсу.

Чанг, філософ, яка говорить, що саме завдяки ухваленню важких рішень ми стаємо тими, ким ми є, сказала мені, що ніколи не хотіла б делегувати більшість ухвалення рішень ШІ, навіть якщо він буде узгоджений. “Всі наші навички та чутливість до цінностей про те, що важливо, згаснуть, адже у вас буде все це машини,” сказала вона. “Ми точно цього не хочемо.”

Крім ризику атрофії, Едельман також бачить ширший ризик. “Я відчуваю, що ми всі на Землі повинні в чомусь розібратися,” сказав він. “Отже, уявлення про ШІ, яке вирішує все за нас, — це як наче позбавлення нас сенсу життя.”

Це стало головним занепокоєнням і для Йошуа Бенгіо. Коли я розповів йому історію Талмуду і запитав, чи він погоджується зі своїм попередником, він сказав:

“Так, практично! Навіть якщо у нас був би божевільний інтелект, він не повинен вирішувати за нас, що ми хочемо.”

Він додав:

“Людські вибори, людські переваги, людські цінності — це не результат лише розуму. Це результат наших емоцій, емпатії, співчуття. Це не зовнішня істина. Це наша істина. І тому, навіть якщо існує божественний інтелект, він не міг би вирішити за нас, що ми хочемо.”

Я запитав: Що, якби ми могли вбудувати “узгоджену екстрапольовану волю” Юдковського в ШІ?

Бенгіо похитав головою.

“Я не готовий відмовитися від цій автономії,” наполягав він. “Це — моя людська воля.”

Його слова нагадують мені англійського філософа релігії Джона Хіка, який розробив поняття “епістемічної відстані”. Ідея полягає в тому, що Бог навмисно залишає дистанцію від людських справ, адже в іншому випадку ми, люди, не змогли б розвинути свою агентність і моральний характер.

Це ідея, яка узгоджується з закінченням історії Талмуду. Через кілька років після великої суперечки між рабином Елізером і рабином Йошуа, нам кажуть, що хтось запитав пророка Іллю, як Бог реагував на той момент, коли рабин Йошуа відмовився слухати божественний голос. Чи був Бог розлючений?

Зовсім ні, - пояснив пророк:

“Святий усміхнувся і сказав: Мої діти перемогли Краще за мене; мої діти перемогли мене.”