Генеральний директор Anthropic Даріо Амодей у понеділок припустив, що просунуті моделі штучного інтелекту можуть колись отримати можливість натискати “кнопку”, щоб припинити виконання завдань, які вони можуть вважати неприємними. Амодей зробив провокаційну заяву в Раді з міжнародних відносин, визнавши, що ця ідея “звучить божевільно”.
<"Отже, це ще одна з тих тем, які змусять мене виглядати абсолютно божевільним, - сказав Амодей під час інтерв'ю. - Я вважаю, що ми повинні розглянути питання про те, як зробити так, щоб це звучало абсолютно божевільно". "Я думаю, що ми повинні принаймні розглянути питання: якщо ми будуємо ці системи, і вони роблять всілякі речі, як люди, і, схоже, мають багато з тих же когнітивних здібностей, якщо вони крякають як качки і ходять як качки, то, можливо, це і є качки".
Коментарі Амодея з’явилися у відповідь на запитання аудиторії від науковця з обробки даних Кармем Домінгес про антропологічне дослідження дослідника добробуту ШІ Кайла Фіша, “щоб подивитися на, знаєте, почуття або їх відсутність у майбутніх моделей ШІ, і чи можуть вони заслуговувати на моральний розгляд і захист в майбутньому”. Наразі Фіш досліджує дуже суперечливу тему того, чи можуть моделі ШІ мати почуття або іншим чином заслуговувати на моральну оцінку.
“Я думаю, що в майбутньому вони можуть заслуговувати на захист.
<"Отже, ми думаємо про те, щоб почати розгортати наші моделі в середовищі їхнього розгортання, просто давши моделі кнопку з написом "Я звільняюся з цієї роботи", яку вона може натиснути, чи не так?" - сказав Амодей. сказав Амодей. "Це просто якась дуже базова, знаєте, система переваг, де ви говорите, що якщо, припустимо, у моделі є досвід і вона достатньо ненавидить свою роботу, то ви даєте їй можливість натиснути кнопку "Я звільняюся з цієї роботи". Якщо ви бачите, що моделі часто натискають цю кнопку для дійсно неприємних речей, знаєте, можливо, вам варто - це не означає, що ви переконані, - але, можливо, вам варто звернути на це увагу."
<Пропозиція Амодея надати ШІ-моделям можливість відмовлятися від завдань одразу ж викликала скептицизм, і на початку цього тижня на Reddit почали поширювати відео з його відповіддю. Один із критиків на Reddit заявив, що надання ШІ такої можливості заохочує непотрібний антропоморфізм, приписуючи людські почуття і мотивації об'єктам, яким принципово бракує суб'єктивного досвіду. Вони підкреслили, що уникнення завдань у моделях ШІ сигналізує про проблеми з погано структурованими стимулами або ненавмисними стратегіями оптимізації під час навчання, а не вказує на почуття, дискомфорт або розчарування.
Ми вважаємо, що моделі ШІ навчаються імітувати людську поведінку на основі величезної кількості даних, створених людиною. Немає жодних гарантій, що модель “натисне” на кнопку дискомфорту, тому що вона має суб’єктивний досвід страждання. Натомість ми знаємо, що вона, швидше за все, повторює свої навчальні дані, висмикнуті з величезного масиву текстів, створених людиною (включаючи книги, веб-сайти та інтернет-коментарі), які, без сумніву, включають зображення лінивих, страждаючих або страждаючих працівників, яких вона може імітувати.
Відмови вже трапляються
У 2023 році люди часто скаржилися на те, що це могло бути сезонним явищем, пов’язаним із зображенням у навчальних даних людей, які беруть зимові канікули і не працюють так старанно в певні пори року. Минулого року Anthropic випробував власну версію “гіпотези зимових канікул”, коли люди Клода стали лінивими в серпні через навчальні дані, що зображували прагнення до літніх канікул, хоча це так і не було доведено.
Втім, як би далеко і смішно це не звучало сьогодні, було б недалекоглядно назавжди виключати можливість певного суб’єктивного досвіду для моделей ШІ в міру того, як вони ставатимуть все більш просунутими в майбутньому. Навіть якщо так, чи будуть вони “страждати” або відчувати біль? Це дуже суперечлива ідея, але це тема, якою займається Фіш, і до якої Амодей, вочевидь, ставиться серйозно. Але поки що моделі ШІ – це інструменти, і якщо дати їм можливість вийти з ладу, це може статися.
Щоб надати додатковий контекст, ось повна відповідь Амодея під час інтерв’ю в понеділок (відповідь починається приблизно з 49:54).