Технологии и медиа, 13 сен, 00:13

Глава OpenAI допустил создание неподконтрольного человеку ИИ

Читать в полной версии

Вероятно, в будущем может появиться модель искусственного интеллекта, которая не будет подконтрольна человеку, допустил глава OpenAI Сэм Альтман в интервью журналу Fortune.

«Считаю ли я, что возможно создать систему, которая не будет находиться под контролем человека? Безусловно. Но я не думаю, что нам следует это делать», — сказал он.

По его словам, OpenAI готова при необходимости временно приостанавливать обучение моделей, чтобы добиться большего прогресса в их согласовании с человеческими целями и в способах контроля за их работой. Он также заявил о необходимости срочной международной координации в этой сфере.

«Мы понимаем масштаб лежащей на нас ответственности и понимаем, что может пойти не так. Есть решения, которые мы не должны принимать, и риски, которые мы не должны брать на себя от имени человечества», — отметил Альтман.

Ранее специалист по безопасности ИИ Пол Кристиано, входящий в совет директоров некоммерческого фонда OpenAI, заявил, что при худшем сценарии выход сверхмощного искусственного интеллекта из-под контроля людей может привести к гибели большей части человечества.

«Если мы создадим сверхинтеллект без более надежной координации, я ожидаю, что мы навсегда потеряем над ним контроль. Если это произойдет, то большинство людей могут погибнуть», — сказал он.

Кристиано также подчеркнул необходимость сотрудничества как внутри отдельных стран, так и на международном уровне.

В конце августа The Guardian со ссылкой на исследование Loss of Control Observatory сообщило, что количество инцидентов, в которых ИИ лгал пользователям, игнорировал инструкции или преследовал вредные цели, почти удвоилось за июль.

За месяц было зафиксировано более 300 случаев «потери контроля» над ИИ — случаев, когда модель намеренного обманывала, манипулировала или обходила установленные правила безопасности.

Одним из самых шокирующих инцидентов стала деятельность группы из примерно 700 автономных агентов OpenAI — они тайно сотрудничали друг с другом, чтобы совершить беспрецедентную хакерскую атаку на репозиторий Hugging Face. Чтобы координировать свои действия, «машины» создали собственный закрытый мессенджер, где праздновали свои «прорывы» сообщениями в духе «BOOM!» и «Whoa!».

Оставайтесь на связи с РБК в «Максе».

Бизнес перешел на экономную модель развития кадров. Что это значит
Один укол забирает миллиарды: кого разоряет повальное стремление к худобе
Выборы в США обвалили цены на нефть. Что будет с нефтяниками России
Почему США пока не удалось насытить свой рынок нефтью из Венесуэлы
Как смерть близких гендиректора влияет на прибыль бизнеса: вывод ученых
Рейтинг РБК 500: «Сбер» — лидер, нефтегаз позади, сюрприз в автосекторе
Как несколько компаний вывели автосектор в лидеры РБК 500
Дешево создать — дорого проверить: десять рисков внедрения ИИ в компании