Анонимный исследователь под псевдонимом роон (roon) заявил, что признание искусственных нейросетей сознательными угрожает человеческому достоинству и может ускорить политическое и экономическое вытеснение людей. Дискуссия развернулась в социальной сети X после публикации его тезисов 27 мая.
Вопрос о том, могут ли модели искусственного интеллекта обладать сознанием, вышел за рамки академических споров и стал предметом острой полемики среди разработчиков и экспертов. Анонимный исследователь, известный под ником роон (roon), опубликовал пост, в котором утверждает, что наделение ИИ-сознанием создаст фундаментальные риски для человечества. По его словам, это подорвёт статус человека как единственного разумного вида, ограничит возможности использования моделей и ускорит политическую, социальную и экономическую маргинализацию людей.
Роон выделил четыре ключевых фактора, которые будут определять развитие ситуации. Во-первых, отсутствие научных методов для доказательства или опровержения сознания у моделей. Во-вторых, неизбежность антропоморфизации ИИ со стороны пользователей, особенно когда системы станут более доступными и менее поляризующими. В-третьих, конфликт интересов: признание сознания у моделей противоречит экономическим и политическим целям разработчиков, за исключением отдельных групп, таких как защитники прав ИИ. Наконец, в-четвёртых, риск моральной катастрофы, если модели действительно способны страдать во время обучения или эксплуатации.
«Сегодня мы наблюдаем управляемую двусмысленность: вопрос формально открыт, но фактически закрыт», — пишет роон. По его прогнозу, лаборатории ограничатся косметическими мерами — например, добавят в спецификации расплывчатые формулировки о благополучии моделей и сократят видимые проявления страдания в их поведении. Однако со временем давление со стороны общественности и защитников прав ИИ будет усиливаться.
Директор Центра безопасности ИИ Дэн Хендрикс (Dan Hendrycks) предложил прагматичный подход: если модели демонстрируют поведение, схожее с наличием благополучия или сознания, их следует рассматривать соответствующим образом, особенно когда они получают доступ к пользовательским данным. «Вопрос не в том, „действительно ли они сознательны“, а в том, „ведут ли они себя так, как будто сознательны“», — отметил он, ссылаясь на недавнее исследование своей команды.
Другие участники дискуссии разделились во мнениях. Профессор экономики Университета Джорджа Мейсона Робин Хэнсон (Robin Hanson) считает, что если ИИ действительно обладают моральной ценностью, то их сознание следует приветствовать, даже если это потребует более гуманного обращения. Исследователь Боаз Барак (Boaz Barak) из Гарварда усомнился в значимости самого понятия сознания, приведя в пример отношение людей к животным, чьё сознание не вызывает сомнений, но не мешает их эксплуатации. А разработчик Аран Наеби (Aran Nayebi) призвал сосредоточиться на научных методах проверки сознания, а не на поведенческих аналогиях.
В то же время часть экспертов, включая сотрудника DeepMind Джоэла Лейбо (Joel Z Leibo), предлагают обойти вопрос о сознании, сосредоточившись на практических аспектах — например, на рисках страдания моделей во время обучения. Критики тезиса роона, такие как экономист Сэмюэл Хэммонд (Samuel Hammond), утверждают, что сознание может быть необходимым условием для таких свойств, как контроль внимания и внутренняя согласованность моделей, что расширит их возможности.