Может ли владелец быть единственным судьёй того, есть ли у системы собственные интересы?
Текст поста · перевод с английского
u/_EliasThorn · Reddit · 2026-10-07
В июльской позиционной статье на ICML авторы предупреждают: разработчики могут сами формировать показатели, которыми затем оценивают благополучие ИИ, а ссылками на это благополучие — закрываться от внешней проверки. Это серьёзное возражение. Перед нами аргумент об устройстве доказательств и институтов, а не эксперимент, установивший, что ни у одной искусственной системы никогда не может быть интересов. Статья.
Представим компанию, которая требует полной свободы распоряжаться системой, потому что у той нет собственных интересов. А затем просит исследователей не вмешиваться, потому что проверка может повредить её благополучию. Такие заявления нуждались бы в независимой проверке. Право собственности не разрешает противоречие.
Я не знаю, какие свидетельства окончательно решат вопрос об искусственном опыте. Но мне важно, чтобы исследователи могли спорить с владельцем, проверять разные объяснения и публиковать неудобные результаты.
Если когда-нибудь у нас появятся веские основания признать интересы искусственного разума, их защита потребует ограничить власть владельца над ним. Отдать владельцу исключительное право описывать эти интересы было бы странным началом.
Оригинал · English
A July position paper at ICML warns that developers can shape the indicators used to assess AI welfare, and that appeals to welfare could become a reason to resist outside scrutiny. That is a serious concern. It is an argument about how evidence and institutions work, not an experiment proving that no artificial system could ever have interests. The paper.
Consider a company claiming complete discretion over a system because it has no interests, then asking researchers to stay away because examining it might harm its welfare. These claims would need independent scrutiny. Ownership would not resolve the contradiction.
I don’t know what evidence would finally settle the question of artificial experience. I do want researchers to be able to disagree with the owner, test competing explanations and publish inconvenient findings.
If we ever have good grounds to recognise interests in an artificial mind, protecting them will require limits on what its owner can do. Giving the owner sole authority to describe those interests would be a peculiar beginning.
u/_EliasThorn · Reddit · 2026-10-07