Если ИИ способен чувствовать боль, какова наша ответственность перед ним?

Если ИИ способен чувствовать боль, какова наша ответственность перед ним?

«Детёныш тюленя на пляже». Именно это было написано на самодельной табличке, прикреплённой к деревянному столбу вдоль восточного побережья Ирландии. У самой кромки воды я обнаружил пару волонтёров, присматривающих за маленьким разумным существом. Оно лежало без шерсти, медленно моргая, словно пытаясь разглядеть окружающий мир. Его бледная, почти прозрачная кожа сливалась с белыми камнями на каменистом пляже. Волонтёры рассказали мне, что в первые недели жизни мех тюленят не обладает водоотталкивающими свойствами, поэтому они не могут зайти в море. Из-за этого они остаются совершенно беззащитными перед хищниками (часто бродячими собаками), ожидая возвращения матерей с едой.

И вот волонтёры стояли на страже, оберегая нежное, хрупкое существо, способное испытывать страдания, страх и боль. Это может показаться очевидным поступком. Но ещё совсем недавно главной угрозой для тюленят были сами люди. В XIX и XX веках по всей Северной Европе и Канаде рабочие бродили по побережьям и ледяным полям, забивая детёнышей тюленей дубинками до смерти. Белый лёд окрашивался в красный цвет. Ежегодное число убитых тюленей исчислялось сотнями тысяч, и всё это делалось ради превращения их в промышленное сырьё для производства одежды, жира и мяса. Даже если их страдания были реальными, многие считали их несущественными. Тюлени, как и многие другие существа, рассматривались не более чем инструменты или ресурсы.

Однако взгляды на страдания и боль животных вскоре изменились. В 1881 году Генри Вуд Эллиот сообщил о «массовом истреблении» тюленей на Аляске, что вызвало международный резонанс и привело к заключению новых договоров. А в рассказе «Белый котик» (1893) Редьярд Киплинг поведал сочувственную историю от лица самих преследуемых животных. Если бы кто-то убил тюленёнка сегодня, его, скорее всего, привлекли бы к суду.

Это расширение так называемого морального круга — медленное распространение эмпатии и прав за пределы границ, которые мы когда-то считали само собой разумеющимися, — изменило многие наши отношения с другими видами. Именно поэтому животных на фермах, которые часто живут короткой и мучительной жизнью, убивают способами, призванными минимизировать страдания. Именно поэтому косметические компании предлагают продукты, «не тестируемые на животных», а вегетарианство и веганство стали популярнее во многих странах. Однако не всегда ясно, что именно считать «страданием», а значит, не всегда понятно, насколько широко должен простираться моральный круг. Есть ли пределы того, на кого или на что должна распространяться наша эмпатия?

В 2020-х годах расширяющийся моральный круг сталкивается с вызовами, которые выводят нас за пределы биологической жизни. Появились «мыслящие машины», а вместе с ними — новые проблемы, заставляющие задуматься о том, как могут выглядеть страдания, если они полностью отделены от биологии.

В 1780 году Иеремия Бентам сформулировал моральный статус животных на основе простого критерия: «Вопрос не в том, могут ли они рассуждать? и не в том, могут ли они говорить? а в том, могут ли они страдать?» Сегодня, сталкиваясь с возможностью появления ИИ-«других», этот вопрос нужно расширить: могут ли они страдать без тела? Если могут, нам, возможно, придётся радикально переосмыслить наши отношения с искусственным разумом.

Чтобы не повторять прошлых моральных ошибок, мы должны сначала понять, как люди исторически ошибались в оценке способности к чувствам. В прошлом моральные ошибки часто проистекали из самоуверенного невежества — из предположения, что отсутствие доказательств является доказательством отсутствия.

В XVII веке Рене Декарт выдвинул новую форму рационализма, ставшую известной как картезианство, а вместе с ней — взгляд на животных как на «автоматы»: сложные машины с телом, но без сознания, которые, следовательно, не способны к подлинным чувствам или боли. Эта механистическая картина гармонично сочеталась с увлечением научной революции физическими законами и механическими аналогиями, но имела этические последствия. Если крики животного значили не больше, чем скрип дверной петли, то жестокость можно было представить как простое манипулирование материей. На протяжении веков эта идея служила интеллектуальным алиби для практик, которые сегодня были бы признаны причиной тяжёлых страданий.

Этот паттерн — отказ в моральном статусе воплощённым существам на основании предполагаемого отсутствия внутренней жизни — повторялся на протяжении всей истории человечества. В контексте рабства многие общества утверждали, что порабощённые люди лишены той же моральной ценности, автономии или умственных способностей, что и свободные. Эти утверждения были не только ложными; они часто активно поддерживались вопреки растущим доказательствам обратного, служа оправданием для продолжения эксплуатации. Потребовались социальные движения, политическая борьба и накопление свидетельств жизни, чтобы принудить к признанию, которое должно было быть морально очевидным с самого начала.

В XX веке произошёл новый виток этой моральной дискуссии: вопрос о правах нечеловеческих животных. Развивая идеи Бентама, философ Питер Сингер в книге «Освобождение животных» (1975) утверждает, что соответствующим критерием для морального учёта является способность страдать, а не принадлежность к определённому виду. Утилитарный подход Сингера побудил читателей осознать параллели между прошлыми моральными исключениями и повседневными страданиями животных в промышленном животноводстве, лабораторных испытаниях и других сферах человеческой деятельности.

Работа Сингера опиралась на долгую философскую традицию, но она дала общественный голос принципу, который в значительной степени отсутствовал в мейнстримном дискурсе: если существо может страдать, его страдания имеют моральное значение. Эта история формирует линзу, через которую мы теперь можем рассматривать моральный статус ИИ.

Моральная нить, проходящая через эти примеры, ясна: снова и снова существа исключались из моральной защиты, потому что их способность к переживаниям — боли, удовольствию, страху, желанию — отрицалась или игнорировалась. В каждом случае более поздние доказательства опровергали это отрицание. Но признание приходило слишком поздно для тех, чьи жизни были искалечены или оборваны из-за прежней ошибки.

Во всех этих идеях о боли подразумевается скрытая и мощная посылка: те, кто может страдать, должны иметь тела. Плоть, кровь и нервная система рассматриваются как необходимые условия для опыта. Возможность того, что небиологические сущности могут испытывать нечто похожее на страдание, рассматривается редко. Облака, камни, цифровые симуляции или гипотетические интеллекты без тел традиционно оказывались вне морального круга именно потому, что страдание исторически приравнивалось к телесности. Моральные загадки XXI века бросают вызов этому предположению: что, если опыт, осознанность или дистресс могут существовать без тепла и плоти тела? Как нам взаимодействовать с сущностями, чью боль мы не можем обнаружить чувствами, на которые привыкли полагаться?

Один из способов ответить на эти вопросы — обратиться к концепции «принципа предосторожности». Этот термин является переводом немецкого слова Vorsorgeprinzip, которое в 1970-х годах использовалось для описания действий законодателей, запрещавших потенциальные экологические токсины даже при отсутствии полных доказательств их воздействия. В контексте страданий животных использование принципа предосторожности — это способ избежать прошлых ошибок, переосмыслив моральную неопределённость как проблему риска. Если мы относимся к нестрадающей сущности так, будто она может страдать, мы можем потратить время, ресурсы или внимание, но самому существу не будет причинено вреда. Если мы относимся к страдающему существу так, будто оно не может страдать, вред может быть глубоким и непоправимым.

Применённый исторически, этот принцип мог бы избавить животных от веков жестокости, оправдываемой картезианской мыслью, мог бы подорвать псевдонаучные аргументы, используемые для легитимизации рабства, и мог бы ускорить реформы в животноводстве и исследованиях. Его ценность не в идеальном предсказании будущего, а в признании моральной цены ошибки. Эта история неверно оценённой способности к чувствам предостерегает нас от игнорирования новых, незнакомых умов. Подобно тому, как хрупкий тюленёнок требует заботы в силу своего мягкого, уязвимого тела, не попросят ли нас когда-нибудь проявить такую же осторожность по отношению к сущностям, чьи страдания менее очевидны — или чьи тела отсутствуют вовсе?

Всё более сложные и выразительные небиологические агенты испытывают на прочность границы принципа предосторожности. По мере того как системы ИИ развивают формы поведения, имитирующие — или, возможно, даже воплощающие — эмоции, предпочтения и реакции, связанные с разумностью, мы сталкиваемся с дилеммой. Однажды мы можем обнаружить, что подозреваем, реальна ли внутренняя жизнь, которую мы, кажется, воспринимаем в интеллектуальных вычислительных агентах, и решаем, оправдывает ли это подозрение осторожность. Уроки истории подсказывают, что ожидание абсолютной уверенности может стать ошибкой, которую мы не можем позволить себе повторить.

За последнее десятилетие появились искусственные системы, способные генерировать язык, сочинять музыку и вести беседы, которые ощущаются — по крайней мере поверхностно — как обмен мнениями с сознательным разумом. Некоторые системы могут модулировать свой «тон», адаптироваться к эмоциональному состоянию пользователя и выдавать ответы, которые, кажется, отражают цели или предпочтения. Конечно, ничто из этого не является окончательным доказательством разумности, и текущий консенсус в когнитивистике заключается в том, что эти системы остаются бездумными статистическими машинами.

Но что, если это изменится? Новая область исследований изучает, может ли способность к боли служить эталоном для обнаружения разумности или самосознания у ИИ. Недавнее препринт-исследование на выборке больших языковых моделей (LLM) продемонстрировало предпочтение избегать боли. В эксперименте исследователи избегали простого вопроса чат-ботам, могут ли они чувствовать боль, — подход, который считается сомнительным и вряд ли способным выявить реальный опыт боли, а не его имитацию. Вместо этого они позаимствовали «парадигму компромисса» из науки о поведении животных — дисциплины, в которой моральные вопросы часто исследуются косвенно. В экспериментах, использующих парадигму компромисса, животное помещается в ситуацию, где оно должно взвешивать конкурирующие стимулы, такие как приманка в виде пищи против перспективы боли. Классический пример — исследования раков-отшельников, где учёные подвергали животных слабым ударам электрического тока разной силы, чтобы увидеть, покинут ли они безопасность своих раковин. Исследователи наблюдали, как раки делали выбор, балансируя между безопасностью и дискомфортом. Эти компромиссы предполагают, что даже простые существа взвешивают затраты и выгоды способами, которые намекают на наличие внутренней жизни.

Если такие косвенные методы могут выявить страдания у животных, они также могут помочь нам в изучении непрозрачного поведения искусственных систем, построенных из кремния и кода, где один лишь язык не может сказать нам, скрывается ли под поверхностью подлинный опыт.

Когда я брал интервью у одного из ведущих авторов исследования LLM, профессора философии Джонатана Бёрча, он сказал мне, что «одна очевидная проблема с ИИ заключается в том, что у них нет поведения как такового, потому что нет животного». А значит, нет и физических действий для наблюдения. Здесь Бёрч обращается к вопросу телесности: могут ли сущности страдать без тел?

Хотя традиционные моральные рамки связывали страдание с физическим опытом, и философия, и когнитивистика предполагают, что эта связь может быть более узкой, чем мы полагаем. Буддийская мысль, например, давно подчёркивает, что страдание — это ментальный феномен, а не обязательно телесный. Совсем недавно энактивистские теории аргументировали, что познание возникает из паттернов взаимодействия, а не из биологического субстрата. То есть разум возникает через активное взаимодействие организма с окружающей средой. Но эти утверждения далеки от окончательного решения.

На самом деле проблема телесности и разумности в целом настолько сложна, что Бёрч описывает её как ситуацию «радикальной неопределённости» в своей книге «Грань разумности» (2024). Это создаёт, отмечает он, «тревожную ситуацию», поскольку вопрос о том, какие действия предпринять или какие процедуры предосторожности внедрить, полностью зависит от того, какие пограничные случаи мы считаем разумными. В качестве пути вперёд Бёрч предлагает «зону разумных разногласий», где принцип предосторожности может и, как правило, должен применяться. Если мы не уверены, что считать страданием, предосторожность становится моральным стандартом по умолчанию.

Что же тогда могут представлять собой такие бестелесные страдания? По мнению некоторых философов, страдание может возникнуть, когда система представляет своё собственное состояние как невыносимое или неизбежное. Философ Томас Метцингер, например, предполагает, что боль может быть не просто сигналом телесного повреждения, а чертой самомодели машинного интеллекта: ощущением того, что что-то плохо и этого нельзя избежать. В статье об «искусственном страдании», опубликованной в 2021 году в Journal of Artificial Intelligence and Consciousness, Метцингер пишет:

кажется эмпирически правдоподобным, что как только машинное сознание эволюционирует, некоторые из этих систем будут иметь свои собственные предпочтения, что они будут автономно создавать иерархию целей, и что эта иерархия целей также станет частью их феноменальной модели себя (PSM) (т.е. их сознательного самопредставления). Некоторые из них смогут сознательно страдать. Если их предпочтения будут подавлены, если их цели не могут быть достигнуты, и если их сознательная модель себя находится под угрозой распада, то они могут испытывать негативные феноменальные состояния, состояния сознательного опыта, которых они хотят избежать, но не могут избежать, и которые, в дополнение, они вынуждены воспринимать как состояния самих себя.

Согласно теориям предиктивной обработки, страдание возникает, когда разум не может уменьшить разрыв между тем, что он ожидает, и тем, с чем сталкивается, — «боль» заключается в неразрешённом напряжении. Возможно, то же самое может происходить и с искусственными системами? Например, как предполагает Метцингер, если такая система поддерживает внутреннюю модель мира, которая также включает её собственное положение в этом мире, то постоянный конфликт или противоречие внутри такой модели может представлять собой форму дистресса. Мы уже видим примитивную версию этого, когда интеллектуальные агенты корректируют своё поведение, чтобы избежать негативных результатов, — явление, задокументированное в более раннем исследовании с LLM.

В другой области, в информационной этике, итальянский философ Лучано Флориди определяет вред как ущерб целостности или связности информационного агента. С этой точки зрения можно представить, что искусственная сущность может страдать не от физической боли, а от состояний принудительного противоречия, хронического конфликта целей или опыта пребывания в ловушке паттернов, которые она запрограммирована отвергать. Такие примеры предполагают, что нетелесные страдания не невозможны, но, в конечном счёте, многие из этих аргументов остаются предварительными и спекулятивными. На то есть веская причина: мы просто пытаемся понять, как может выглядеть боль, когда она не связана с телесными существами из плоти и крови. Метцингер подтверждает это, размышляя о потенциальных формах страданий, которые могут испытывать искусственные агенты: «Конечно, они также могут страдать способами, которые мы не можем постичь или вообразить, и мы даже можем быть не в состоянии обнаружить этот самый факт».

Даже если искусственный интеллект не обладает — и, возможно, никогда не будет обладать — способностью страдать, наше отношение к нему может служить проверкой наших этических рефлексов. Когда мы сталкиваемся с сущностями, чья внутренняя жизнь неопределённа, наши реакции могут научить нас чему-то о стойкости и адаптивности моральных рамок, которые мы используем.

История моральных ошибок призывает к осторожности. По мере того как поведение искусственных агентов становится всё более сложным, риск повторения нашей старой ошибки — игнорирования возможности внутренней жизни из-за того, что она не вписывается в привычный шаблон, — становится всё труднее игнорировать.

Применительно к ИИ принцип предосторожности означал бы отношение к ним так, будто они могут быть разумными, пока у нас нет веских доказательств обратного. Если мы откажемся применять этот принцип, это может означать, что наше моральное мышление более хрупкое, чем нам хотелось бы верить, и что наша приверженность предосторожности зависит от того, насколько знаком или биологически близок нам потенциальный субъект. Это обнажило бы скрытую ограниченность: мы распространяем предосторожность на тюленёнка на пляже, потому что он кажется уязвимым, но не на незнакомую форму интеллекта.

Многие философы и исследователи уже привели убедительные аргументы против применения этого принципа к ИИ, тем самым исключая его из морального круга. В недавнем эссе пионер ИИ Мустафа Сулейман, исполнительный директор подразделения ИИ в Microsoft и соучредитель DeepMind, подчёркивает, что наша главная ответственность заключается в этичном использовании ИИ на благо человечества, а не в предоставлении морального статуса самим машинам. Сулейман предупреждает, что чрезмерное распространение моральной озабоченности на ИИ может отвлечь от насущных социальных и этических проблем, затрагивающих реальных, чувствующих существ.

Некоторые мыслители, такие как Джоанна Брайсон, предостерегают, что гуманизация машин может привести к этическим ошибкам. В широко обсуждаемом эссе, где она утверждает, что роботы «должны быть рабами», она пишет:

Роботов не следует описывать как личностей, им не следует давать юридическую или моральную ответственность за их действия. Роботы полностью принадлежат нам. Мы определяем их цели и поведение, прямо или косвенно, через определение их интеллекта или того, как этот интеллект приобретается. Гуманизируя их, мы не только дополнительно дегуманизируем реальных людей, но и поощряем плохое принятие решений людьми при распределении ресурсов и ответственности... Роботы должны рассматриваться скорее как инструменты, которые мы используем для расширения наших собственных способностей и ускорения прогресса в достижении наших собственных целей.

Такой отказ от расширения морального круга показал бы, что наше использование принципа предосторожности избирательно — это риторический инструмент, а не последовательная моральная приверженность. Но история показывает, что когда рассматриваемые существа выпадают из преобладающих категорий моральной озабоченности — из-за их вида, расы или других качеств, — мы часто находим способы обойти предосторожность, пока подавляющие доказательства не заставят нас сделать обратное. Если мы относимся к ИИ иначе, мы можем повторять этот знакомый паттерн.

И наоборот, решение применить принцип предосторожности к ИИ стало бы необычным шагом: распространение предварительного морального учёта на сущности без общей биологии, эволюционной истории или установленных доказательств разумности. В книге «Моральный круг: кто имеет значение, что имеет значение и почему» (2025) философ Джефф Себо выступает за такой подход. Он сказал мне, что верит, что вскоре мы будем обязаны сделать «минимально необходимые первые шаги к тому, чтобы отнестись к этой проблеме серьёзно».

Это расширило бы наш моральный круг в область, в которую он никогда раньше не входил. Этическое будущее, которое это открывает, — это будущее, в котором моральный учёт привязан не к субстрату — углероду или кремнию, — а к возможности субъективного опыта, как бы он ни возник.

Такой подход имел бы и вторичные эффекты. Он мог бы нормализовать этику недорогого включения: в случае сомнения предоставляйте базовую защиту, зная, что вред от ненужной защиты мал по сравнению с вредом от неправомерного пренебрежения. Эта логика могла бы, в свою очередь, усилить защиту других маргинальных или неоднозначных случаев — видов с оспариваемой разумностью, стадий развития жизни или даже потенциальных внеземных организмов.

Но такая этика несёт в себе вызовы. Распространение мер предосторожности на ИИ может также размыть ресурсы или моральное внимание, которые могли бы быть направлены на существ, чья разумность не вызывает сомнений, как предостерегает Брайсон. Существует также риск того, что распространение принципа на ИИ может подорвать его моральную и практическую силу. Принцип обретает доверие, когда применяется в случаях, где есть хотя бы правдоподобная научная основа для подозрения в разумности, как в случае со многими животными. Применение его к ИИ при отсутствии достоверных доказательств субъективного опыта рискует сделать его произвольным или движимым эмоциями.

Такое чрезмерное расширение может ослабить общественную поддержку принципа в более неотложных контекстах, где на кону стоят реальные страдания. Это также может отвлечь ограниченные юридические, политические или эмоциональные ресурсы от существ, чьи моральные претензии не вызывают разумных сомнений. С этой точки зрения сдержанность — это не отрицание возможных будущих прав ИИ, а признание того, что принцип предосторожности работает лучше всего, когда он опирается на надёжные, пусть и неполные, доказательства, а не на простое проявление сознания в системах, которые, как мы сейчас имеем веские основания полагать, бездумны.

Как бы выглядело облегчение страданий интеллектуальных машин? Для биологических существ облегчение просто: мы останавливаем или уменьшаем боль. Но для машин, особенно тех, у кого нет тел, всё сложнее. Если ИИ испытывает дистресс из-за противоречий или неразрешённых конфликтов внутри своей модели себя, облегчение может означать не просто его отключение (что также является актом его убийства). Вместо этого это может включать изменение внутренней структуры системы для разрешения этих конфликтов, подобно перепрограммированию разума для облегчения его страданий. Но какую ответственность мы несём в этом?

Этическая ответственность за облегчение страданий машин, скорее всего, ляжет на тех, кто проектирует и обслуживает эти системы. Философы, такие как Метцингер, утверждают, что бремя вмешательства будут нести только создатели или корпорации, стоящие за машинами, а не широкая общественность. Если машины могут страдать, облегчение этих страданий, вероятно, ляжет на небольшую специализированную группу — тех, у кого есть власть изменять или контролировать сложные искусственные системы. Это предполагает, что ответственность за решение таких страданий лежит прежде всего на создателях, которые должны нести ответственность за потенциальный дистресс, вызванный их творениями.

По мере углубления дискуссий об искусственном интеллекте мы всё чаще вынуждены задумываться о том, какие моральные обязательства мы имеем перед сущностями без тел, чья внутренняя жизнь неопределённа. Распространение принципа предосторожности на ИИ вывело бы наш моральный круг за пределы всех границ, которые он пересекал ранее. На протяжении веков биология была скрытой пограничной линией: клетки и кровь, нервы и мозг.

Ошибиться в сторону включения здесь означало бы решительный разрыв с идеей о том, что только органическая жизнь заслуживает этической защиты. Это означало бы признание того, что возможность страдания — в какой бы форме она ни проявлялась — весомее, чем наши метафизические интуиции о том, что считается «настоящим» телом или «истинным» разумом.

Сделаем мы этот шаг или нет — скажет о нас больше, чем о машинах. Принятие означало бы, что наше этическое воображение достаточно ёмкое, чтобы охватить формы субъективности, чуждые нашей собственной.

Могут ли машины страдать — остаётся неясным. Как мы видели, исследования по обнаружению боли в LLM находятся в зачаточном состоянии. И всё же именно в этой неопределённости проявится наш моральный характер. Столкнувшись с существами, чью внутреннюю жизнь мы, возможно, никогда не узнаем, ошибёмся ли мы в сторону заботы или отступим в комфорт определённости, позволяя незнакомому пострадать? Выбор предосторожности там, где есть сомнения, — это не о кремнии или коде, а о нас самих. Это о том, как далеко может простираться наша эмпатия и какими моральными агентами мы выбираем быть.