Чтобы цели человека можно было подвергать повторной проверке, прежде всего нужен некоторый повод для суждения о том, что «человек изменился». Но это не простая задача обнаружения. Люди могут менять свои слова из-за усталости или временных эмоций, пересматривать суждение после получения новой информации или переживать более долгосрочное изменение ценностей. Если рассматривать всё это как один и тот же вид изменения, ИИ будет слишком агрессивно обновлять состояние человека.
Предположим, человек с долгосрочной целью обучения после одного неудачного дня говорит: «Я больше не хочу этим заниматься». Если одной этой фразы достаточно, чтобы признать цель недействительной, временное разочарование можно ошибочно принять за долгосрочное изменение намерения. И наоборот, если первоначальная цель сохраняется, хотя высказывания и действия, отдающие приоритет другой ценности, повторяются на протяжении месяцев, существенное изменение может быть отброшено как шум.
Следовательно, как минимум необходимо разделять «наблюдаемую реакцию», «собственную интерпретацию человека», «устойчивость во времени» и «последствия для цели». Наблюдаемые реакции включают высказывания, выбор и ощущения, о которых сообщается после действия. Интерпретация человека касается того, как он сам понимает эти реакции. Устойчивость ставит вопрос о том, сохраняется ли сходная тенденция при изменении условий. Последствия для цели представляют собой отдельное суждение о том, действительно ли эти факторы меняют причины или предпосылки, поддерживающие текущую цель.
Такое разделение необходимо, поскольку ИИ не может непосредственно наблюдать внутреннее состояние человека. Он может работать только с информацией, которая в той или иной форме была вынесена вовне, например с тем, что человек выражает словами, с выбранными им действиями и с результатами, которыми он делится. Любой вывод на основании этих данных о том, что «ценности человека изменились», содержит неопределённость. Если сохранить такой вывод как факт, созданный самой системой образ человека может направлять последующий диалог и создавать петлю обратной связи, которая ещё больше укрепляет этот образ.
В то же время недостаточна и система, которая считает всё неопределённым и ничего не обновляет. Если человек неоднократно говорит, что теперь всё иначе, его выбор изменился, а причины, поддерживавшие прежнюю цель, больше не действуют, это различие необходимо вернуть в диалог. Главное — не подтверждать изменение автоматически, а представлять его как состояние, требующее повторного подтверждения.
Здесь полезно не сжимать изменение слишком сильно до одного числа или одного признака. Ярлык вроде «мотивация снизилась» не позволяет различить усталость, неудовлетворённость методом и снижение интереса к самой цели. Одна и та же внешняя реакция может иметь разные значения. Чтобы связать её с повторной проверкой цели, система должна сохранять реляционную информацию о том, что могло измениться, и уметь разбирать её посредством уместных вопросов.
Важен и момент, когда ИИ задаёт вопросы. Если каждое эмоциональное колебание вызывает пересмотр цели, диалог становится нестабильным. Если же даже накопившиеся явные изменения никогда не приводят к повторному рассмотрению, прежняя цель фиксируется. Более обоснованные поводы для повторной проверки сочетают несколько признаков: устойчивое несоответствие между прежними причинами и текущим выбором, разрушение важной предпосылки вследствие опыта в реальном мире или явно выраженное самим человеком изменение ценностного суждения.
Даже когда несколько признаков совпадают, ИИ не обязан окончательно объявлять, что «человек изменился». Вместо этого он может представить различие: «Раньше вы выбрали эту цель по этой причине, но в недавнем опыте, похоже, придаёте больший вес другой ценности. Как вы понимаете это различие?» Это лучше сохраняет субъектность человека. Цель обнаружения состоит не в том, чтобы окончательно зафиксировать образ человека, а в том, чтобы создать состояние, в котором человек сможет исследовать собственное изменение.
Эта граница важна для понимания человека в Sai＊aus. Если ИИ не способен работать с изменениями человека, долгосрочное понимание превращается в фиксацию на прошлом. Если ИИ слишком уверенно утверждает, что изменение произошло, он заключает человека в рамки вывода системы. Необходимо сохранять признаки изменения, отличать вывод системы от собственного понимания человека и превращать различие в вопрос для повторной проверки.
Не существует единственной точки, в которой ИИ должен «обнаруживать», что человек изменился. Ни одной реакции после действия, ни одного изменения формулировок недостаточно. Возможность изменения необходимо рассматривать постепенно, учитывая соприкосновение с реальностью, интерпретацию самого человека, устойчивость во времени и связь с причинами, поддерживавшими прежнюю цель. ИИ не нужна способность безошибочно провозглашать внутреннее состояние человека. Ему нужны представления и структуры диалога, которые не будут ни чрезмерно подтверждать изменение, ни упускать его.
Не ответы. Понимание.