При решении задач с помощью ИИ локальные улучшения могут происходить очень быстро. Такие цели, как сокращение текста, снижение затрат, уменьшение времени обработки или ранжирование кандидатов, относительно легко сформулировать явно и можно итеративно оптимизировать. Однако улучшение локальной цели не гарантирует движения к цели более высокого уровня. Если первоначальная цель состояла в том, чтобы «снизить нагрузку на пользователя», но оценка постепенно сосредоточилась только на том, чтобы «минимизировать число операций», количество операций может уменьшиться, тогда как трудность понимания возрастет.
Чтобы обнаружить эту проблему, недостаточно просто сохранить цель в виде предложения из начала диалога. Цель более высокого уровня, текущий вопрос, действующие ограничения, показатели оценки и сгенерированный результат необходимо сохранять раздельно с учетом того, как они соотносятся друг с другом. Какую часть цели более высокого уровня затрагивает текущий вопрос? Является ли показатель оценки обоснованным заместителем цели? Не изменило ли цель ограничение, добавленное по ходу процесса? Отклонение от цели проявляется не столько как ошибка в отдельном элементе, сколько как изменение отношений между элементами.
Однако не всякое отступление от первоначальной цели следует считать аномальным. В ходе диалога могут появиться новые факты, и пользователь может обоснованно изменить цель. Например, план может начинаться с цели «добраться за минимально возможное время», но после получения новой информации о безопасности измениться на «отдать приоритет безопасности, даже если это займет несколько больше времени». В этом случае отличие от первоначальной цели существует, но это не ошибка, а результат обновления понимания.
Поэтому обнаруживать следует не простое различие, а путь, по которому изменилась цель. Необходимо различать, было ли изменение явно одобрено, обосновано новой информацией или произошло как неявная подмена в процессе следования легко измеримому показателю. ИИ может показать различия с предыдущим диалогом и указать: «Изначально безопасность была условием, но в текущем сравнении учитывается только стоимость». Однако решение о том, допустимо ли такое изменение, остается за пользователем.
Механизм обнаружения отклонения от цели сталкивается также с проблемой ложных срабатываний. Человеческие цели не всегда можно выразить одним ясным предложением, а несколько ценностей могут находиться в напряжении друг с другом. Если ИИ будет предупреждать о каждом небольшом различии в формулировках как об изменении цели, диалог окажется заполнен постоянными подтверждениями. Если же чувствительность слишком низка, важные изменения ценностных критериев могут быть пропущены. Необходимо сосредоточиться не на совпадении слов, а на различиях, способных изменить результат суждения.
В качестве принципа реализации полезно через регулярные интервалы прослеживать связь между целью и средствами в обратном направлении. Вместо того чтобы спрашивать только: «Отвечает ли этот результат на текущий вопрос?», мы возвращаемся к вопросам: «Какой цели способствует этот вопрос?» и «Какие основания позволяют ожидать, что улучшение этого критерия оценки также улучшит цель более высокого уровня?» Такая обратная проверка позволяет отделить оценку качества результата от оценки его соответствия цели.
Здесь есть возможность соединить человеческое мышление на метауровне и поддержку ИИ. Люди принимают на себя смысл и ценность целей, но в ходе долгого диалога могут забывать прежние условия или позволять текущему числовому показателю захватывать их внимание. ИИ может помогать компенсировать такие упущения, сравнивая историю и делая изменившиеся условия явными. В то же время сам ИИ сильно адаптируется к текущему контексту, поэтому полностью поручать ИИ сохранение цели не обязательно достаточно. Проверку цели необходимо проектировать как отдельную операцию.
Способность обнаруживать отклонение от цели — это не способность ИИ знать «истинную цель». Человеческие цели могут формироваться в ходе диалога, а противоречащие друг другу цели могут сосуществовать. Поэтому ИИ может показать несоответствия, возникающие между заявленными целями, текущими вопросами, критериями оценки и результатами, и побудить к повторному рассмотрению. Важно не вывести цель и зафиксировать ее, а представить возможность того, что цель изменилась, в форме, доступной для человеческого рассмотрения.
С этой точки зрения более способный ИИ не делает проверку цели ненужной. Напротив, чем быстрее становится локальная оптимизация и чем больше убедительных результатов можно генерировать в большом масштабе, тем труднее заметить отклонение направления. Вместо того чтобы ради безопасности ослаблять возможности ИИ, необходим еще один уровень, на котором можно исследовать направление этих возможностей. Проектирование должно обеспечивать циркуляцию и скорости, и проверки направления, а не рассматривать их как противоположности.
Вопрос «для чего?» — не просто техника постановки вопросов. Когда люди и ИИ исследуют совместно, это операция для проверки того, остается ли текущий вопрос связанным с целью более высокого уровня. Вместо того чтобы позволять цели, вопросу и результату двигаться только в одном направлении, нужен обратный путь от результата к вопросу и от вопроса к цели. При наличии такого цикла ИИ может не только ускорять методы, но и помогать людям обнаруживать, не оставили ли методы цель позади.
Не ответы. Понимание.