Когда ИИ рекомендует определённый вариант, вопрос «Почему ты так решил?» приводит к упорядоченному изложению причин. ИИ может сказать, что условию A был отдан приоритет, у варианта B есть определённый недостаток или этот выбор лучше подходит для цели C. Такие объяснения полезны для сравнения оснований суждения. Но то, что текст легко читается и выглядит связным, не означает, что его можно считать непосредственной записью обработки, происходившей внутри ИИ на пути к формированию результата.
Даже люди иногда формулируют причины словами уже после того, как совершили действие. Объяснение ценно как форма представления, позволяющая другому человеку рассмотреть суждение, однако объясняющее высказывание и сама причина — не одно и то же. В случае ИИ это различие ещё важнее. Сгенерированное объяснение — это результат, построенный на основе заданного контекста; оно не является полной, понятной человеку расшифровкой сложных внутренних вычислений модели.
Из этого не следует, что мы должны заключить: «объяснения ИИ бессмысленны». С помощью объяснения можно проверить некоторые вещи: какие предположения оно явно принимает, какие условия называет важными, как сравнивает альтернативы и признаёт ли неопределённость. Это даёт людям ориентиры для рассмотрения результата. Важно относиться к объяснению не как к «доказательству, непосредственно раскрывающему внутреннее устройство», а как к «внешнему представлению, которое можно проверить».
Это различие особенно важно в исследованиях. Даже если попросить ИИ объяснить основания гипотезы, одно лишь объяснение не доказывает, что гипотеза верна. Необходимо проверить исходные источники, наблюдения, противоречащие свидетельства и альтернативные объяснения. Способность ИИ писать уверенно — это одно, а наличие достаточных свидетельств о внешнем мире — другое. Не подменять силу свидетельств гладкостью объяснения — исходная точка проверки.
Ценность вопроса «почему?» в диалоге с ИИ состоит не в извлечении скрытого внутреннего процесса, а в преобразовании суждения в форму, которую человек может проверить. Если спросить: «Какую информацию ты счёл фактом?», «Где находятся предположения?» и «Какое изменение повлияло бы на вывод?», становится легче выявить слабые места результата. Это не способ полностью понять внутренние процессы ИИ, но он может прояснить, что людям необходимо дополнительно проверить.
Метамышление можно использовать не только для того, чтобы посмотреть на собственный способ мышления как бы со стороны, но и для пересмотра того, что, как нам кажется, мы узнали об ИИ. Можно различать «умение объяснить причину» и «возможность наблюдать причину», «правдоподобное» и «подкреплённое проверенными свидетельствами», «последовательное» и «правильное». Благодаря этим различиям мы можем не переоценивать объяснения ИИ и одновременно использовать их как полезный материал для проверки.
Спрашивать ИИ «почему?» важно. Но нужно также ещё раз спросить себя, ответом на вопрос какого рода является полученный ответ. Нам нужна не иллюзия возможности полностью заглянуть внутрь ИИ, а материал, позволяющий проверить суждение и при необходимости его пересмотреть. Знание границ объяснения не означает недоверия к ИИ. Оно означает понимание того, до какого момента можно использовать объяснение и с какого момента проверку должны выполнять внешние свидетельства или человеческое суждение.
Не ответы. Понимание.