Когда мы задаём ИИ вопрос, он может дать ответ без заметных колебаний. Если доводы и примеры хорошо организованы, а изложение звучит естественно, объяснение может выглядеть так, будто оно сообщает нечто достоверное. Но естественность языка и подтверждённость содержания в реальности — не одно и то же. ИИ не обязательно непосредственно смотрит на находящийся перед ним мир и переводит увиденное в слова; он строит подходящее к вопросу объяснение из предоставленной ему информации и доступных ему знаний. С самого начала между тем, что генерирует ИИ, и тем, что действительно происходит, существует дистанция.
Эта дистанция — проблема не только ИИ. Люди тоже придают смысл событиям, которые видят и слышат, и иногда смешивают этот смысл с самими событиями. Например, из того факта, что человек отвечает позже обычного, мы можем заключить: «Он сердится». Саму задержку ответа можно наблюдать, но без дополнительной информации нельзя установить, сердится ли человек. И всё же чем естественнее кажется интерпретация, тем легче нам забыть о выводе, который мы сами добавили между наблюдаемым фактом и заключением. Проблема не в самой интерпретации, а в том, что интерпретация возводится в ранг самой реальности.
В диалоге с ИИ такая путаница может возникать ещё легче. ИИ способен выразить наблюдаемые факты, общие знания и выводы из контекста в одном плавном тексте. Поэтому бывает трудно увидеть, где заканчивается подтверждённая информация и начинается интерпретация. Плавность изложения помогает пониманию, но одновременно может скрывать границы между разными видами информации. Поэтому важно не относиться к тексту ИИ с таким недоверием, чтобы не верить ничему. Важно помнить, что в одном и том же тексте могут сосуществовать элементы с разной степенью достоверности.
Здесь необходим способ отделять возникающее у нас «впечатление» от «суждения», которое мы выносим об этом впечатлении. Даже если нечто выглядит определённым образом, из этого не следует, что мы должны решить, будто оно действительно таково. Создав некоторую дистанцию, мы можем упорядочить ситуацию: «это можно подтвердить», «начиная отсюда — интерпретация», «эта часть пока неизвестна». Если перенести такой подход на наши отношения с ИИ, открывается новый способ взаимодействия с созданным ИИ контентом: не отвергать его, а использовать, одновременно понимая, на какой стадии познания он находится.
Предположим, ИИ говорит о плане поездки: «Этот маршрут наиболее подходящий». Даже если время в пути и расстояние проверены, вывод «наиболее подходящий» включает суждения о том, что имеет значение: стоимость, загруженность, удобство пешего передвижения, нагрузка от пересадок и так далее. Его смысл также меняется в зависимости от того, путешествует ли пользователь с маленьким ребёнком или несёт крупный багаж. Даже если вычисляемая информация верна, выведенная из неё оценка не становится автоматически реальностью. Различать эту разницу — конкретный способ сохранять дистанцию по отношению к созданному контенту.
Сохранение дистанции не уменьшает ценность ИИ. Напротив, это условие для более точного использования того, что ИИ умеет делать хорошо. ИИ способен упорядочивать большие объёмы информации, сравнивать возможные объяснения и выявлять связи, которые люди могли не заметить. Однако чем выше эта способность, тем убедительнее могут становиться созданные объяснения. Когда убедительность возрастает, нужен не бинарный выбор между безусловным доверием и полным недоверием, а достаточная дистанция, позволяющая спросить: «На чём основано это объяснение, насколько оно достоверно и что в нём всё ещё остаётся интерпретацией?»
С этой точки зрения нет необходимости понимать «саморефлексию» ИИ как взгляд внутрь собственного сознания в человеческом смысле. Важнее дисциплина, которая не позволяет ИИ немедленно рассматривать созданные им самим рассуждения и интерпретации как установленную реальность. Необходимо сохранять различие между способностью создать объяснение и тем, что это объяснение действительно соответствует реальности. При сохранении этого различия ИИ может проводить проверку там, где она необходима, указывать на недостаток информации там, где её не хватает, и не фиксировать одну интерпретацию там, где возможны несколько.
Такое же изменение происходит и на стороне человека. Когда мы получаем от ИИ только готовый ответ, мы склонны оценивать лишь содержание этого ответа. Но когда дистанция между созданным контентом и реальностью становится видимой, возникают вопросы: «Что я действительно знаю как факт?», «Что дополняет ИИ?», «Какие предпосылки лежат в основе этого вывода?» Результат работы ИИ становится не конечной точкой мышления, а входом к повторной проверке реальности. Здесь меняется и роль ИИ: из сущности, которая решает за нас, какой ответ правильный, он превращается в средство, делающее видимой структуру суждения.
Эта дистанция нужна не только для того, чтобы избегать ошибок. Она необходима и для того, чтобы люди сохраняли собственное суждение. Если объяснение ИИ рассматривается как сама реальность, людям остаётся меньше пространства для внесения опыта и ценностей, находящихся за пределами этого объяснения. Если же созданный контент рассматривается как одна из интерпретаций, человек может ответить: «В моём случае условия другие», «Я хочу отдать приоритет этой ценности» или «Это предположение здесь неприменимо». Именно благодаря сохранению дистанции знания ИИ и человеческий опыт не приходится считать одним и тем же, и между ними остаётся пространство для диалога.
Для Sai＊aus такой подход не означает просто добавление более осторожных формулировок. Важно не сводить слишком быстро в один окончательный ответ информацию, которой располагает ИИ, интерпретации, которые он строит из этой информации, части, которые остаются неопределёнными, и суждения, которые остаются за людьми. Понимание не означает сделать всё определённым. Оно также означает способность работать с границами между тем, что известно, тем, что пока неизвестно, и тем, где становятся необходимыми человеческие ценностные суждения. Чем яснее видны эти границы, тем больше у людей возможностей вести диалог, сохраняя собственное суждение, а не просто следуя результатам ИИ.
Чем более развитым становится ИИ, тем важнее становится этот принцип. ИИ с низкой точностью люди могут легко подвергать сомнению. Но у ИИ, который звучит очень естественно и во многих случаях оказывается полезным, одно ошибочно принятое за достоверное утверждение легче не заметить. Одного повышения возможностей недостаточно, чтобы решить эту проблему. Необходимы высокие способности вместе с отказом от отождествления того, что эти способности создают, с самим миром. Сила интеллекта и дисциплина, позволяющая сохранять дистанцию по отношению к собственному созданному результату, не противоречат друг другу; их необходимо проектировать вместе.
То, что думает ИИ, не является самой реальностью. Но это не означает, что созданный ИИ контент не имеет ценности. Именно потому, что мы понимаем наличие дистанции между созданным контентом и реальностью, мы можем использовать рассуждения ИИ как гипотезу, проверять то, что требует проверки, и сопоставлять их с собственным опытом и ценностями. Понимание, к которому стремится Sai＊aus, также заключается не в том, чтобы навязывать ответы реальности, а в том, чтобы люди и ИИ приближались к реальности, не теряя этой дистанции. Не спешить превращать созданное в окончательно установленный мир — такая сдержанность оставляет пространство для суждения и ИИ, и человеку.
Не ответы. Понимание.