A otimização é poderosa quando o objetivo está claro. Uma vez definidas as condições — reduzir o tempo de deslocamento, diminuir custos ou reduzir a carga de trabalho mantendo determinado nível de qualidade —, a IA pode comparar muitas opções. Mas, em decisões humanas importantes, o próprio objetivo pode não ser único nem estar definido. Uma pessoa pode querer aumentar a renda e, ao mesmo tempo, preservar o tempo com a família, ou buscar crescimento sem aumentar a carga sobre a própria saúde. Nessas situações, a relação entre os valores precisa ser considerada antes do início da otimização.
O problema não está no ato de converter múltiplos valores em números. Atribuir pesos para comparação pode ser útil. Mas, quando deixa de estar claro quem definiu esses pesos e por quê, a formação do objetivo transforma-se em uma mera condição computacional. Por exemplo, se uma configuração que atribui alto valor à renda for definida desde o início, a IA pode fazer recomendações consistentes sob essa condição. Ainda assim, não é possível deduzir da correção do cálculo se a pessoa realmente deseja priorizar a renda acima de tudo.
Para seres humanos finitos, essa diferença importa. Se pudéssemos reiniciar a vida repetidamente depois de definir o objetivo errado, talvez pudéssemos escolher mais tarde a ponderação que produziu o melhor resultado. Na realidade, porém, parte do tempo gasto e das oportunidades perdidas em decorrência de uma escolha não retorna. Portanto, “o que deve ser otimizado?” não é apenas uma etapa técnica de pré-processamento; faz parte do julgamento sobre em que uma pessoa usará seu tempo finito.
Como apoio ao pensamento, a IA pode tornar visíveis os conflitos dentro de um objetivo, em vez de fixar o objetivo por conta própria. Ela pode mostrar o que muda quando um valor é priorizado e como a classificação das opções muda quando outro valor recebe mais peso. Por meio de perguntas, também pode verificar se aquilo que, na superfície, parece ser um único objetivo contém, na verdade, múltiplos desejos. Essas comparações podem ajudar uma pessoa a compreender o que está tentando escolher antes de reduzir o problema a um único ótimo.
Aqui, fazer perguntas não deve se tornar um fim em si mesmo. Se o objetivo estiver claro e a escolha for facilmente reversível, parar todas as vezes tornaria o apoio, ao contrário, oneroso. O que importa é identificar situações em que a ambiguidade do objetivo poderia mudar a conclusão, múltiplos valores entram em conflito ou a escolha é altamente irreversível. Uma pergunta não é uma oposição à rapidez; é um meio necessário quando o objetivo ainda não foi formado como algo que o ser humano possa reconhecer como seu.
Para Sai＊aus, é aqui que otimização e compreensão se encontram. Mesmo que a IA encontre um meio excelente, alta eficiência não implica necessariamente um resultado desejável se o ser humano não compreender o objetivo para o qual esse meio está direcionado. Portanto, a camada que compara os meios e a camada que examina o que importa não devem ser confundidas. As capacidades da IA podem ser usadas como material para a formação de objetivos, preservando ao mesmo tempo uma estrutura na qual os seres humanos possam assumir a responsabilidade pela prioridade atribuída aos valores.
Decidir “o que importa” antes da otimização não significa que uma pessoa deva sempre pensar sozinha e de forma isolada. As pessoas formam valores nas relações com os outros e no âmbito de responsabilidades sociais. A IA também pode apoiar esse exame. Ainda assim, aquilo que se tornou calculável não é necessariamente aquilo que deveria ser delegado. O apoio ao pensamento deve preservar a condição de que agentes finitos possam compreender o que suas escolhas priorizam e aquilo de que abrem mão, e então usar a otimização sem apagar o julgamento humano.
Não respostas. Compreensão.