La optimización es poderosa cuando el objetivo está claro. Una vez establecidas las condiciones —acortar el tiempo de viaje, reducir costes o disminuir la carga de trabajo manteniendo un determinado nivel de calidad—, la IA puede comparar muchas opciones. Pero en decisiones humanas importantes, el propio objetivo puede no ser único ni estar definido. Una persona puede querer aumentar sus ingresos y, al mismo tiempo, proteger el tiempo con su familia, o buscar crecer sin aumentar la carga sobre su salud. En esas situaciones, la relación entre los valores debe considerarse antes de que comience la optimización.
El problema no es el acto de convertir múltiples valores en números. Asignar ponderaciones para compararlos puede ser útil. Pero cuando deja de estar claro quién estableció esas ponderaciones y por qué, la formación del objetivo se convierte en una mera condición de cálculo. Por ejemplo, si desde el principio se establece una configuración que valora mucho los ingresos, la IA puede hacer recomendaciones coherentes bajo esa condición. Aun así, no puede deducirse de la corrección del cálculo si la persona realmente desea priorizar los ingresos por encima de todo lo demás.
Para los seres humanos finitos, esta diferencia importa. Si pudiéramos reiniciar la vida repetidamente después de establecer un objetivo equivocado, quizá más adelante podríamos elegir la ponderación que produjo el mejor resultado. Sin embargo, en la realidad, parte del tiempo empleado y de las oportunidades perdidas a causa de una elección no regresan. Por tanto, «¿qué debe optimizarse?» no es simplemente un paso técnico de preprocesamiento; forma parte del juicio sobre en qué empleará una persona su tiempo finito.
Como apoyo al pensamiento, la IA puede hacer visibles los conflictos dentro de un objetivo en lugar de fijar el objetivo por sí sola. Puede mostrar qué cambia cuando se prioriza un valor y cómo cambia la clasificación de las opciones cuando se da más peso a otro valor. Mediante preguntas, también puede comprobar si lo que en apariencia parece un único objetivo contiene en realidad múltiples deseos. Tales comparaciones pueden ayudar a una persona a comprender qué está tratando de elegir antes de reducir el problema a un único óptimo.
Aquí, hacer preguntas no debe convertirse en un fin en sí mismo. Si el objetivo está claro y la elección es fácilmente reversible, detenerse cada vez haría que el apoyo resultara, por el contrario, una carga. Lo importante es identificar las situaciones en las que la ambigüedad del objetivo podría cambiar la conclusión, entran en conflicto múltiples valores o la elección es altamente irreversible. Una pregunta no es una oposición a la rapidez; es un medio necesario cuando el objetivo aún no se ha formado como algo que el ser humano pueda reconocer como propio.
Para Sai＊aus, aquí es donde se encuentran la optimización y la comprensión. Aunque la IA encuentre un medio excelente, una alta eficiencia no implica necesariamente un resultado deseable si el ser humano no comprende el objetivo hacia el que se dirige ese medio. Por tanto, no deben confundirse el nivel que compara los medios y el nivel que examina qué importa. Las capacidades de la IA pueden utilizarse como material para formar objetivos, preservando al mismo tiempo una estructura en la que los seres humanos puedan asumir la responsabilidad por la prioridad asignada a los valores.
Decidir «qué importa» antes de la optimización no significa que una persona deba pensar siempre sola y de manera aislada. Las personas forman valores en sus relaciones con los demás y dentro de sus responsabilidades sociales. La IA también puede apoyar ese examen. Aun así, aquello que se ha vuelto calculable no es necesariamente aquello que debería delegarse. El apoyo al pensamiento debe preservar la condición de que los agentes finitos puedan comprender qué priorizan sus elecciones y a qué renuncian, y después utilizar la optimización sin borrar el juicio humano.
No respuestas. Comprensión.