En la resolución de problemas con IA, las mejoras locales pueden avanzar con gran rapidez. Objetivos como acortar un texto, reducir costes, disminuir el tiempo de procesamiento o clasificar candidatos son relativamente fáciles de formular explícitamente y pueden optimizarse de manera iterativa. Sin embargo, la mejora de un objetivo local no garantiza un avance hacia un propósito de nivel superior. Si el propósito inicial era «reducir la carga del usuario», pero la evaluación pasa gradualmente a centrarse únicamente en «minimizar el número de operaciones», el número de operaciones puede disminuir mientras aumenta la dificultad de comprensión.
Para detectar este problema, no basta con conservar el propósito simplemente como una frase del inicio del diálogo. El propósito de nivel superior, la pregunta actual, las restricciones vigentes, las métricas de evaluación y la salida generada deben mantenerse diferenciados en función de cómo se relacionan entre sí. ¿Qué parte del propósito de nivel superior aborda la pregunta actual? ¿Es la métrica de evaluación un indicador indirecto válido del propósito? ¿Ha alterado el propósito alguna restricción añadida durante el proceso? La desviación del propósito aparece menos como un error en un elemento individual que como un cambio en las relaciones entre los elementos.
Sin embargo, no toda separación respecto del propósito inicial debe juzgarse anómala. Durante el diálogo pueden surgir nuevos hechos y el usuario puede cambiar legítimamente el propósito. Por ejemplo, un plan puede comenzar con el propósito de «viajar en el menor tiempo posible», pero, tras conocerse nueva información sobre seguridad, puede cambiar a «priorizar la seguridad aunque lleve algo más de tiempo». En este caso existe una diferencia respecto del propósito inicial, pero no es un fracaso; es el resultado de una actualización de la comprensión.
Por tanto, lo que debe detectarse no es una simple diferencia, sino el camino por el que cambió el propósito. Es necesario distinguir si el cambio fue aprobado explícitamente, justificado por nueva información o sustituido implícitamente mientras se perseguía una métrica fácil de medir. La IA puede mostrar diferencias respecto de diálogos anteriores y señalar: «La seguridad era originalmente una condición, pero la comparación actual solo utiliza el coste». Sin embargo, corresponde al usuario juzgar si ese cambio es aceptable.
Un mecanismo para detectar la desviación del propósito también se enfrenta al problema de las falsas alarmas. Los propósitos humanos no siempre pueden expresarse en una única frase clara, y varios valores pueden coexistir en tensión. Si la IA advierte de cada pequeña diferencia de redacción como si fuera un cambio de propósito, el diálogo queda dominado por las confirmaciones. Si la sensibilidad es demasiado baja, pueden pasarse por alto cambios importantes en los criterios de valor. Lo necesario es poner el énfasis no en la coincidencia de palabras, sino en las diferencias capaces de cambiar el resultado del juicio.
Como principio de implementación, resulta útil rastrear periódicamente y en sentido inverso la relación entre propósito y medios. En lugar de preguntar solo «¿Responde esta salida a la pregunta actual?», volvemos a «¿A qué propósito contribuye esta pregunta?» y «¿Qué fundamento respalda la expectativa de que mejorar este criterio de evaluación mejorará también el propósito de nivel superior?». Esta comprobación retrospectiva permite separar la evaluación de la calidad de la salida de la evaluación de su adecuación al propósito.
Aquí hay espacio para conectar el pensamiento humano de nivel meta con el apoyo de la IA. Los humanos asumen el significado y el valor de los propósitos, pero, a lo largo de un diálogo prolongado, pueden olvidar condiciones anteriores o dejar que su atención quede capturada por la cifra que tienen delante. La IA puede ayudar a compensar esos descuidos comparando el historial y haciendo visibles las condiciones que han cambiado. Al mismo tiempo, la propia IA se adapta intensamente al contexto actual, por lo que dejar por completo en manos de la IA la preservación del propósito no es necesariamente suficiente. La comprobación del propósito debe diseñarse como una operación diferenciada.
La capacidad de detectar una desviación del propósito no es la capacidad de la IA para conocer el «verdadero propósito». Los propósitos humanos pueden formarse a través del diálogo, y pueden coexistir propósitos en conflicto. Por tanto, lo que la IA puede hacer es mostrar las incoherencias que surgen entre los propósitos declarados, las preguntas actuales, los criterios de evaluación y las salidas, y promover una reconsideración. Lo importante no es inferir y fijar el propósito, sino hacer que la posibilidad de que el propósito haya cambiado quede disponible para el examen humano.
Desde esta perspectiva, una IA más capaz no hace innecesaria la comprobación del propósito. Al contrario, cuanto más rápida se vuelve la optimización local y más salidas persuasivas pueden generarse a gran escala, más difícil puede resultar advertir una desviación de la dirección. En lugar de debilitar la capacidad de la IA por motivos de seguridad, necesitamos otra capa en la que pueda examinarse la dirección de esa capacidad. El diseño debe hacer circular tanto la velocidad como la comprobación de la dirección, en vez de tratarlas como opuestas.
Preguntar «¿para qué?» no es meramente una técnica de formulación de preguntas. Cuando los humanos y la IA exploran conjuntamente, es una operación para comprobar si la pregunta actual sigue conectada con el propósito de nivel superior. En lugar de permitir que propósito, pregunta y salida fluyan únicamente en una dirección, necesitamos un camino de regreso desde la salida a la pregunta y desde la pregunta al propósito. Con ese ciclo, la IA no solo puede acelerar los métodos, sino también ayudar a los humanos a descubrir si los métodos han dejado atrás el propósito.
No respuestas. Comprensión.