当我们要求AI“指出我可能忽略的前提”“提出相反观点”或“把你无法确定的部分区分出来”时，我们就获得了从更外一层重新审视判断的材料。这样的功能可以被期待用于支持元认知。然而，仅仅阅读了许多观点，或感觉自己变得更加谨慎，并不能证明判断能力已经提高。如果要把它作为研究来评估，就需要预先定义：支持带来的哪些变化可以被称为“改善”。
一个指标是校准。校准关注的是判断的准确性与本人信心水平之间的对应程度。在判断正确时保持较高信心，而在判断错误时能够降低信心，可能比单纯保持强烈自信更为理想。如果AI呈现反例和不确定性后，结果只是让用户对所有事情都失去信心，那并不一定意味着改善。重要的是，信心是否能够更恰当地对应证据的强度。
第二个指标是错误检测。我们可以比较接受AI支持的用户，在自己的推理或AI输出中发现错误前提、矛盾和证据不足的能力。不过，如果AI直接告诉他们错误在哪里，表现提高并不令人意外。要评估元认知支持，就需要区分“直接提供答案”的条件和“只提供审视视角”的条件。通过观察用户在接受支持后能否在不同的问题中发现错误，可以考察判断改善与单纯依赖答案之间的差异。
第三个问题是迁移。如果一个人在某项任务中接受了“检查前提”的支持，之后在另一个领域也开始主动检查前提，那么这种支持就超越了暂时性的任务表现提升。相反，如果只有在AI存在时才会变得谨慎，而支持消失后又回到原来的判断方式，那么该系统可能更像是在发挥外部辅助作用，而不是形成能力。两者本身都并非坏事，但在主张其效果时应当加以区分。
决策时间同样不能忽视。元认知支持往往要求进行额外检查。如果在简单、低风险的任务中，准确性只略有提高，而耗时却大幅增加，那么其实用价值可能有限。相反，在可能造成严重损失的决策中，额外花费时间可能是可以接受的。因此，效果不能只根据准确率来评估，还需要结合任务风险、时间和认知负荷来评价。
我们还必须考察支持是否可能增加过度自信。“AI连相反观点都检查过了”这一事实，可能会给用户带来过度的安心感。即使系统呈现了多个视角，作为基础的信息仍可能有误，也仍可能遗漏重要视角。如果把元认知支持本身视为质量保证，那么这种支持功能就会成为一种新的权威。
反过来，过多警告也可能让人无法作出判断。如果AI每次都提出大量反例、不确定性和附加条件，用户可能会持续感觉“我们还没有考虑得足够充分”。因此，研究不仅需要改变有无支持这一条件，还需要把干预的频率和时机作为变量。只在出现错误迹象时介入的方法，与持续介入的方法，在准确性与负担之间可能呈现不同的关系。
在实验设计中，比较条件也很重要。仅比较“有AI支持”和“无AI支持”，很难把单纯增加信息量的效果与元认知支持本身的效果区分开来。设置提供相同数量额外信息的条件、只提供相反观点的条件，或要求参与者自行列出前提的条件，可以更详细地考察哪一种干预影响了什么。效果也可能因任务类型和参与者经验而有所不同。
我们还需要区分短期判断表现与长期能力形成。如果AI在当下弥补了某种弱点，即时结果可能会改善。但长期使用究竟会提高用户自身审视判断的能力，还是反而增加对外部支持的依赖，则是另一个问题。可以通过在持续使用后让用户在无支持条件下接受评估，并测量向不同任务的迁移，来研究这种差异。
在评估像Sai＊aus这样强调理解更新的设计时，仅凭“用户觉得自己思考得更深入了”这样的自我报告并不足够。我们需要测量在什么条件下错误检测得到了改善，信心校准是否发生变化，对前提的修正是否迁移到了其他任务，以及判断中的主体性是否得以保持。同时，重要的是不要假定所有情境都会得到改善，而要记录效果较弱或产生不利效果的条件。
支持元认知的AI，其价值并不会仅凭一个有吸引力的理念就得到确立。只有检验人类重新审视自身思考的能力在何时、哪些任务中、依据哪些指标能够带来改善，才能把设计主张与经验效果连接起来。在AI看起来“让人思考”与人类判断实际得到改善之间，存在一段必须被测量的距离。在研究中保留这段距离，正是一个声称支持理解的设计所需要的谨慎。
不是答案，而是理解。