當我們要求AI「指出我可能忽略的前提」「提出相反觀點」或「把你無法確定的部分區分出來」時，我們就獲得了從更外一層重新審視判斷的材料。這樣的功能可以被期待用來支援後設認知。然而，僅僅閱讀了許多觀點，或感覺自己變得更加謹慎，並不能證明判斷能力已經提高。如果要把它作為研究來評估，就需要預先定義：支援帶來的哪些變化可以被稱為「改善」。
一個指標是校準。校準關注的是判斷的準確性與本人信心水準之間的對應程度。在判斷正確時保持較高信心，而在判斷錯誤時能夠降低信心，可能比單純保持強烈自信更為理想。如果AI呈現反例與不確定性後，結果只是讓使用者對所有事情都失去信心，那並不一定意味著改善。重要的是，信心是否能夠更恰當地對應證據的強度。
第二個指標是錯誤偵測。我們可以比較接受AI支援的使用者，在自己的推理或AI輸出中發現錯誤前提、矛盾與證據不足的能力。不過，如果AI直接告訴他們錯誤在哪裡，表現提高並不令人意外。要評估後設認知支援，就需要區分「直接提供答案」的條件與「只提供審視觀點」的條件。透過觀察使用者在接受支援後能否在不同的問題中發現錯誤，可以考察判斷改善與單純依賴答案之間的差異。
第三個問題是遷移。如果一個人在某項任務中接受了「檢查前提」的支援，之後在另一個領域也開始主動檢查前提，那麼這種支援就超越了暫時性的任務表現提升。相反，如果只有在AI存在時才會變得謹慎，而支援消失後又回到原來的判斷方式，那麼該系統可能更像是在發揮外部輔助作用，而不是形成能力。兩者本身都並非壞事，但在主張其效果時應當加以區分。
決策時間同樣不能忽視。後設認知支援往往要求進行額外檢查。如果在簡單、低風險的任務中，準確性只略有提高，而耗時卻大幅增加，那麼其實用價值可能有限。相反，在可能造成嚴重損失的決策中，額外花費時間可能是可以接受的。因此，效果不能只根據準確率來評估，還需要結合任務風險、時間與認知負荷來評價。
我們還必須考察支援是否可能增加過度自信。「AI連相反觀點都檢查過了」這一事實，可能會給使用者帶來過度的安心感。即使系統呈現了多個視角，作為基礎的資訊仍可能有誤，也仍可能遺漏重要視角。如果把後設認知支援本身視為品質保證，那麼這種支援功能就會成為一種新的權威。
反過來，過多警告也可能讓人無法作出判斷。如果AI每次都提出大量反例、不確定性與附加條件，使用者可能會持續感覺「我們還沒有考慮得足夠充分」。因此，研究不僅需要改變有無支援這一條件，還需要把介入的頻率與時機作為變項。只在出現錯誤跡象時介入的方法，與持續介入的方法，在準確性與負擔之間可能呈現不同的關係。
在實驗設計中，比較條件也很重要。僅比較「有AI支援」與「無AI支援」，很難把單純增加資訊量的效果與後設認知支援本身的效果區分開來。設定提供相同數量額外資訊的條件、只提供相反觀點的條件，或要求參與者自行列出前提的條件，可以更詳細地考察哪一種介入影響了什麼。效果也可能因任務類型與參與者經驗而有所不同。
我們還需要區分短期判斷表現與長期能力形成。如果AI在當下彌補了某種弱點，即時結果可能會改善。但長期使用究竟會提高使用者自身審視判斷的能力，還是反而增加對外部支援的依賴，則是另一個問題。可以透過在持續使用後讓使用者在無支援條件下接受評估，並測量向不同任務的遷移，來研究這種差異。
在評估像Sai＊aus這樣強調理解更新的設計時，僅憑「使用者覺得自己思考得更深入了」這樣的自我報告並不足夠。我們需要測量在什麼條件下錯誤偵測得到了改善，信心校準是否發生變化，對前提的修正是否遷移到了其他任務，以及判斷中的主體性是否得以保持。同時，重要的是不要假定所有情境都會得到改善，而要記錄效果較弱或產生不利效果的條件。
支持後設認知的AI，其價值並不會僅憑一個有吸引力的理念就得到確立。只有檢驗人類重新審視自身思考的能力在何時、哪些任務中、依據哪些指標能夠帶來改善，才能把設計主張與經驗效果連結起來。在AI看起來「讓人思考」與人類判斷實際得到改善之間，存在一段必須被測量的距離。在研究中保留這段距離，正是一個聲稱支持理解的設計所需要的謹慎。
不是答案，而是理解。