當生成式 AI 走入精神科診間:ChatGPT 評估憂鬱量表之信度挑戰
中國醫藥大學 安南醫院副院長
精神醫學及神經科學 特聘教授
在精神醫療中,推動量化病理學的醫療照護 (Measurement-Based Care, MBC) 是優化憂鬱症 (MDD) 治療成效的核心。近年來Artificial iIntelligence (AI) 與 Large Language Models (LLMs,如 ChatGPT) 快速進入醫療領域,也讓我們開始思考:AI 是否能協助精神科臨床評估?
漢密頓憂鬱量表(21-item Hamilton Depression Rating Scale, HAMD-21)作為評估憂鬱嚴重的金標準工具,施測極為耗時且易受施測者間差異影響。此外,症狀評估往往不是單純問答,而是需要理解語氣、脈絡、情緒、猶豫、睡眠型態、身體症狀與病人自我覺察。因此,我們設計這項先導研究,想要用比較嚴謹、可重複的方法,檢驗 ChatGPT 在HAMD-21 評分上的可靠度。
身為計畫主持人,我與張俊鴻醫師、劉亭慧醫師、鄭思維醫師,以及我們心身介面研究中心(MBI Lab & Care)臨床團隊的研究助理們,共同執行了這項研究。研究流程分為四個階段 (Figure 1):
第一,團隊專業演繹建立黃金標準:運用資深精神臨床試驗的MBI團隊之醫師與研究助理,精心編寫10個涵蓋輕度至重度 (HAMD-21 腳本分數 2–27 分) 的臨床情境,並演繹標準化病人 (Standardized Patients, SPs),以建立高度可重複的評估基準。
第二,將訪談錄影轉為中文逐字稿:訪談全程錄影並透過 Whisper ASR 轉錄為逐字稿,保留語氣停頓與情緒表達線索。
第三,ChatGPT 評分協定 (ChatGPT Scoring Protocol):將訪談逐字稿輸入 ChatGPT-4o,結合 HAMD-21 中文操作手冊與標準化 Prompt,每個案例重複進行 3 次獨立對話評估,取其平均分數以降低生成式 AI 的隨機波動性 (Stochastic variability)。
第四,統計分析 (Statistical Analysis):採用兩向隨機效應、單一評分者、絕對同意模型之組內相關係數(Intraclass Correlation Coefficient, ICC(2,1))評估信度。人類專家與 ChatGPT 之間的 ICC 差異採用 Steiger's Z 檢定進行單尾顯著性檢定。
研究結果與數據分析
最令人意外的結果是:總分看起來非常好,但細項差異很大。 在 HAMD-21 total score 上,Human experts 的 ICC 達到 0.9921,ChatGPT 的 ICC 也高達 0.9739,若只看總分,ChatGPT 似乎已經接近 expert-level performance。
然而,當我們進一步看 item-level performance,就出現非常重要的落差。Human experts 在 21 個項目中,有 11 個別項目達到 perfect ICC;ChatGPT 則只有 2 個項目達到 perfect agreement。Steiger’s test 也顯示,human experts 在 10 個個別項目以及 total score 上顯著優於 ChatGPT。這提醒我們:AI 可能會在「總分」上表現漂亮,但在臨床真正需要判斷的細節上,仍然有明顯落差。
更值得注意的是,ChatGPT 的錯誤不是隨機分散,而是有一定模式。它常在 insomnia cluster,也就是 HAMD-21 items 4–6,以及 somatic symptoms item 13 中高估分數,把原本應該是 0–2 分的輕中度症狀,錯誤評為 3 分。更離譜的是,ChatGPT 還出現 總分加總的錯誤。換句話說,AI 能「理解」文字脈絡到一定程度,但在 severity thresholds 與 numerical calculation 上仍會出錯。
討論與臨床意義
這個結果對我們未來臨床試驗非常重要。HAMD-21常被用於憂鬱症的主要或次要症狀分項分析。如果 AI 只是在總分上接近一致,卻在睡眠、身體症狀、體重下降、病識感等細項上出現偏差,就可能影響 treatment response、remission、subscale interpretation 甚至 clinical trial endpoint 的判讀。因此,AI 不應被直接視為取代 rater 的工具,必須保留 human oversight,尤其在細項判斷與臨床意義詮釋上。
這項研究也提醒我們,精神科評估不是單純把文字丟給模型就好。Human raters 在原始訪談中能看到 facial expression、speech latency、emotional tone、psychomotor behavior 與 affective presentation;但 ChatGPT 只看到文字逐字稿,缺少非語言與副語言訊息。這可能是它在部分 HAMD-21 項目中表現受限的重要原因。
結論
ChatGPT-4o 具備作為精神科量化評估輔助工具的潛力,能降低臨床醫師負擔。然而,鑑於其單項判定偏誤與算術錯誤,臨床人類醫師的監督(Human-in-the-loop)仍然是確保醫療安全與精準度的核心底線。







