人工智能預計淪為提升醫學診斷速度和準確性、提升患者治療效果的強有力工具。從確診疾病到個體化療法，再到預測手術并發癥，人工智能也許會淪為未來患者醫療不可或缺的一部分，就像今天的成像和實驗室試驗那樣，但正如華盛頓大學的研究人員所找到的，人工智能模型和人類一樣，偏向于找尋捷徑。在人工智能輔助疾病偵測的情況之下，如果在醫學環境之中布署這些快捷方式，也許會造成確診錯誤

        刊登在5月31日《自然機器智能》之上的一篇全新論文之中，華盛頓大學的研究人員分析了幾個最近提交的模型，當作從胸部X光（也稱作胸部X光）之中精確偵測疾病的潛在工具。研究小組找到，這些模型不是研習真正的醫學病理學，而是局限于快捷方式研習，在醫學之上有關的因素和疾病狀態間畫出正確的聯系，醫生通常期望從X光之中看到體現疾病過程的特定模式，但他們不局限這些模式。例如，采用快捷方式研習的系統也許會辨別某人是老年人，并推測他們更難患上這種疾病，因為這在老年患者之中更為常用

        研究小組說，快捷方式研習不如真正的醫學病理學強勁，這通常使得模型不能很糟糕地在早期設置以外推展

        融合魯棒性的缺乏和AI決策的典型不均勻，這種工具也許會淪為潛在救生員的負擔

        欠缺透明度是造成團隊致力于可說明的醫療和科學人工智能技術的因素之一。大多數人工智能被相信是一個“黑匣子”。該模型是在海量數據集上培訓的，當沒人明白模型如何獲得給定的結果時，它會作出預測。通過可說明的人工智能，研究人員和實踐者可詳盡認識各種輸入及其權重如何沖擊模型的輸出

        研究小組采用這些相近的技術來檢驗最近吹捧的模型的可信度，這些模型似乎能精確地從胸部X光之中辨識病變。盡管許多已刊登的論文計算了這一結果，但研究人員質疑，造成模型預測的黑匣子外部也許爆發了其他事情，研究小組得出結論，由于欠缺針對這種全新疾病的訓練數據，這些模型難發生”的“最好情況動蕩”。這種情況減少了模型依賴快捷方式而不是從訓練數據之中研習疾病的基本上病理學的可能性，最好的情況是讓人工智能系統只研習辨識數據集，而不是研習任何真正的疾病病理學。當所有陽性病例源自一個數據集，而所有陰性病例源自另一個數據集時，就會爆發這種情況。盡管研究人員已經提交了一些技術來減輕這些關聯，但當它們不太輕微時
 

        研究小組對源自拷貝已刊登論文中所用方法的數據集的X射線圖像培訓了多個深度卷積神經網絡。首先，他們在訓練數據的初始數據集的一組外部圖像之上試驗每個模型的性能

        盡管這些模型在外部數據集的圖像之上試驗時維持低性能，但在第二組之中，它們的精確度減少了一半。研究人員稱為“普遍化差距”，并將其用于強有力證據，證實混雜因素是該模型在初始數據集上順利的原因。研究小組隨后運用了可說明的人工智能技術，包含分解對付網絡和明顯性圖，為了確認哪些圖像特征在確認模型預測之中最關鍵，這些結果廢黜了傳統觀點，即當數據集源自相近的來源時，誤解不會引發任何問題。他們還反映了低性能醫療人工智能系統在余大程度之上可透過不適當的捷徑，而不是未來所需的信號，可說明人工智能將淪為一個關鍵的工具，以保證這些模型可安全性精確地用作減弱醫療決策，并為患者獲得更糟糕的結果，盡管研究小組的研究結果令人擔憂，該團隊分析的模型不太可能在醫學環境之中普遍布署

        關于在何處以及如何布署這些模型的完備信息不能用，但可贊賞的是，這些模型的臨床運用很難或不適用，而且在大多數情況之下，醫療保健提供者采用實驗室偵測PCR展開診斷，而不是局限胸部X光

        期望將人工智能運用于疾病偵測的研究人員需改良他們的方法，然后才能采用這些模型為患者作出具體的治療決定

        分析結果表明運用可說明人工智能技術對醫療人工智能系統展開嚴苛審核的重要性。如果你看幾張X光片，AI系統也許看上去不俗。只有當你看了很多圖片，問題才變得清楚上去。除非我們有辦法用更小的樣本量更精確地審查這些系統，否則更余能說明人工智能的系統應用程序可協助研究人員防止一些陷阱。”1006