医療AIの「ブラックボックス」　説明可能性だけでは測れない安全性

説明可能AI（Explainable Artificial Intelligence）は、予測に影響した特徴、判断が変わる条件、似た事例などを示し、人が出力を検討する材料を増やす技術の総称だ。これに対し、入力と出力の関係は観察できても、個々の結論に至る内部処理を人が十分に追えないモデルは「ブラックボックス」と呼ばれる。両者の境界は明瞭ではなく、同じモデルでも付加する説明手法や利用者によって理解できる範囲は変わる。

医療で問われるのは、説明の有無そのものより、その説明が臨床上の判断に何を加え、どんな誤りを見抜けないかである。診断支援の出力には患者の安全が関わり、説明が理解しやすいという理由だけで採用すれば過信につながる。反対に、内部構造を完全には言語化できないという理由だけで、有効性を検証したモデルまで退けるのも適切ではない。

説明可能性は「正解の証明」ではない

説明可能AIが提示する内容には複数の形がある。画像のどの領域が予測に影響したかを示す方法、患者データのどの項目を強く参照したかを並べる方法、入力条件がどう変われば別の出力になるかを示す方法、似た症例を提示する方法だ。臨床医はそれらを手がかりに、モデルが医学的に不自然な情報へ依存していないかを点検する。

ただし、表示される説明はモデル内部の計算を人向けに要約したものだ。説明が整っていても予測が正しいとは限らず、説明手法自体がモデルの挙動を忠実に表しているかという別の検証も要る。可視化された領域が臨床医の予想と重なれば安心感は生まれるが、その一致だけでは未知の患者集団に対する性能や安全性を示せない。

2024年に『JMIR AI』へ掲載された系統的レビューは、説明可能AIが臨床医の信頼に与える影響を調べた実証研究10件を分析した。5件では信頼が高まり、2件では信頼が上がる場合と下がる場合の両方がみられ、2件では効果が確認されなかった。研究数が少なく、信頼の測定法も統一されていない。レビューは、説明が複雑すぎれば不信を招き、単純化しすぎれば根拠のない確信を生むおそれがあると指摘した。

創薬の知識グラフ──人と機械が候補を絞る

説明可能な探索過程を示す例が、英国BenevolentAIによる既存薬の用途探索だ。新型コロナウイルス感染症（COVID-19）の流行初期、研究チームは論文、薬剤、遺伝子、たんぱく質、疾患経路を結ぶ生物医学知識グラフを使い、既承認薬から候補を探した。

研究チームの原著論文によると、機械学習で新しい文献情報を知識グラフへ加え、専門家が視覚的な画面で質問と探索を繰り返した結果、関節リウマチ薬のバリシチニブを抗ウイルス作用と抗炎症作用の両面から候補に選んだ。一つのモデルが薬剤名だけを返したのではない。研究者が関連する生物学的経路をたどり、計算結果へ専門知識を重ねる反復型の作業だった。

この事例が示すのは、AIの候補提示と、人による機序の検討、臨床試験による有効性・安全性の確認が別の段階だという点である。知識グラフ上で関連を追える設計は候補を検討しやすくするが、その経路が見えること自体は治療効果の証明にならない。説明可能性は検証の入口であり、検証の代わりではない。

日本の審査が見るのは用途、性能、データの偏り

日本では、AIを使っているという理由だけで一律に医療機器となるわけではない。厚生労働省は、医療機器としての目的を持ち、意図どおりに機能しない場合に患者や使用者の生命・健康へ影響するおそれがあるソフトウェアを、医薬品医療機器等法の規制対象となる医療機器プログラムとしている。健康への影響がほとんどない一般医療機器相当の機能は対象から除かれる。規制の入口はモデルの名称ではなく、意図する用途と失敗した場合のリスクで決まる。

承認審査に向けた評価では、説明画面の分かりやすさだけを見れば足りるわけではない。医薬品医療機器総合機構（PMDA）の開発・申請手引きは、機械学習モデルのバイアスに配慮し、学習用とは別の施設で集めたデータなどを使って性能を評価する必要性を示している。単一施設の患者構成、撮影機器、撮影法、診療体制に偏ったデータでは、別の施設で試した時に成績がずれる可能性があるためだ。

医療AIを評価する際は、少なくとも三つの問いを分ける必要がある。意図した患者や施設で必要な性能を示したか、判断材料を利用者が適切に理解できるか、運用後に性能の変化や誤使用を追跡できるかである。説明可能性が主に扱うのは二つ目だ。性能評価や運用管理まで一つの説明機能で代替する設計には無理がある。

信頼を増やすより、信頼を合わせる

説明可能AIの目標を「信頼を高めること」と置くと、説明は説得の道具になりやすい。必要なのは、モデルの性能と限界に見合う水準へ利用者の信頼を合わせることだ。根拠の表示が明瞭でも、対象外の患者、異なる撮影条件、入力データの欠落といった条件では性能が崩れる可能性がある。利用者には説明と併せて、想定する患者集団、評価した環境、既知の失敗条件を示す必要がある。

一方、どこまで説明すれば臨床上十分なのかに共通の物差しはない。診療予約の振り分けと、画像から病変候補を示す支援では、誤りが及ぼす影響も確認すべき内容も異なる。日本で医療AIの説明可能性が臨床導入や責任分担へ与える影響を定量化した公的資料は、本稿の執筆時点で確認できていない。個別製品では、承認された使用目的、性能評価、注意事項を基に判断することになる。

よくある質問

ブラックボックスAIと説明可能AIは正反対の技術なのか
単純な二分法ではない。同じモデルに説明手法を加えて一部の判断材料を示す場合もあり、何を誰に説明するかで透明性の程度は変わる。

説明が表示されれば医療AIは安全なのか
説明の表示だけでは安全性を判断できない。対象患者に合ったデータで性能を評価したか、別施設でも結果を再現できるか、誤使用や性能変化を追跡する仕組みがあるかを併せて見る必要がある。

創薬で候補の経路を追えれば、薬の効果も確定するのか
確定しない。知識グラフは候補と関連経路を調べる手段であり、有効性と安全性は前臨床研究や臨床試験など別の手続きで確かめる。