医療AIの臨床検証　精度だけでは足りない独立試験と導入後監視

医療AIの精度は、決められたデータと判定基準の下で得た試験結果である。患者構成、検査機器、入力項目、画面の配置、モデルの版が変われば、同じ数値を院内で再現できるとは限らない。病院の臨床検証は、製品資料に記された一つの成績を読む作業ではなく、その成績が自施設の使い方までつながるかを確かめる工程だ。

厚生労働省の2023年ガイダンスは、機械学習を使うプログラム医療機器について、想定する臨床的位置づけと試験目的を踏まえ、偏りをできる限り除いた評価データで、想定される入力範囲に対して適切な出力が得られるかを確認する考え方を示している。海外で得た試験結果を日本へ当てはめる際も、患者の特徴に加え、医療環境、入力情報、判定や注釈の違いが出力へ影響するかを個別に検討する。

以下の五項目は、日本の法令が定める一つの検収様式ではない。厚生労働省と医薬品医療機器総合機構（PMDA）の資料、国際的な優良機械学習実務、米国とHL7の一次資料から、病院側が試験と運用を切り分けるための確認点を再構成したものだ。医療機器に当たらない業務支援AIでも、患者データや診療手順へ接続するなら、データ品質、権限、監査、停止と復旧は院内管理の課題として残る。

検証の起点──一つの精度から離れる

臨床検証の出発点は、誰が、どの患者に、どの入力を使い、何を出力し、その結果を診療のどこで扱うかという使用目的である。画像から異常の候補を示す製品と、病歴を要約するソフトでは、見逃し、過剰な警告、遅延、欠落が生む影響が違う。主要指標は使用目的と誤りの影響に結び付け、感度、特異度、偽陽性率、偽陰性率、処理不能率、所要時間などから選ぶ必要がある。

国際医療機器規制当局フォーラム（IMDRF）が2025年1月に最終化した優良機械学習実務（Good Machine Learning Practice、GMLP）の10原則は、使用目的、対象患者を代表するデータ、訓練用とテスト用データの独立、用途に合う参照基準、人とAIの組み合わせ、実運用での監視を一つの製品ライフサイクルに置いた。検証用の正解も固定された事実とは限らない。画像の判定者、診療録の確定版、転帰を追う期間を決め、その参照基準を選んだ理由と限界を記録する。

五つの確認──試験から監視まで切らない

確認1：使用目的と対象外を固定したか

製品名より先に、対象患者、使用者、入力の取得元、出力の意味、診療手順での位置を一枚にする。対象外の患者、入力不足、非対応の検査機器、処理不能を通常の陰性結果と区別し、従来の手順へ戻る条件も定める。承認された医療機器では、院内の運用が承認範囲や添付文書の条件を広げないよう照合が要る。

この定義が曖昧なままでは、同じ正解率でも評価対象が動く。病変の候補を拾う用途なら見逃しと過剰検出を分け、優先順位を付ける用途なら順位のずれと待ち時間への影響を測る。文章生成なら、必要項目の欠落、根拠との不一致、利用者が修正した割合など、用途に合う誤り方を先に決める必要がある。

確認2：訓練とテストを独立させたか

患者を分けても、同じ検査の切り出し、同じ施設、同じ装置、近い時期のデータが両側に入れば、見かけの成績は上振れしうる。病院が確認するのは「別ファイルか」ではなく、患者、施設、期間、取得方法の依存をどう除いたかである。下位集団の成績を見るには、年齢、性別、病状、装置、利用環境など、性能に影響する特徴を試験計画へ入れる。

厚生労働省が2019年に公表した人工知能技術を利用する医用画像診断支援システムの評価指標は、性能検証用のテストデータを学習用・バリデーション用データと重複させず、対象集団を説明できる質と量を備え、データの入手元と妥当性を示すよう求めている。必要数は方法、目的、対象で変わるため、一律には定めにくいとも明記する。この文書の対象は医用画像診断支援であり、全ての医療AIに共通する数値基準ではない。

外部検証も「別の病院で一度試した」という事実だけで完了しない。IMDRFは外部検証の範囲をリスクに比例させる。製品の使用目的に照らし、施設、期間、患者構成、装置、入力条件のどの差を試したのかを記録し、結果を広げられない集団や条件を残す必要がある。

確認3：人とAIを一組で試したか

モデル単体の成績が同じでも、結果を出す時点、画面上の位置、警告の見せ方、利用者の技能で現場の性能は変わる。検証では、入力不足や処理不能を見分けられるか、出力の限界を理解できるか、採用・修正・見送りを記録できるか、AIが止まったときに従来手順へ戻れるかを、実際の利用者と作業環境で試す。

「最終判断は医師が行う」という合意だけでは、人による監督の設計にならない。確認に必要な元情報と警告を同じ場面で読めること、過度な依存や見落としを測ること、異常時の連絡先と使用停止の権限を決めることが要る。AIの出力、利用者の操作、確定した記録を結ぶ監査ログがなければ、後から誤りの発生点を追えない。

確認4：接続後の意味まで検収したか

電子カルテとの接続試験では、通信の成功と、正しい患者の正しい項目がAIへ届いたことを分ける。患者識別子、検査日時、単位、施設内コード、欠損値、更新時刻、読み書き権限の対応がずれれば、APIが正常に応答しても入力の意味は変わる。

FHIR（Fast Healthcare Interoperability Resources）は医療情報を電子的に交換するHL7の規格で、交換内容をResourceという共通単位で表し、用途に応じて組み合わせる設計をとる。FHIRへの適合は交換形式と構造をそろえる。ここからは規格の射程に基づく整理になるが、元データの正しさ、患者の対応付け、施設内コードの変換、利用権限、AIの臨床性能は別の検証になる。

病院側は、使うFHIRの版とプロファイル、項目対応表、単位変換、時刻、欠損時の動作、アクセス権限、入出力ログを製品の版と一緒に残す。接続先やコード表が変わった場合は、モデルを更新していなくても再試験の対象になりうる。

確認5：導入後の変化と停止条件を追えるか

導入時の検証結果は、確認した患者集団、モデル、前処理、閾値、検査機器、コード表、利用者の手順にひも付く。患者構成、診療方法、入力データ、院内システム、利用者の行動が変われば、開発時の分布から離れるデータドリフト（Data Drift）や性能低下が起こりうる。

米食品医薬品局（FDA）は2025年の意見募集で、回顧的な試験や静的な基準値は初期性能の把握には役立つ一方、動的な実環境での挙動を予測する設計ではないと説明し、入力・出力の変化、性能低下、再評価の契機、電子診療記録や機器ログを使う継続監視について意見を求めた。これは議論用の文書で、正式な指針や日本の規制要件ではない。

監視項目の候補は、入力欠損率、処理不能率、主要な下位集団の成績、利用者が出力を見送った割合、苦情・不具合、出力分布の変化、停止時間である。全項目を一律に追うのではなく、使用目的と誤りの影響から選ぶ。どの変化で再評価を始めるか、誰が停止を決めるか、旧版または従来手順へどう戻すかも導入前に決める必要がある。

変更管理──IDATENと院内検証は別の工程

モデル、閾値、前処理、対応機器、接続仕様が変われば、導入時の証拠との対応を取り直す必要がある。製造販売業者には、変更内容、対象となる版、再検証したデータと指標、既知の限界、更新日を病院へ知らせる経路が要る。病院側には、更新を受け入れる前の試験、利用者への周知、異常時の使用停止、復旧の記録が残る。

PMDAの説明資料では、医療機器変更計画確認申請制度「IDATEN」は、将来の改良計画を事前に確認し、計画に沿ってデータを集めた後、変更申請または届出と確認を経て承認事項を変更する流れをとる。機械学習アルゴリズムや同じモデルのハイパーパラメーターの変更も想定例に挙がる。IDATENは製造販売業者側の薬事手続きであり、各病院の受入試験を省く制度ではない。

変更計画が確認済みでも、更新後の入力が院内システムと合うか、画面と操作が変わっていないか、停止と復旧が動くかは施設側で確かめる。規制上の変更管理と院内の運用管理を同じ表へ押し込まず、互いの版と責任者を結び付ける設計が要る。

契約前に残す九つの記録

確認項目を納品物へ落とすと、使用目的と対象外、対象患者とデータの由来、訓練・バリデーション・テストの分割、参照基準、主要指標と下位集団の成績、接続仕様と項目対応、人とAIの作業試験、版と変更通知、監視・停止・復旧計画という九つに分かれる。精度の表は、このうち主要指標を示す一部にとどまる。

担当も分ける。臨床部門は対象患者、出力の意味、人による確認、代替手順を確かめる。情報部門は項目対応、権限、ログ、障害復旧を検収する。医療安全とガバナンスを担う部門は、導入、再評価、停止、再開の判断者を定める。製造販売業者には承認範囲、試験データ、版ごとの差分、変更前の通知、既知の限界を求める。

日本の公開資料に残る空白

日本では、プログラム医療機器の承認開発ガイダンス、医用画像診断支援AIの評価指標、IDATENの手続きが公開されている。ただし、2019年の評価指標は市販後学習で性能が変わる医用画像診断支援システムが対象であり、生成AI、文章要約、治療支援、業務支援へ同じ項目を一律に移す資料ではない。

医療AIの用途を横断し、病院の受入試験と導入後監視に共通する数値基準を示した日本の公的資料は、本稿の執筆時点で確認できていない。これは各施設や製品で検証が行われていないという意味ではない。公開資料から確認できるのは、用途とリスクに応じてデータ、指標、変更、監視を個別に設計する必要があるという範囲までである。

よくある質問

精度が高ければ、医療AIの臨床検証は終わるのか
終わらない。精度は特定のデータと参照基準で得た結果であり、対象患者、入力条件、誤りの影響、下位集団、人とAIの作業、導入後の変化を含まない場合がある。

別の病院のデータで試せば、外部検証は完了か
一度の試験だけでは決まらない。施設、期間、患者構成、装置、取得方法のどの差を試したかを明らかにし、製品のリスクに応じて結果を広げられる範囲と対象外を記録する。

FHIRに対応していれば、院内接続の検証は終わるのか
終わらない。FHIRは情報交換の形式と構造をそろえる規格だ。患者、時刻、単位、コード、欠損値、権限が正しく対応し、AIが想定した入力へ届くかは項目単位で確かめる。

導入後は何を監視すればよいのか
一つの共通指標はない。使用目的と誤りの影響に合わせ、入力欠損、処理不能、下位集団の性能、利用者の見送り、苦情・不具合、出力分布、停止時間から必要な項目を選び、再評価と停止の条件を先に定める。