医療AIの合成データ検証　独立試験から導入後監視まで五つの確認項目

合成データ（Synthetic Data）は、人工知能（Artificial Intelligence、AI）の学習や試験に使うため、統計モデルやシミュレーションで一部または全部を生成したデータだ。医療AIの学習例を増やし、希少例や撮影条件を制御した試験を組む用途がある。一方、生成物が実データに似ているという結果は、患者を対象にした臨床性能の証明とは異なる。

米食品医薬品局（FDA）は、取得費用、安全上の制約、プライバシー、疾患の有病率が低いことから代表性のある患者データを集めにくい状況を挙げ、合成データで患者データセットを補う可能性と限界を規制科学研究の対象にしている。研究項目の一つは「類似度指標を超えた合成医療データの評価」である。この課題名は、類似度だけで評価を終えない考え方を示す。

病院が確認する証拠は、合成データ自体の品質報告で終わらない。生成元と対象患者を追える記録、訓練から独立したテスト、用途に合う性能指標、人とAIを合わせた作業手順、接続後のデータ、導入後の監視までつなぐ必要がある。以下の五項目は、日本の法令が定める単一の申請様式ではない。厚生労働省の評価指標、国際的な優良機械学習実務、FDAとHL7の一次資料から病院側の確認点を再構成したものだ。

検証の前提──合成データと臨床証拠を分ける

合成データの評価には少なくとも二つの層がある。第一は、生成物が元データの分布、項目間の関係、重要な下位集団をどこまで保つかというデータ評価だ。第二は、そのデータで開発または試験したAIが、対象患者と実際の使用環境で必要な性能を示すかという製品評価である。前者を通過しても、後者の結論は出ない。

具体例がFDAの規制科学ツールM-SYNTHである。FDAの公開資料によると、M-SYNTHは4万5000件の合成デジタルマンモグラフィー画像を収録し、乳房密度、病変の大きさと濃度、撮影線量を変えてAIの性能を比較する。用途は開発、事前学習、比較試験だが、実患者データを完全には置き換えないと明記している。シミュレーションが表現した変動に試験範囲が限られ、合成画像と実画像の分布差で性能を見誤るおそれがあるためだ。

日本の公的資料も、人工生成したデータの役割を限定している。医薬品医療機器総合機構（PMDA）科学委員会の2023年報告書は、数値シミュレーション由来のデータを機械学習へ使う場合、学習用が一般的であり、最終モデルの評価データは実測データを使う考え方が現段階の主流だと整理した。人工生成した評価データは位置付けと解釈が定まっていないとも指摘している。この報告が扱うのは主に数値シミュレーションであり、合成カルテを含む全ての生成手法に共通する基準ではない。

厚生労働省の2019年評価指標も、データ拡張のために人工画像を使う場合、作成方法の詳細を示すよう求める。さらに性能検証用のテストデータは学習用、調整用のデータと重複させず、対象集団を説明できる質と量を備えるよう求めている。人工画像の作り方と製品性能の検証を別々に記録する構造である。

五つの確認項目──証拠を途切れさせない

確認1：生成元と対象集団を追えるか

最初に必要なのは合成データの履歴だ。生成元となった実データの取得時期と施設、対象患者、検査機器、ラベル付けの方法、生成器と前処理の版、生成時に操作した条件、含まれない集団を記録する。集計値が近いという結果に加え、年齢、性別、疾患の頻度、装置、撮影条件など、製品の性能を動かす単位で比較する必要がある。

厚生労働省が2019年に公表した人工知能技術を利用する医用画像診断支援システムの評価指標は、学習用、調整用、テスト用データについて、取得元、撮影条件、関連する臨床データとラベル付け、枚数、加工方法、最終判断をした責任者を示し、人工画像を使った場合は作成方法の詳細を記録するよう求めている。対象は医用画像診断支援であり、ほかの用途へ同じ項目をそのまま当てはめる資料ではない。それでも、合成データを出所不明の一群として扱わないための日本側の基準になる。

国際医療機器規制当局フォーラム（IMDRF）が2025年に最終化した優良機械学習実務（Good Machine Learning Practice、GMLP）の10原則は、対象患者の年齢、性別、人種・民族、地域、病状、使用環境、測定入力を、学習、テスト、監視の各データで十分に代表させるよう掲げた。合成データで症例数を増やしても、元データで症例が乏しい集団を生成器が捉えていなければ代表性は補えない。

確認2：訓練とテストが本当に独立しているか

生成元に使った患者がテスト側へ入れば、見かけの成績は上振れする。患者が別でも、同じ検査の切り出し、同じ施設、同じ取得装置、近接する時期のデータが強く依存する場合がある。訓練データから作った合成例を最終テストに使う設計も、生成器を通して学習側の情報がテスト側へ回り込む。

厚生労働省の評価指標は、テストデータを学習プロセスから完全に切り離す方策を示し、性能検証用のテストセットを学習用、調整用データと重複させないよう求めている。IMDRFの原則はさらに、患者、施設、データ取得方法に由来する依存を検討し、外部検証の範囲をリスクに応じて決める。したがって、検収記録には患者単位の分割、施設と期間、重複・類似例の検出方法、合成データの生成元、例外処理を残す必要がある。

確認3：臨床の問いに合う指標を選んだか

全体の正解率だけでは、臨床での誤り方が見えない。病変を見つける分類、領域を描く画像分割、数値の推定、異常の位置特定では、必要な指標が異なる。見逃しと過剰な警告の影響も用途ごとに変わる。対象患者、判断を支援する場面、AI出力を受ける人の動作を先に定め、その用途に対応する主要指標、許容範囲、信頼区間、下位集団別の成績をそろえる。

FDAのAI医療機器評価研究は、分類、推定、画像分割、イベント発生までの時間、異常の検出・位置特定では、性能評価に適する指標が異なると説明する。出力の見せ方、データの収集方法と構造も指標選択に影響し、正解ラベル自体に専門家間のばらつきがある場合は不確実性を扱う必要がある。合成データの忠実度指標と、製品の臨床性能指標を混ぜない理由はここにある。

日本で全ての医療用合成データに共通する一つの合格値は、本稿の執筆時点で公的資料から確認できていない。厚生労働省の評価指標も、目的と対象により必要数が異なるため一律の定義は難しく、使ったデータセット、方法、妥当性の説明を個別に求める。数値は製品の使用目的、患者への影響、参照標準、許容する誤りから設定する必要がある。

確認4：人とAI、データ接続を一つの試験にしたか

モデル単独の成績が同じでも、画面の配置、結果が出るまでの時間、警告の出し方、人による確認の手順で現場の性能は変わる。IMDRFの原則は、機器だけを切り出さず、予定する使用環境と臨床の作業手順で人とAIの組み合わせを評価するよう掲げる。利用者の技能、出力と限界への理解、過信、通常使用と予測可能な誤使用も検討対象になる。

電子カルテとの接続では、通信が成功したという結果と、AIへ正しい意味のデータが届いたという結果を分ける。FHIR（Fast Healthcare Interoperability Resources）は医療情報を電子交換するHL7の規格で、交換する内容をリソース（Resource）という共通単位で表し、用途に応じて組み合わせる。FHIR仕様が定めるのは交換形式と構造であり、患者の対応付け、日時、単位、施設内コード、欠損値、利用権限、ラベル付けの臨床的な妥当性は別の検証になる。

接続試験では、使うFHIRプロファイルと版、項目対応、単位変換、時刻、欠損時の動作、読み書き権限、入出力ログを確認する。臨床側では、どの画面に結果が出るか、処理不能を通常の陰性結果と区別できるか、誰が確認して記録するか、AIが止まったときに従来の手順へ戻れるかを同じシナリオで試す。合成データは制御した異常入力や境界条件の試験に使えるが、実際の利用者と実システムを用いる検証の代わりにはならない。

確認5：導入後の変化を追えるか

導入時の検証結果は、確認したモデル、前処理、閾値、検査機器、コード表、利用者の手順にひも付く。いずれかが変われば、同じ製品名でも評価の前提が動く。患者構成や疾患頻度、撮影装置、検査法の変化により、入力分布が開発時から離れるデータドリフト（Data Drift）も起こりうる。

IMDRFの第10原則は、実運用で性能を継続監視し、導入後に再学習する場合は過学習、意図しない偏り、データドリフトによる性能低下を管理するよう掲げる。厚生労働省の2019年評価指標も、市販後に性能が変化する医用画像診断支援AIについて、変化の許容範囲、検証方法、逸脱時の対策をあらかじめ定め、版ごとの記録を後から検証できる状態にするよう求めている。

病院側の記録には、監視する指標と下位集団、処理不能率、警告や不具合、入力分布の変化、モデルとデータの版を含める。どの変化で再試験を始めるか、更新を承認する責任者、使用停止と旧版への復旧、製造販売業者への連絡経路も導入前に決める。合成データを追加した再学習でも、更新のたびに独立テストと臨床の作業手順へ戻る。

導入判断に必要な八つの記録

五つの確認項目を納品物へ落とすと、生成元と生成方法を示すデータ履歴、合成データの忠実度・用途別評価、訓練とテストの分割記録、独立した実患者データでの性能報告、主要な下位集団と不確実性、接続仕様と項目対応、人とAIの作業手順、更新・停止・監視計画という八つに分かれる。合成データの類似度報告は、このうち一部である。

日本では医用画像診断支援AIの評価指標やプログラム医療機器のライフサイクル資料が公開されている。一方、医療用合成データの臨床検証について、用途をまたいだ共通の数値基準は、本稿の執筆時点で確認できていない。確認できる国際原則と用途別の日本資料を組み合わせ、確認できない範囲を案件ごとの検証計画に残す必要がある。

よくある質問

実データとの類似度が高ければ、合成データの検証は完了か
完了ではない。分布や画像の近さはデータ評価の一部であり、対象患者を代表するか、生成元の偏りを引き継いでいないか、そのデータで開発したAIが独立した実患者データと臨床の作業手順で性能を保つかは別に確かめる。

合成データだけを最終テストに使ってよいか
臨床性能の最終評価を合成データだけで済ませる根拠にはならない。FDAのM-SYNTHも実患者データを完全には置き換えないと明記し、IMDRFは対象患者を代表する独立データとリスクに応じた外部検証を掲げる。合成データは不足例や制御した条件を補う位置づけになる。

FHIR対応なら、データ接続の検証は終わるか
終わらない。FHIRは交換する情報の形式と構造をそろえる。患者、日時、単位、コード、欠損値、権限、ラベル付けの意味が正しく対応し、AIが想定する入力へ変換されたかは、項目単位の接続試験で確認する。

合成データの共通の合格点はあるか
日本で用途横断の一つの数値基準は確認できていない。必要な証拠と性能目標は、製品の使用目的、対象患者、誤りの影響、参照標準、使用環境に応じて定める。合格値の根拠と、適用できない集団や条件を同じ記録に残す。