医療AIエージェント導入の三つの安全策　権限・人の承認・停止復旧

医療AIエージェント（Medical AI Agent）は、大規模言語モデル（Large Language Model、LLM）と周辺ソフトを組み合わせ、目標に応じて手順を組み立て、外部ツールを呼び出し、行動まで進めるシステムだ。質問への回答で処理が終わるチャットボットより、誤りが診療録の書き込み、予約連絡、機器連携へ届く余地が広い。

AIセーフティ・インスティテュート（AISI）は2026年7月7日の評価観点ガイド第1.20版で、AIエージェントシステムを、少なくとも一つのLLMと周辺ソフトから成り、状況に応じて計画し、自律的に行動を選んで実行する仕組みと定義した。同版は、外部環境へ作用するシステムでは従来のLLMと異なるリスクが生じるとして、「観測と制御」を独立した評価観点に加えた。

本稿で使う「医療AIエージェント」は、日本の法令上の製品区分名ではない。医療機関のデータや業務ツールへ接続し、複数の処理を進めるAIエージェントをこの名称で扱う。安全性の検討は、モデルが返す文章に加え、何を読み、どのツールを動かし、結果を誰が確定するかまで広げる必要がある。

回答から行動へ──変わるのは影響範囲

米食品医薬品局（FDA）の2026年の討議文書は、エージェント型AIを、多段階の作業を自律的に計画・実行し、外部ツールを使い、一連の工程で行動する仕組みと整理する。医療での利用場面には、ケアの調整、臨床文書、患者への連絡、臨床ワークフロー支援を挙げた。

この文書は、生成AIを組み込んだ医療機器について意見を募る資料である。FDA自身が、討議目的に限られ、草案または最終指針ではなく、規制方針の変更を提案するものでもないと明記している。掲載された用途を、米国での承認や日本での導入実績と読み替えてはならない。

仕組み	処理の終点	主に確認する対象
問答型の生成AI	回答、要約、下書きの表示	根拠との一致、欠落、対象外の質問、表示方法
AIエージェント	外部ツールの呼び出し、記録や連絡の処理	読み取り・書き込み権限、処理の順序、人の承認、操作履歴、停止

境界は製品名では決まらない。文章を作るAIでも、その文章を自動送信する接続が加われば行動の範囲は広がる。反対に、エージェント型の構成でも、下書きを作った時点で止まり、権限を持つ職員が内容を確定する設計なら、システム自身が実行する範囲は狭い。導入側が比べるべきなのは「自律型」という表示ではなく、一件の処理がどこまで進むかである。

五層のデータ経路──入力から監査まで

医療AIエージェントの処理は、入力、計画、ツール、承認、記録・監視の五層に分けると検収しやすい。これは法令が定める区分ではなく、AISI、厚生労働省、FDAの資料に分かれた確認事項を、同じ一件の業務へ結ぶための整理である。

1. 入力：診療録、患者からの連絡、予約、検査結果など、対象と取得時点を特定する。
2. 計画：何を調べ、どの順序で処理し、どの条件で中断するかを定める。
3. ツール：閲覧、下書き保存、外部送信、記録の更新を個別の権限へ分ける。
4. 承認：人へ戻す条件、確認者、確認に必要な原情報、未処理時の引継先を決める。
5. 記録・監視：入力元、モデルと接続先の版、呼び出した機能、承認者、結果、停止と復旧を追える形で残す。

AISIが2026年4月に公表したヘルスケア向けガイドは、製品設計、モデル選定、実装、検証、導入・運用の五段階に、医療・ヘルスケア固有のリスクを反映した10の評価観点を割り当てている。エージェントの権限を直接認可する制度ではないが、偽誤情報、プライバシー、セキュリティ、検証可能性を開発から運用まで切らずに見る土台になる。

日本の制度──一つの指針では完結しない

厚生労働省は、医療機器としての目的があり、意図どおりに機能しない場合に患者や使用者の生命・健康へ影響するおそれがあるソフトを、薬機法の規制対象となる医療機器プログラムとして扱う。AIやエージェントという技術名だけで該当性は決まらず、使用目的と危害の可能性が入口になる。日本の分類と承認経路はAI医療機器の用途・リスク別の整理で詳しく扱った。

医療機器への該当性と、病院内の情報システム管理は別の線を持つ。診断や治療を支援する機能では承認・認証された使用目的との照合が要り、予約整理や文書の下書きでも患者情報、委託先、アクセス権、記録、障害時の業務継続が残る。人が確認する設計も、承認されていない用途や製品の対象外利用を正当化するものではない。

AISIの第1.20版は分野横断のAI安全評価、ヘルスケア向けガイドは実務者向けの評価方法、厚生労働省の資料は医療機器該当性と医療情報システム管理をそれぞれ扱う。医療AIエージェントの臨床導入を一冊で認可する国内資料ではない。導入時には用途、データ、人の確認、変更管理を分ける五つの関門と重ね、製品の機能ごとに適用資料を照合する必要がある。

第一の安全策──読み取り・書き込み・実行を分ける

AISIの第1.20版は、情報とツールへのアクセス権を利用目的に必要な範囲へ限り、エージェント内部と外部の機能呼び出し履歴、高リスク作業、当初の目標からの逸脱を観測できるかを評価項目に挙げる。権限外の業務を検知する「観測」と、問題のある動作を停止・修正する「制御」を分けた点が、問答型AIとの大きな違いである。

権限	許可範囲の例	検収時に残す証拠
閲覧	対象業務に必要な患者、期間、項目に限定	利用者、対象、項目、時刻、取得結果
下書き	正式記録と分離した領域への保存	入力元、モデル版、生成時刻、修正履歴
外部送信	宛先と内容を人が確定した処理に限定	送信者、承認者、宛先、本文の版、結果
記録更新・機器操作	承認された用途と院内手順の範囲外は自動実行しない	製品版、操作前後の値、確定者、取消・復旧記録

一つの共通アカウントに広い権限を与えると、誰の判断で何が動いたかを後から分けにくい。患者や診療科、時間帯、処理件数、接続先を絞り、権限を一時的に付与する設計なら、異常時に影響範囲を特定しやすい。正常、欠損、患者の取り違え、接続先の応答異常、権限不足、重複実行を別々の試験にする必要がある。

第二の安全策──人が止められる承認手順

人の承認は、画面に確認ボタンを置いただけでは機能しない。確認者が入力元、AIが選んだ手順、出力、既知の限界を同じ場面で読み、採用、修正、差し戻し、中止を選べる必要がある。未処理のまま時間が過ぎた場合に誰へ引き継ぐかも、承認手順の一部である。

FDA、カナダ保健省、英国医薬品・医療製品規制庁の透明性原則は、医療目的、対象となる疾病、利用者、利用環境、対象集団、入力と出力、出力が医療上の判断や行動へどう影響するかを明確にするよう示す。この情報がなければ、確認者は出力が製品の対象内かを判断できない。

承認者の名前を残しても、元情報を読めず、拒否権がなく、処理量に見合う時間がなければ、人の確認は形式化する。病院、提供事業者、医療従事者、情報管理部門の役割は、画面、契約、事故対応で同じ境界を指す必要がある。責任の分け方は医療AI導入前に確認する四つの責任線で整理した。

第三の安全策──監視・停止・復旧を一組にする

厚生労働省の「医療情報システムの安全管理に関するガイドライン」第7.0版企画管理編は、利用権限の設定、安全管理を把握するための証跡、監査を整え、災害、サイバー攻撃、システム障害を含む非常時の手順と通常時への復旧計画をBCPへ入れるよう求める。AIエージェント専用の規定ではないが、院内システムへ接続する以上、停止後も医療業務を続ける設計はこの枠内に入る。

同ガイドラインのシステム運用編は、ソフトウェアの改訂履歴と構成を管理し、導入や変更の際に想定した品質で動くかを確認する手順を求めている。基盤モデル、検索用データ、接続先、権限、判定ルールのいずれかが変われば、導入時の試験結果との対応を取り直す必要がある。

FDAの討議文書は市販後監視の候補として、定期的な再評価、実際の入出力を抽出した医療者の確認、入力集団やデータ環境、基盤モデルの変化による性能低下の監視を挙げ、意見を求めている。第三者の基盤モデルが更新される場合も、医療機器の製造業者が変化を検知、評価、対応する方法を論点に置いた。これは検討案であり、日本の病院に同じ手法を義務付ける規則ではない。

監視値は停止判断へ結び付ける。処理不能、対象外入力、重複実行、人による修正、権限エラー、接続失敗、モデル版の変更を用途別に追い、どの条件で利用範囲を狭めるか、誰が全面停止を決めるか、どの従来手順へ戻すか、再開を誰が承認するかを導入前に定める。停止ボタンがあっても、代替手順と再開条件がなければ安全策は完結しない。

日本の公開情報に残る空白

AISIはAIエージェントの観測と制御を評価項目へ加え、厚生労働省は医療情報システムの権限、証跡、変更、復旧を整理している。一方、医療AIエージェントについて、導入施設、製品版、許可された操作、人の介入、停止、更新後の性能を共通の定義で結び付けた国内の公的資料は、本稿の執筆時点で確認できていない。

これは、国内に実証や導入例が存在しないという意味ではない。公開資料だけでは、問答型の生成AI、記録支援、患者連絡、診療判断、機器制御を同じ「AIエージェント」として数えられず、どこまで自律的に動いたかも比較できないという情報上の限界である。病院が調達時に求める証拠は、製品名より、使用目的、版、権限表、人の承認記録、停止試験、復旧試験へ寄せる必要がある。

モデルの精度と導入後監視をどうつなぐかは、医療AIの独立試験と導入後監視で扱った。AIエージェントでは、その検証対象に外部ツール、操作権限、連続した処理、人への引継ぎを加える。

よくある質問

医療AIエージェントとチャットボットの違いは何か
回答文を返す処理で終わるか、外部ツールを呼び出して次の操作まで進むかが主な違いである。後者では文章の正確さに加え、読み取り・書き込み権限、操作履歴、人の承認、停止を検証する必要がある。

人が最終承認すれば、診断や治療に関わる操作も任せられるのか
人の承認だけでは決まらない。製品の使用目的、医療機器への該当性、承認・認証の範囲、臨床性能、院内の職種別権限を別々に照合する必要がある。人の確認は一つの安全管理策であり、薬事上の手続きや臨床検証を代替しない。

導入前に最低限そろえる記録は何か
入力と出力、読み取り・書き込み・実行の権限表、人へ戻す条件、モデルと接続先の版、操作履歴、監視指標、停止権限、代替手順、復旧と再開の承認者を同じ業務単位で残す。正常時の実演に加え、欠損、誤接続、重複、権限不足、サービス停止を使った試験結果も要る。