AIアクセラレーター（AI accelerator）の選定は、GPU（Graphics Processing Unit）、特定用途向け集積回路（Application-Specific Integrated Circuit、ASIC）、クラウド事業者の専用チップを製品名で並べる作業ではない。先に測るのは、モデルが計算基盤に求める条件と、運用が守るサービス水準、将来の変更に伴う費用である。同じチップでも入力の形、バッチサイズ、演算精度、ソフトウェアの版が変われば、処理速度と費用は変わる。

出発点──六項目を一枚にする

候補を探す前に、対象サービスごとに六項目を記録する。モデルを変える頻度、学習・オンライン推論・オフライン処理の別、許容遅延、通常時とピーク時の処理量、モデルと中間データが占めるメモリー、現在のソフトウェアを移せる範囲である。モデル名と版、入力長と出力長、利用する演算精度、可用性、扱うデータの機密性も同じ行に添える。

IPAの「非機能要求グレード」は、発注者と開発者の認識のずれを防ぐために要求項目を分類し、重要な項目から段階的に水準を決める手順を示している。アクセラレーター調達でも、平均速度の希望ではなく「ピーク時に毎秒何件を処理し、要求の何％を何秒以内に返すか」という形まで落とす必要がある。P95遅延なら、要求の95％がその時間以内に完了する水準を指す。

学習はモデルを更新するまでの時間、オンライン推論は要求ごとの遅延とピーク処理量、オフライン処理は期限までに終える総量と単位費用が中心になる。NVIDIAが2026年8月6日に更新した構成ガイドも、モデル、データセット、用途の規模がハードウェアと配置の選択に影響するとし、学習用と推論用を別の構成として示している。数値がそろわない段階では購入を止め、小規模なクラウド試験から測定値を作るほうが判断を誤りにくい。

カタログ値よりサービス水準を先に置く

1秒当たりの浮動小数点演算回数（FLOPS）は、候補を絞る材料の一つにすぎない。アクセラレーターへデータを渡す前処理、モデルの読み込み、ホスト側のメモリー、ストレージ、ネットワークが詰まれば、チップの演算器は待機する。利用率が上がらない構成では、理論上の演算性能とサービス全体の処理時間が離れる。

MLCommonsのMLPerf Inferenceは、推論を要求の到着パターンが異なる4種類のシナリオに分け、遅延またはスループットを測る。同じモデルを使うClosed部門と、モデル変更を認めるOpen部門を分け、電力はチップの定格値ではなく試験中のシステム全体を壁コンセント側で計測する。公開スコアを見るときは、モデル名、精度、シナリオ、アクセラレーター数、ソフトウェア構成、電力測定の有無が同じ行だけを比べる。

Google CloudのTPU性能ガイドは、調整の第一歩をモデルのプロファイル取得とし、入力データの供給、バッチ分割、メモリー、ネットワークの設定が性能を下げる要因になると説明している。専用チップではテンソルの形やバッチの切り方が演算器に合うかどうかも結果を左右する。ベンダーの標準モデルで速くても、自社モデルの形が合うとは限らない。

GPUかASICか──変更頻度と稼働量で分ける

モデル構造が頻繁に変わる、複数のフレームワークを使う、将来の処理量をまだ読めない段階では、プログラムを変えて用途を切り替えやすいGPUが候補に残りやすい。処理内容が長く固定され、高い稼働率を保ち、遅延や電力当たりの処理量が費用を左右する段階では、ASICやクラウド専用加速器を試す根拠が生まれる。

imec IC-Linkの比較は、GPUが同じ基盤で学習と推論を扱う柔軟性を持つ一方、ASICは処理が特化範囲に合い、データを連続して供給して高い利用率を保てるときに性能を引き出すと説明している。総保有費用には電力と冷却、ソフトウェア、人材、導入作業も含まれる。したがって「学習ならGPU、推論ならASIC」という二分だけでは決められない。学習向けの専用チップもあり、処理の安定性と稼働量、移植負担を一緒に見る必要がある。

3年間の総保有費用──購入価格の外側を数える

自社設備では、サーバーとアクセラレーターの購入費に、保守、電力、冷却、ラック、ネットワーク、ストレージ、予備機、交換部品、運用人員を加える。クラウドでは、従量料金や予約枠に、使わなかった容量、ピーク時の追加利用、ストレージ、データ転送、サポートを足す。どちらにもドライバー、コンパイラー、監視、ライセンス、モデル移植、性能調整の人件費がかかる。

AWS Well-Architected Frameworkのコストモデルは、予測する複数の負荷で実際に試験して費用を比べ、ライセンス料と導入・運用の人件費を含めるよう求めている。集計期間の例には時間、日、月、年と並んで3年間が挙げられている。比較表には、別の基盤へ移る際のモデル変換、データ移行、並行稼働も退出費用として入る。

日本国内の導入企業が同じAI処理を複数のアクセラレーターで動かし、3年間の総保有費用を同じ条件で比べた公開資料は、本稿の執筆時点で確認できていない。国内の共通単価を置くのではなく、自社の電力契約、クラウド契約、保守体制、稼働率を使って計算する必要がある。

自社モデルで三つの試験を通す

候補ごとに通常時、ピーク時、障害時の三つを試す。データセット、モデルの版、演算精度、バッチサイズ、品質基準を固定し、P50・P95・P99遅延、スループット、エラー率、消費電力、1件当たりの費用を記録する。生成AIなら入力長と出力長をそろえ、出力品質の判定方法も先に固定する。試験条件が違えば、同じ表の数字として扱わない。

障害時はアクセラレーターの一部停止、ストレージの遅延、ネットワーク帯域の低下を再現し、待ち行列、再試行、別系統への切り替えを確かめる。性能が高くても、1台の停止でサービス水準を外れる構成は必要な冗長性を満たさない。電力はチップの設計上の上限ではなく、同じ処理を走らせたシステム全体で測る。

受け入れ条件には、ウォームアップ時間、試験時間、要求数、許容エラー率、ドライバーとライブラリーの版、測定範囲、再試験の手順を残す。供給者のデモではなく、契約後にも再現できる手順書が検収の基準になる。

調達会議に残す判定表

仕事量
モデルと版、変更頻度、入力・出力長、通常時とピーク時の要求数、学習または推論の実行時間を記録する。

サービス水準
P95とP99の遅延、スループット、可用性、品質の下限、復旧時間を数値で置く。

メモリーとデータ経路
モデル、中間データ、キャッシュの最大量に加え、前処理、ストレージ、ネットワークの測定値を残す。

ソフトウェアと人員
対応するフレームワーク、コンパイラー、演算精度、監視、セキュリティ更新、移植に要する工数を候補別に見積もる。

3年間の費用と退出条件
設備またはクラウド料金、電力、冷却、保守、ライセンス、人件費、予備容量、別基盤への移行費を同じ期間で合計する。

六項目を測れていない案件は小規模試験に戻す。モデルの変更が多く需要が読めない案件はGPUや短期のクラウド利用を先に比べ、処理が安定して稼働量が大きい案件は専用加速器を同じ試験へ加える。最終判断は、サービス水準を満たした候補の3年間の費用と変更リスクで行う。

よくある質問

FLOPSが高い候補ほど実際の処理も速いのか
一致するとは限らない。入力処理、メモリー容量と帯域、ストレージ、ネットワーク、バッチ設定、ソフトウェア最適化が端から端までの時間を変える。自社モデルのP95とP99遅延、スループットで確かめる。

推論ならASICを選ぶのか
処理内容が安定し、高い稼働率を長く保てる場合に候補となる。少量の処理や頻繁に変わるモデルでは、移植と専用ソフトの費用を回収しにくく、GPUの柔軟性が上回る場合がある。

自社設備はクラウドより安いのか
稼働率、電力と冷却、保守人員、予備機、調達期間を含めなければ比較は成立しない。クラウド側も予約枠、未使用容量、データ転送、退出費用を含め、同じ3年間で比べる。

試験で最初に見る指標は何か
利用者に約束するサービス水準である。オンライン推論なら尾部遅延とピーク処理量、学習なら品質基準へ到達する時間、オフライン処理なら期限内の完了量を中心に置き、費用とエラー率を添える。