AI
オンプレミスLLM
外部の API を使わず、自社の環境内で LLM を動かす構成。
クラウド上の外部AIサービスにデータを送らず、自社のサーバーやプライベートクラウドの中でモデルを動かす構成を指す。オープンモデルを使うことが前提になる。
機密情報や個人情報を外部に出したくない業務で選ばれる構成だが、モデルを動かすための計算資源の確保と、その運用を担う人材の両方が要る。
よくある誤解
自社で持てば無条件に安全だと思われがちだが、運用・アップデート・脆弱性対応のコストと専門知識が別途要る。外部サービスに任せていたセキュリティ対応やモデルの更新作業を自社で引き受けることになり、導入初期のコストだけでなく、継続運用の体制まで見込んでおく必要がある。
関連する用語
オープンモデルとクローズドモデル
モデルの重みを公開しているか、API経由でしか使えないかという分類。
データ主権
自社のデータがどの国のどんな法制度の下で扱われるかという論点。
クラウドサービスの3階層
クラウドの提供範囲を分ける3階層。層によって自社が管理すべき範囲が変わる。