AI
推論コスト
AI を実際に使うたびに発生する費用。使う量に比例して増え続ける。
学習の費用と違い、使い続ける限り毎月かかる。利用が増えれば増えるほど増えるので、社内展開の成功がそのまま費用の増加になる。
制御できるのは、呼び出す回数・入力の長さ・モデルの選択の3つに限られる。
よくある誤解
「1回あたり数円だから安い」という判断で始めると、規模が出たときに効いてくる。費用が下がるのは「呼ばないこと」でしかないので、精度の工夫より先に、そもそも AI を通す必要がある処理かを選別する方が効く。加えて、月次でいくらかかっているかを最初から見える場所に出しておくこと。見えない費用は必ず膨らむ。
関連する用語
トークン
AI が文章を扱うときの単位。料金も制限もこの単位で決まる。
RAG
社内文書を検索して、その結果を根拠に AI へ答えさせる仕組み。