AI
トークン
AI が文章を扱うときの単位。料金も制限もこの単位で決まる。
単語より細かく、文字より粗い。日本語は英語より多くのトークンを消費する傾向がある。
入力と出力で単価が違い、多くの場合は出力の方が高い。長い文章を書かせる用途は、要約させる用途より高くつく。
よくある誤解
「新しいモデルの方が単価が安いから安くなる」と考えると外すことがある。思考トークンを使うモデルは、見えている出力が短くても内部で大量に消費する。実測では、出力21〜31トークンの翻訳に総計332〜688トークンを使ったモデルと、51〜52で済んだモデルがあった。単価表だけでなく、自分の用途で実際に何トークン使うかを測ってから選ぶ。
関連する用語
推論コスト
AI を実際に使うたびに発生する費用。使う量に比例して増え続ける。
ファインチューニング
既存モデルに追加で学習させ、応答の型や口調を寄せる手法。知識の追加には向かない。