AI
コンテキストウィンドウ
AI が一度に読んで理解できる文章量の上限。
質問文・会話履歴・読み込ませた資料などをすべて含めて、AIが一度の応答で参照できる範囲を指す。この範囲を超えた部分は、AIから見えなくなる。
長文の資料をまとめて読ませたい、長い会話を続けたい、といった用途ではこの上限が制約になる。上限が大きいモデルほど長い文章を扱えるが、扱えることと正確に扱えることは別である。
よくある誤解
長ければ長いほど性能が良いと思われがちだが、長すぎると途中の情報を見落とす精度低下が起きる。文章の冒頭と末尾は注意が向きやすく、中間に埋もれた情報が拾われにくい傾向がある。長文を読ませるときほど、本当に必要な部分だけに絞る工夫が要る。
関連する用語
LLM
大量の文章を学習し、文脈に続く言葉を予測して生成するAIの基盤モデル。
RAG
社内文書を検索して、その結果を根拠に AI へ答えさせる仕組み。
トークン
AI が文章を扱うときの単位。料金も制限もこの単位で決まる。