AI
エンベディング
埋め込み（Embedding）
文章の意味を数値の並び（ベクトル）に変換する技術。
文章や単語を、意味的な近さが距離として表現される数値の列に変換する。似た意味の文章同士は、この数値空間の中で近い位置に置かれる。
RAGの検索精度は、この変換の質に大きく左右される。文章をどう分割してエンベディングに変換するかが、検索でどれだけ的確な文書を拾えるかを決める。
よくある誤解
検索キーワードの一致だと思われがちだが、文章の意味的な近さを数値化したもので、キーワードが違っても意味が近ければ拾える。逆に言うと、キーワードが完全に一致していても意味の文脈が違えば拾われないことがあり、従来のキーワード検索とは仕組みも得意不得意も別物として扱う必要がある。
関連する用語
RAG
社内文書を検索して、その結果を根拠に AI へ答えさせる仕組み。
ベクトルデータベース
エンベディングに変換した文章を保存し、意味の近さで検索する専用のデータベース。