セマンティックキャッシングとは？
読み方: セマンティックキャッシング
30秒まとめ
意味的に類似した過去の質問の回答を再利用してAIの応答速度向上とコスト削減を実現する技術。
セマンティックキャッシングの意味・定義
セマンティックキャッシング（Semantic Caching）は、AIシステムに対する過去の質問と回答をキャッシュし、意味的に類似した新しい質問が来た際に、AIモデルを再実行せずにキャッシュから回答を返す最適化技術です。従来のキャッシュが完全一致のみ対応するのに対し、セマンティックキャッシュはエンベディング（ベクトル表現）を使って「意味的な類似性」で判断するため、表現が異なる同じ意味の質問にも対応できます。 例えば、「東京の天気は？」と「東京の今日の天候を教えて」は異なるテキストですが、意味的には同一であるため、セマンティックキャッシュではヒットします。これにより、（1）応答時間の大幅短縮（ミリ秒単位で返答）、（2）API呼び出しコストの削減（同じ回答の再生成が不要）、（3）レート制限への対処（APIの呼び出し回数削減）が実現できます。GPTCacheやRedisのベクトル検索機能などが実装手段として利用されています。大量の問い合わせを処理するカスタマーサポートAIやFAQシステムで特に効果的です。