プロンプトキャッシングとは？
読み方: プロンプトキャッシング
30秒まとめ
同一プロンプトの再計算を省略してコストと応答時間を削減するLLM最適化技術。
プロンプトキャッシングの意味・定義
プロンプトキャッシング（Prompt Caching）は、LLMへの同一または類似のプロンプト入力に対する計算結果をキャッシュし、再計算を省略することでコスト削減と応答速度の向上を実現する技術です。Anthropic Claudeのプロンプトキャッシング機能では、システムプロンプトや大量のコンテキストをキャッシュすることで、入力トークンのコストを最大90%削減できます。OpenAIも同様の機能を提供しています。RAGアプリケーションやチャットボットなど、共通のシステムプロンプトやドキュメントコンテキストを繰り返し使用するユースケースで特に有効です。