コンテキストウィンドウ最適化とは？
読み方: コンテキストウィンドウサイテキカ
30秒まとめ
LLMのコンテキストウィンドウを効率的に活用し、出力品質を最大化する技術。
コンテキストウィンドウ最適化の意味・定義
コンテキストウィンドウ最適化は、LLM（大規模言語モデル）の有限なコンテキストウィンドウ（入力可能なトークン数の上限）を効率的に活用して、出力品質を最大化する技術・戦略です。GPT-4 Turboの128K、Claude 3.5の200K、Gemini 1.5の1M〜2Mトークンなど、モデルごとにウィンドウサイズは異なりますが、大きいほどコストも増加するため最適化が重要です。 具体的な手法として、会話履歴の要約圧縮（古い会話を要約して短縮）、RAGによる関連情報のみの選択的注入、ドキュメントのチャンク分割と優先順位付け、プロンプトキャッシュの活用（Anthropic、OpenAIが提供）、不要な情報のフィルタリングなどがあります。「Lost in the Middle」問題（長いコンテキストの中間部分の情報が無視されやすい）への対策として、重要な情報をコンテキストの先頭か末尾に配置する工夫も実践されています。