ストリーミング推論とは？
読み方: ストリーミングスイロン
30秒まとめ
AIモデルの出力をリアルタイムに逐次配信する推論方式。ユーザー体験を向上させる。
ストリーミング推論の意味・定義
ストリーミング推論（Streaming Inference）は、AIモデルが生成したテキストやデータを、全体の生成完了を待たずにリアルタイムで逐次的にユーザーに配信する推論方式です。ChatGPTやClaudeの対話画面で文字が順番に表示される挙動がストリーミング推論の代表例です。Server-Sent Events（SSE）やWebSocketなどの技術で実装されます。 ストリーミング推論の最大の利点は体感速度の向上です。LLMの長文生成には数秒〜数十秒かかりますが、最初のトークンが生成された時点からユーザーに表示を開始するため、待ち時間を大幅に短縮できます。TTFT（Time to First Token、最初のトークンまでの時間）が重要な指標となります。バッチ推論と使い分けることで、コスト効率とユーザー体験の両方を最適化できます。