LLM Observability・AI Monitoringとは？
読み方: えるえるえむおぶざーばびりてぃ
30秒まとめ
LLMアプリのTrace/Cost/Latency/Eval/Quality/Promptを統合監視する技術。Langfuse/Helicone/Arize/LangSmith/Datadog LLMでLLM Cost-40%・ハルシネーション検出+90%・MTTR-70%・市場2030年$12B。
LLM Observability・AI Monitoringの意味・定義
LLM Observability・AI Monitoringとは、(1)Trace収集(Prompt+Completion+Tool Call+Retrieval全Span)(2)Token Cost監視(Provider/Model/User/Endpoint別)(3)Latency分析(TTFT・p50/p95/p99)(4)Quality Eval(Faithfulness/Relevance/Toxicity/PII/Custom Metric)(5)Prompt Management(Version Control+A/B Test+CI/CD)(6)RAG Eval(Retrieval Precision/Recall・Ragas Triad)(7)Agent Trace(Multi-Turn Tool Use・MCP連携)(8)LLM-as-a-Judge自動Eval(9)Production Drift検出(10)Replay/Regression Test+Synthetic Eval Dataset Generationを統合実現する技術領域です。市場2024年$1.5B→2030年$12B(年率42%)、Gartner AI TRiSM(Trust, Risk, Security Management)主要構成要素。 代表的なLLM Observability/Monitoring Tool：(1) Langfuse(独$4M YC、5,000+ユーザー、Khan Academy/Twilio/SumUp採用、OSS All-in-One、Self-Host無料/Cloud $59-499)、(2) Helicone(米YC $2M、2,000+企業、Sourcegraph採用、1行Proxy統合、Caching+Cost Analytics、無料-$200+)、(3) Arize Phoenix+Arize AX(米$70M、500+企業、Uber/eBay/Adobe/Wayfair採用、OSS Eval+Enterprise Drift、年$30K-500K)、(4) LangSmith by LangChain(米$25M、10万+開発者、Klarna/Elastic/Adyen採用、LangChain Native、無料-$39/Dev)、(5) Datadog LLM Observability(28,000+企業、APM+LLM統合、$10-30/Host)、(6) New Relic AI Monitoring(15,000+企業)、(7) Galileo(米$45M、300+企業、Hallucination/RAG Eval特化、Luna Eval Model、年$30K-500K)、(8) Braintrust(米$36M、500+企業、Stripe/Notion/Airtable/Zapier採用、Eval Best UX、$0-249)、(9) Lunary(YC、OSS LLM Analytics、Self-Host無料)、(10) PromptLayer(米$4M、Prompt Version Control)、(11) WhyLabs(米$10M、LangKit+Drift)、(12) Weights & Biases Weave/Traces(OpenAI/NVIDIA採用)、(13) OpenLLMetry by Traceloop/Pezzo/Portkey Gateway/HoneyHive/Comet Opik/MLflow Tracing 3.0。 主要ユースケース：(I) LLM Cost Optimization(Token Spend可視化+Caching+Routing・年$40K-1M削減)、(II) Hallucination Detection(Faithfulness Eval・LLM-as-a-Judge・検出+90%)、(III) Prompt Regression Test(CI/CD・本番Deploy前必須)、(IV) RAG Eval(Retrieval Precision/Recall/Faithfulness・Ragas Framework)、(V) Agent Trace(Multi-Turn Tool Use+Subagent Hierarchy・MCP連携)、(VI) Production Online Eval(Sampling 5-10%・Quality Gate)、(VII) Latency SLO(p95/p99・SRE運用)、(VIII) Drift Detection(Production Input分布変化)、(IX) PII/Toxicity Real-Time Guardrail(NeMo Guardrails+Galileo Protect)、(X) Cost Anomaly Detection(Token Spend急増Auto-Alert)。 2026年トレンド：(★)LLM-as-a-Judge自動Eval(Coverage 10倍)、(★)OpenTelemetry Semantic Conventions for GenAI標準化、(★)Agent Trace MCP連携、(★)Production Online Eval Continuous Quality Gate、(★)RAG Triad Eval(Ragas)、(★)Prompt CI/CD(Langfuse/PromptLayer)、(★)Real-Time Guardrail(NeMo/Galileo Protect/OpenAI Moderation)、(★)Cost Anomaly Detection+予算上限自動Cut-off、(★)Synthetic Eval Dataset(Adversarial Test+200%)、(★)Multimodal Trace(Vision+Audio+Video Span)。