[{"data":1,"prerenderedAt":274},["ShallowReactive",2],{"blog-ja-k3s-ai-agent-opentelemetry-observability":3,"blog-related-ja-k3s-ai-agent-opentelemetry-observability":222,"blog-ja-k3s-ai-agent-opentelemetry-observability-alt":210},{"id":4,"title":5,"author":6,"body":7,"date":204,"description":205,"extension":206,"image":207,"locale":208,"meta":209,"navigation":210,"path":211,"seo":212,"stem":213,"tags":214,"__hash__":221},"blog\u002Fblog\u002Fja\u002Fk3s-ai-agent-opentelemetry-observability.md","K3s上で動くAIエージェントは、いま何をしているか分からない。OpenTelemetryで非決定論的な実行をトレースする設計","Kubo Team",{"type":8,"value":9,"toc":195},"minimark",[10,15,23,31,34,45,49,55,63,72,75,79,85,93,102,120,128,132,138,151,160,175,179,182],[11,12,14],"h2",{"id":13},"_1-なぜ動いているログだけでは足りないのか","1. なぜ「動いているログ」だけでは足りないのか",[16,17,18],"p",{},[19,20],"img",{"alt":21,"src":22},"section01","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-ai-agent-opentelemetry-observability\u002Fsection01.webp",[16,24,25,26,30],{},"AIエージェント の",[27,28,29],"strong",{},"可観測性","という言葉を、まだ「監視ツールを1つ足すだけ」だと思っていないだろうか。K3sクラスタ上でMCPサーバーやAIエージェントを本番投入したチームが最初にぶつかるのは、「動いているのは分かるが、何を考えてそのツールを呼んだのかが分からない」という壁だ。",[16,32,33],{},"通常のマイクロサービスなら、リクエストは決まった順序でサービスAからサービスBへ流れる。障害が起きた箇所は、既存のAPMツールで機械的に特定できる。ところがAIエージェントは違う。LLMがそのつど文脈を判断し、どのツールを・どの順序で・何回呼ぶかを動的に決める。これは「非決定論的な実行」と呼ばれ、事前にフローチャートを描いて監視ポイントを決めておくことができない。",[16,35,36,37,44],{},"構造化ログを増やしても、「ツールが呼ばれた」という事実は分かっても「なぜそのツールが選ばれたのか」という推論の連鎖までは追えない。この隙間を埋めるために標準化が進んでいるのが、OpenTelemetryのGenAI(生成AI)関連の規約群だ。K3sベースの基盤であれば、監視の土台自体はすでに標準搭載されていることも多く、あとはトレースの層をどう足すかという設計の問題になる（",[38,39,43],"a",{"href":40,"rel":41},"https:\u002F\u002Fkubo.hexabase.io\u002F",[42],"nofollow","Kubo","の場合はPrometheus + Grafanaが最初から組み込まれている）。",[11,46,48],{"id":47},"_2-opentelemetry-genaiセマンティック規約とは何か","2. OpenTelemetry GenAIセマンティック規約とは何か",[16,50,51],{},[19,52],{"alt":53,"src":54},"section02","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-ai-agent-opentelemetry-observability\u002Fsection02.webp",[16,56,57,62],{},[38,58,61],{"href":59,"rel":60},"https:\u002F\u002Fopentelemetry.io\u002Fblog\u002F2025\u002Fai-agent-observability\u002F",[42],"OpenTelemetry公式ブログ","によれば、AIエージェントの急速な普及に伴い、フレームワーク間の相互運用性を確保するための統一的なテレメトリ形式が不可欠だとされている。ベンダーごとに独自のログ形式を使っていては、エージェント基盤を乗り換えるたびに監視の仕組みを作り直すことになるからだ。",[16,64,65,66,71],{},"規約の標準化は2段階で進行している。エージェントの応用層はすでに最終化され、Googleが公開したAIエージェントに関する提言をベースにしている。一方でCrewAI・AutoGen・LangGraphといった主要フレームワークに対応する共通規約は、現在も策定中の段階だ。",[38,67,70],{"href":68,"rel":69},"https:\u002F\u002Fopentelemetry.io\u002Fdocs\u002Fspecs\u002Fsemconv\u002Fgen-ai\u002F",[42],"OpenTelemetryのGenAIセマンティック規約ドキュメント","では、エージェント用のスパン、LLMプロバイダー別の規約、イベント・例外・メトリクスの定義、そしてMCPのようなツール呼び出しの記述方法までが体系化されつつある。",[16,73,74],{},"重要なのは、テレメトリが単なる障害検知の手段ではなく、エージェントの応答品質を継続的に改善するフィードバックループとして設計されている点だ。「動いているか」だけでなく「どう考えて動いたか」を記録すること自体が、AIエージェント運用の一部になりつつある。",[11,76,78],{"id":77},"_3-mcpサーバーのツール呼び出しをトレースする","3. MCPサーバーのツール呼び出しをトレースする",[16,80,81],{},[19,82],{"alt":83,"src":84},"section03","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-ai-agent-opentelemetry-observability\u002Fsection03.webp",[16,86,87,92],{},[38,88,91],{"href":89,"rel":90},"https:\u002F\u002Fmodelcontextprotocol.io\u002Fintroduction",[42],"MCP(Model Context Protocol)の公式ドキュメント","は、AIアプリケーションと外部システムを繋ぐ標準規格をUSB-Cポートに例えている。MCPホスト・MCPクライアント・MCPサーバーという3つの構成要素があり、AIエージェントはこの標準化されたインターフェースを通じてデータベースや外部APIといったツールを呼び出す。",[16,94,95,96,101],{},"ところがMCPサーバー自体には観測性が組み込まれていない。",[38,97,100],{"href":98,"rel":99},"https:\u002F\u002Fsignoz.io\u002Fblog\u002Fmcp-observability-with-otel\u002F",[42],"SigNoz のMCP可観測性に関する解説","は、これを「ブラックボックス」問題として整理している。外部APIの遅延がエージェント全体の応答速度を悪化させても、ツール呼び出しが無効なデータを返す「サイレント障害」が起きても、分散環境のどのコンポーネントで問題が発生したかを追跡できない、という指摘だ。",[16,103,104,105,110,111,115,116,119],{},"この課題への現実的な解決策が、",[38,106,109],{"href":107,"rel":108},"https:\u002F\u002Fwww.w3.org\u002FTR\u002Ftrace-context\u002F",[42],"W3C Trace Context仕様","に基づくコンテキスト伝搬だ。",[112,113,114],"code",{},"traceparent","ヘッダーでトレースIDと親スパンIDを固定長フォーマットで伝え、",[112,117,118],{},"tracestate","ヘッダーでベンダー固有の情報をチェーン状に追記していく。これにより、MCPホストからクライアント、サーバー、その先の外部APIまで、1本のトレースとして繋げて記録できる。",[16,121,122,123,127],{},"K3s上に実装する場合は、OTel Collectorをサイドカーではなくクラスタ全体のDaemonSetとして配置し、MCPサーバーの各Podからトレースを収集するパターンが扱いやすい。KuboのようなHelmチャート・GitOpsに対応したK3sベースの基盤なら、",[38,124,126],{"href":40,"rel":125},[42],"既存のデプロイフロー","にOTel CollectorをHelmリリースとして追加するだけで、運用フローを崩さずに導入できる。",[11,129,131],{"id":130},"_4-トレースとk8sメトリクスを繋げる","4. トレースとK8sメトリクスを繋げる",[16,133,134],{},[19,135],{"alt":136,"src":137},"section04","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-ai-agent-opentelemetry-observability\u002Fsection04.webp",[16,139,140,141,146,147,150],{},"トレースだけを見ていても「LLMの応答が遅い」原因が、推論そのものの遅さなのか、Pod側のリソース逼迫なのかは切り分けられない。ここでKubernetesの標準的なリソースメトリクスパイプラインが役に立つ。",[38,142,145],{"href":143,"rel":144},"https:\u002F\u002Fkubernetes.io\u002Fdocs\u002Ftasks\u002Fdebug\u002Fdebug-cluster\u002Fresource-metrics-pipeline\u002F",[42],"Kubernetes公式ドキュメント","が示す通り、cAdvisorがコンテナのCPU・メモリ使用量を収集し、kubeletを経由してmetrics-serverが集約、Metrics API経由で",[112,148,149],{},"kubectl top pods","のようなコマンドから確認できる。",[16,152,153,154,159],{},"このPodメトリクスと、OTelで収集したエージェント実行トレースを同じ時間軸で突き合わせれば、「LLM呼び出しの直前にPodのメモリ使用量が急増していた」といった相関が見えてくる。実際に",[38,155,158],{"href":156,"rel":157},"https:\u002F\u002Fwww.cncf.io\u002Fblog\u002F2026\u002F06\u002F17\u002Fwhy-cloud-native-belongs-at-the-heart-of-agentic-ai-lessons-from-building-a-multi-agent-security-platform-on-kubernetes\u002F",[42],"CNCFが公開した事例","では、A2Aプロトコルで伝播されるtrace_idを軸に、各エージェントの構造化ログとPrometheusのメトリクス、ネットワークフローの可視化ツールを統合し、ある自動判断の推論チェーン全体をおよそ15分で洗い出せたと報告されている。",[16,161,162,163,168,169,174],{},"メトリクス収集の基盤には",[38,164,167],{"href":165,"rel":166},"https:\u002F\u002Fprometheus.io\u002Fdocs\u002Fintroduction\u002Foverview\u002F",[42],"Prometheus","のようなプルモデルの時系列データベースが使われることが多い。PromQLで多次元のラベル付きデータを柔軟に集計できるため、トレースIDをラベルとして埋め込んでおけば、特定のエージェント実行に紐づくメトリクスだけを抽出することもできる。Kubo CloudはPrometheus + Grafanaを標準搭載しているため、この相関分析の土台をゼロから構築する必要がない。",[38,170,173],{"href":171,"rel":172},"https:\u002F\u002Fwww.hexabase.com\u002Fproduct\u002Fcaptain-ai\u002F",[42],"Captain.AI","のようにMCP\u002FSkillsを前提としたオープンアーキテクチャのAIエージェント基盤であれば、こうしたトレースとメトリクスの相関設計もそのまま活かせる。",[11,176,178],{"id":177},"_5-まとめ","5. まとめ",[16,180,181],{},"AIエージェントやMCPサーバーの本番運用は、「サービスが起動しているか」を確認する段階から、「エージェントが何を考えてどう動いたか」を可視化する段階へと移りつつある。OpenTelemetryのGenAIセマンティック規約はまだ発展途上だが、W3C Trace Contextによるコンテキスト伝搬と、Kubernetesの標準的なメトリクスパイプラインを組み合わせるだけでも、多くの「ブラックボックス」問題は解消できる。",[16,183,184,185,188,189,194],{},"K3sベースの基盤にAIエージェントを載せていくなら、可観測性の設計は後回しにできない前提条件になる。標準監視スタックとOTelトレースの組み合わせから相談したい場合は、",[38,186,43],{"href":40,"rel":187},[42],"の",[38,190,193],{"href":191,"rel":192},"https:\u002F\u002Fwww.hexabase.com\u002Fcontact-us\u002F",[42],"お問い合わせ","から気軽に聞いてみてほしい。",{"title":196,"searchDepth":197,"depth":197,"links":198},"",2,[199,200,201,202,203],{"id":13,"depth":197,"text":14},{"id":47,"depth":197,"text":48},{"id":77,"depth":197,"text":78},{"id":130,"depth":197,"text":131},{"id":177,"depth":197,"text":178},"2026-09-06","K3s上のMCPサーバーやAIエージェントは、ログだけでは何を考えてツールを呼んだか分からない。OpenTelemetry GenAIセマンティック規約で非決定論的な実行を可視化する設計を解説する。","md","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-ai-agent-opentelemetry-observability\u002Feyecatch.webp","ja",{},true,"\u002Fblog\u002Fja\u002Fk3s-ai-agent-opentelemetry-observability",{"title":5,"description":205},"blog\u002Fja\u002Fk3s-ai-agent-opentelemetry-observability",[215,216,217,218,219,220],"k3s","kubernetes","opentelemetry","distributed-tracing","genai","telemetry","-JdaHCGQ7xYjSgP366LaddSvBd2pKUrJDF5BsDB6T5c",[223,230,237,247,256,265],{"path":224,"title":225,"description":226,"date":227,"tags":228},"\u002Fblog\u002Fja\u002Fk3s-opentelemetry-observability-correlation","3つのダッシュボードを往復する障害対応はもう終わり。K3sの可観測性をOpenTelemetryで『相関』させる設計","PrometheusとLokiとJaegerを個別に確認して原因究明に時間を溶かしていないか。K3sクラスタの可観測性をOpenTelemetryで相関させ、障害調査時間を短縮する設計とOpenTelemetry Collectorの導入パターンを、K3s\u002FKubernetes運用の現場目線で解説する。","2026-08-20",[215,216,217,229,218],"observability",{"path":231,"title":232,"description":233,"date":234,"tags":235},"\u002Fblog\u002Fja\u002Fkubernetes-aiops-incident-response-distributed-tracing","AIに『直して』と頼んでも直らない。Kubernetes本番障害調査は分散トレーシングから始まる","Kubernetes本番環境の障害対応をAIに任せても、分散システムの因果関係が見えなければ的外れな対処になる。AIOpsを機能させる分散トレーシング設計とOpenTelemetry導入の実践ステップを解説する。","2026-07-27",[216,215,229,218,217,236],"aiops",{"path":238,"title":239,"description":240,"date":241,"tags":242},"\u002Fblog\u002Fja\u002Fk3s-longhorn-openebs-mayastor-storage-selection","Longhornで十分か、OpenEBS Mayastorが要るか。K3sストレージ選定を性能要件で決める","K3sのストレージ、まだ「とりあえずLonghorn」で決めていませんか。LonghornとOpenEBS Mayastorをハードウェア要件・レプリカ構成・性能特性という4つの軸で徹底比較し、本番導入前に後悔しない選定基準をチェックリスト形式でわかりやすく解説します。","2026-11-15",[215,216,243,244,245,246],"longhorn","openebs","mayastor","storage",{"path":248,"title":249,"description":250,"date":251,"tags":252},"\u002Fblog\u002Fja\u002Fk3s-proxmox-ceph-csi-rbd-multiattach-node-maintenance","Multi-Attach error for volume。ProxmoxのK3s+Ceph CSIでノードメンテ前に知っておくべきRBDロックの罠","Proxmox上のK3sでノードをdrainしたら、Ceph CSI(RBD)のPVがMulti-Attach errorでPending化した。原因はexclusive lockとwatcherの残存、フェンシングのレース条件。復旧コマンドとNetworkFenceによる恒久対策を解説する。","2026-11-14",[215,216,253,254,255,246],"proxmox","ceph-csi","rbd",{"path":257,"title":258,"description":259,"date":260,"tags":261},"\u002Fblog\u002Fja\u002Fproxmox-corosync-self-fencing-k3s-etcd-quorum","2台のProxmoxで組んだK3sクラスタが、ネットワークの瞬断で同時に全滅した。原因はCorosyncのself-fencingだった","2台のProxmoxホストでK3sクラスタを運用していたら、数秒のネットワーク瞬断でホストごとリブートし、K3sのetcd quorumまで巻き込まれて全滅した。原因のCorosync self-fencingと、ノード配置設計での再発防止策を解説する。","2026-11-11",[215,216,253,262,263,264],"etcd","high-availability","quorum",{"path":266,"title":267,"description":268,"date":269,"tags":270},"\u002Fblog\u002Fja\u002Fk3s-ai-agent-audit-log-traceability-gap","AIエージェントがKubernetes APIを叩いた後、何をしたのか追えなかった。Audit Logの設定に空いていた穴","AIエージェントをKubernetes上で動かし始めたら、トラブル発生時にAudit Logだけでは「誰が・何の目的で」操作したのか追えないことに気づいた。Audit Policyの盲点とトレーサビリティ確保の実践を解説する。","2026-11-09",[215,216,271,272,273,229],"ai-agent","audit-log","rbac",1794902455874]