AIエージェントがKubernetes APIを叩いた後、何をしたのか追えなかった。Audit Logの設定に空いていた穴
AIエージェントをKubernetes上で動かし始めたら、トラブル発生時にAudit Logだけでは「誰が・何の目的で」操作したのか追えないことに気づいた。Audit Policyの盲点とトレーサビリティ確保の実践を解説する。
#observability
Articles tagged with "observability"
K3sエッジのPrometheusをAgent modeにしたら、ターゲットが消えた瞬間にメトリクスも消えていた
K3sエッジクラスタでPrometheus Agent modeを使うと、ターゲット消失時のstale marker処理次第で中央監視に古い値が残り続けることがある。K3s edge環境の監視設計とつまずきポイントを解説する。
discoveryIntervalを疑え。K3sのHPAがPrometheus Adapter経由で"古いメトリクス"を掴み続ける設定ミス
K3sのHPAがCPU使用率は正常なのにスケールしない。原因はPrometheus Adapterのmetrics-relist-interval/metrics-max-ageとHPA sync-periodが噛み合っていない設定ミスだった。3層の遅延構造と診断コマンドを解説する。
ServiceMonitorのYAMLは合ってる。K3sでPrometheusにターゲットが出てこない『接続点』の診断手順
K3sでkubernetes service monitorを設定したのにPrometheusのTargetsに何も出てこない。原因の9割はラベルセレクタ・ポート名・RBAC・namespaceSelectorという4つの接続点にある。1段ずつ疑って直す診断手順を解説する。
3つのダッシュボードを往復する障害対応はもう終わり。K3sの可観測性をOpenTelemetryで『相関』させる設計
PrometheusとLokiとJaegerを個別に確認して原因究明に時間を溶かしていないか。K3sクラスタの可観測性をOpenTelemetryで相関させ、障害調査時間を短縮する設計とOpenTelemetry Collectorの導入パターンを、K3s/Kubernetes運用の現場目線で解説する。
strace禁止、sidecar禁止、それでも診断できる。KubernetesをeBPFで透視するInspektor Gadgetという回答
特権コンテナもsidecarも追加できない本番Kubernetesで、Podの通信とシステムコールをどう診断するか。eBPFツール「Inspektor Gadget」の仕組みと2026年の最新動向を解説する。
Prometheusは動いている。なのにメトリクスが無い。ServiceMonitorが『静かに』失敗する3つの理由
Kubernetesのkubernetes service monitorが原因不明にスクレイプされない——ラベル不一致・namespaceSelector・RBACという3つの落とし穴を、公式ドキュメントを元に切り分け手順つきで解説する。
AIに『直して』と頼んでも直らない。Kubernetes本番障害調査は分散トレーシングから始まる
Kubernetes本番環境の障害対応をAIに任せても、分散システムの因果関係が見えなければ的外れな対処になる。AIOpsを機能させる分散トレーシング設計とOpenTelemetry導入の実践ステップを解説する。
壁に貼っただけで「安心」に変わる。ホームラボの壁掛けダッシュボードが教えてくれた、エッジK3sクラスタの観測性設計
自宅の壁掛けダッシュボード作りで起きた総当たりのトラブルシューティングは、工場や店舗に分散したエッジKubernetesクラスタの運用でも同じ罠になる。K3s・Prometheus・Grafanaの公式ドキュメントを引きながら、観測性を後回しにしないための設計原則を解説する。
Grafana ダッシュボード設計: Kubernetes オブザーバビリティ実践
Grafana で Kubernetes のオブザーバビリティを実現するダッシュボード設計手法。RED メソッド、Four Golden Signals、パネル構成のベストプラクティスを解説。
OpenTelemetry で分散トレーシングを実装する: 入門から実践まで
OpenTelemetry を使った分散トレーシングの実装方法を解説。Collector の構成、自動計装、Jaeger/Tempo との連携、Kubernetes 環境でのベストプラクティス。
Prometheus で Kubernetes を監視する完全ガイド
Prometheus を使った Kubernetes 監視の導入から運用まで。PromQL、Alertmanager、サービスディスカバリなど本番環境で必要な設定を体系的に解説します。