Prometheusのアラートが鳴る。ダッシュボードで原因を追う。ロールバックする。多くのチームにとって、耐障害性を検証する機会はこの「本番障害が起きた瞬間」しかない。カオスエンジニアリングは、この構造を逆転させる。障害が起きるのを待つのではなく、意図的に、かつ制御された形で障害を注入し、システムが本当に耐えられるかを事前に確かめる手法だ。K3sのような軽量なKubernetesディストリビューションは、この検証コストを大きく下げてくれる。本記事では、CNCF傘下のオープンソースツールLitmusChaosを使ってK3s上でカオスエンジニアリングを始める方法と、実務で必ず迷う「最初に何を壊すべきか」という判断軸を解説する。
1. なぜ「壊れてから気づく」運用から抜け出せないのか

Kubernetesの運用チームは、Prometheus・Grafana・OpenTelemetryといった監視スタックに多くの投資をしてきた。しかし、これらの仕組みはすべて「障害が起きた後」を検知するために設計されている。メトリクスが閾値を超えた、エラー率が上昇した、レイテンシが悪化した——いずれも障害が発生してからの反応だ。
一方で、「このPodが落ちてもサービスは継続するか」「このノードがネットワーク分断を起こしたらどうなるか」といった耐障害性そのものは、実際に障害を起こしてみない限り検証できない。Kubernetes公式ドキュメントは、ノードのハードウェア障害やリソース枯渇による強制的なPod退出を「非自発的な破壊(involuntary disruption)」と呼び、これはPodDisruptionBudgetでも防げないと明記している。つまり、意図しない障害はいつか必ず起きる前提でシステムを設計しなければならない。
この前提に立つと、監視を強化するだけでは不十分だということが分かる。監視は「壊れたことに気づく」仕組みであり、「壊れても大丈夫か」を確かめる仕組みではない。この2つを混同したまま運用を続けると、本番障害のたびに初めて自分たちのシステムの弱点を知ることになる。カオスエンジニアリングは、この検証を計画的かつ安全な範囲で先回りして行うためのアプローチだ。
Kuboで運用するK3sクラスタは、標準でPrometheus・Grafanaが組み込まれているため、この後説明するカオス実験の影響を監視で追跡する土台がすでに整っている。Kuboならではの手軽さで、まずは監視基盤を前提としたうえで、次のステップである意図的な障害注入に進める。
2. カオスエンジニアリングとは何か、K3sで何が壊せるのか

カオスエンジニアリングという言葉はNetflixが自社の分散システム検証のために広めた考え方だが、現在ではPrinciples of Chaos Engineeringがその原則を体系化している。要点は次の4つだ。
- 定常状態の仮説を立てる: スループットやエラー率、レイテンシといった測定可能な指標で「正常な状態」を定義する
- 実世界で起こりうる事象を変数として導入する: サーバー障害、ネットワーク遅延、リソース枯渇など、実際に発生しうる障害を模擬する
- 可能な限り本番相当の環境で実験する: ステージング環境と本番環境では負荷パターンもトラフィックの性質も異なるため、条件が近いほど検証の価値が高まる
- 影響範囲(Blast Radius)を最小化する: 実験による悪影響を局所化し、いつでも中断できる設計にする
Kubernetesエコシステムでは、この原則をCRD(カスタムリソース定義)として実装したツールが複数存在する。代表格が本記事で扱うLitmusChaosで、もう一つの主要な選択肢がChaos Meshだ。Chaos MeshはCNCFのIncubatingプロジェクトとして、ラベルベースの対象選択とダッシュボードからの実験作成を強みにしている。どちらもK3s上で問題なく動作するが、本記事ではChaosHub経由で豊富な実験テンプレートを持つLitmusChaosを中心に解説する。
Kuboが採用するK3sはCNCF認定のKubernetesディストリビューションであり、LitmusChaosやChaos MeshといったCNCFエコシステムのツールをそのまま利用できる。マネージドサービス側で独自のAPIを覚え直す必要がないのは、標準準拠を重視するKuboの設計思想と噛み合っている。
K3s環境で注入できる代表的な障害には、Podの強制終了(container-kill)、CPU/メモリ負荷の付与(pod-cpu-hog / pod-memory-hog)、ネットワーク遅延の注入(pod-network-latency)などがある。いずれもLitmusChaosの実践ガイドで紹介されている標準的な実験であり、権限不要で実行できるものと、SecurityContextの調整が必要な高権限実験に分かれる。まずは権限不要な実験から始めるのが安全だ。
3. LitmusChaosの基本構成とPod Kill実験の流れ

LitmusChaosは3つのCRDで構成される。公式リポジトリによれば、それぞれの役割は明確に分離されている。
- ChaosExperiment: 特定の障害に関する設定パラメータをまとめたリソース。実行に必要なテンプレートと権限情報を定義する
- ChaosEngine: Kubernetes上のアプリケーション・ノード・インフラコンポーネントと、どの障害を結びつけるかを指定するリソース。実行対象のラベルや検証条件(プローブ)もここで設定する
- ChaosResult: 実験の結果と、障害からの復帰状況を記録するリソース
導入は公式ドキュメントにある通り、Helmで数コマンドで完了する。K3sは最新カーネルとcgroupマウントさえあれば動く軽量ディストリビューションなので(K3s公式ドキュメント参照)、検証専用のK3sクラスタをまるごと複製するコストは非常に小さい。これはカオス実験を「本番でしか試せない」ものから「気軽に何度も試せる」ものに変える大きな利点だ。
最小構成のPod Kill実験は、次の流れで設計する。
- ChaosHubから
container-kill実験テンプレートを選択する - ChaosEngineで対象アプリケーションのラベル(例:
app=my-service)を指定する - Blast Radius(同時に影響を与えるPod数の割合)を小さく設定する
- 実験を実行し、ChaosResultで定常状態の仮説(エラー率やレイテンシが許容範囲内か)が保たれたかを検証する
- 想定外の影響が出た場合は即座に実験を中断し、原因を分析する
Kubo CloudのCaptain UIを使えば、この一連の実験中にPodの再起動状況やリソース使用率をブラックボックスにせず可視化できるため、実験結果の判断がしやすくなる。
4. 最初に壊していいワークロード、壊してはいけないワークロード

カオスエンジニアリングで最も判断を誤りやすいのが、実験対象の選定だ。いきなり本番のクリティカルなワークロードを壊すと、それは検証ではなく単なるインシデントになってしまう。段階的に対象を広げるための目安は次の通りだ。
最初に壊していいワークロード
- ステートレスで複数レプリカが稼働しているサービス: Deploymentでレプリカ数3以上、かつリクエストが特定のPodに固定されないもの
- SLAが厳格でない社内向けバッチ・非同期処理: 失敗しても再実行が容易で、顧客影響が直接発生しないもの
- カナリアリリース中の新バージョン: 元々一部トラフィックしか受けていないため、影響範囲が自然に限定されている
慎重に扱うべきワークロード
- PVCに依存するステートフルワークロード: データベースやキャッシュなど、Pod再起動がデータ整合性に影響するもの
- シングルレプリカで稼働しているサービス: 冗長化されていないため、実験がそのままダウンタイムに直結する
- ネットワークポリシーやIngress制御と密結合したコンポーネント: 障害注入の影響が想定より広く波及しやすい
このロードマップの本質は、Blast Radiusを小さく保ったまま「壊しても学びが得られる」対象から始め、チームがLitmusChaosの実験プロセスに習熟してから徐々に対象を広げていくことにある。Chaos MeshのようにRBACをデフォルトで有効にするツールを選ぶ場合も、権限設計そのものが最初の対象選定と一体で検討されるべきだ。
K3sベースで環境を安価に複製できれば、この「慎重に扱うべきワークロード」層についても、本番相当のステージング環境上でリハーサルを重ねてから本番実験に臨むという選択肢が現実的になる。EKSやAKSでは環境複製のコストが心理的なハードルになりがちだが、KuboならK3sの軽量性を活かして検証環境を柔軟に増減できる。
まとめ
監視とアラートは、障害が起きたことを教えてくれる。しかしシステムが本当に障害に耐えられるかどうかは、実際に壊してみるまで分からない。カオスエンジニアリングは、この検証を「起きてから」ではなく「起きる前に」計画的に行うためのプラクティスであり、LitmusChaosのようなCNCFプロジェクトを使えばK8sネイティブな宣言的リソースとして実装できる。
重要なのは、最初からすべてを壊そうとしないことだ。ステートレスで冗長化されたワークロードから始め、Blast Radiusを小さく保ちながら、チームとシステムの両方が実験に慣れていくプロセスを設計する。K3sの軽量さは、この検証サイクルを回すコストを下げてくれる実務的な利点になる。
耐障害性の検証環境を用意すること自体がハードルになっているなら、まずはお問い合わせから、K3sベースで本番相当の環境を安価に複製できるKuboの構成を相談してみてほしい。監視だけに頼らない、壊して確かめる運用への第一歩になるはずだ。