[{"data":1,"prerenderedAt":397},["ShallowReactive",2],{"blog-ja-k3s-litmuschaos-chaos-engineering-blast-radius":3,"blog-related-ja-k3s-litmuschaos-chaos-engineering-blast-radius":344,"blog-ja-k3s-litmuschaos-chaos-engineering-blast-radius-alt":332},{"id":4,"title":5,"author":6,"body":7,"date":326,"description":327,"extension":328,"image":329,"locale":330,"meta":331,"navigation":332,"path":333,"seo":334,"stem":335,"tags":336,"__hash__":343},"blog\u002Fblog\u002Fja\u002Fk3s-litmuschaos-chaos-engineering-blast-radius.md","「本番のK3sを、自分でわざと壊す。」LitmusChaosで始めるカオスエンジニアリング、最初に壊していいワークロードの見極め方","Kubo Team",{"type":8,"value":9,"toc":314},"minimark",[10,14,19,30,33,44,47,56,60,66,75,104,119,122,131,135,141,149,169,184,187,214,222,226,232,235,239,259,262,282,289,296,299,302,305],[11,12,13],"p",{},"Prometheusのアラートが鳴る。ダッシュボードで原因を追う。ロールバックする。多くのチームにとって、耐障害性を検証する機会はこの「本番障害が起きた瞬間」しかない。カオスエンジニアリングは、この構造を逆転させる。障害が起きるのを待つのではなく、意図的に、かつ制御された形で障害を注入し、システムが本当に耐えられるかを事前に確かめる手法だ。K3sのような軽量なKubernetesディストリビューションは、この検証コストを大きく下げてくれる。本記事では、CNCF傘下のオープンソースツールLitmusChaosを使ってK3s上でカオスエンジニアリングを始める方法と、実務で必ず迷う「最初に何を壊すべきか」という判断軸を解説する。",[15,16,18],"h2",{"id":17},"_1-なぜ壊れてから気づく運用から抜け出せないのか","1. なぜ「壊れてから気づく」運用から抜け出せないのか",[11,20,24],{"className":21,"dir":23},[22],"content-paragraph","ltr",[25,26],"img",{"src":27,"alt":28,"width":29,"height":29},"https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-litmuschaos-chaos-engineering-blast-radius\u002Fsection01.webp","","inherit",[11,31,32],{},"Kubernetesの運用チームは、Prometheus・Grafana・OpenTelemetryといった監視スタックに多くの投資をしてきた。しかし、これらの仕組みはすべて「障害が起きた後」を検知するために設計されている。メトリクスが閾値を超えた、エラー率が上昇した、レイテンシが悪化した——いずれも障害が発生してからの反応だ。",[11,34,35,36,43],{},"一方で、「このPodが落ちてもサービスは継続するか」「このノードがネットワーク分断を起こしたらどうなるか」といった耐障害性そのものは、実際に障害を起こしてみない限り検証できない。",[37,38,42],"a",{"href":39,"rel":40},"https:\u002F\u002Fkubernetes.io\u002Fdocs\u002Fconcepts\u002Fworkloads\u002Fpods\u002Fdisruptions\u002F",[41],"nofollow","Kubernetes公式ドキュメント","は、ノードのハードウェア障害やリソース枯渇による強制的なPod退出を「非自発的な破壊(involuntary disruption)」と呼び、これはPodDisruptionBudgetでも防げないと明記している。つまり、意図しない障害はいつか必ず起きる前提でシステムを設計しなければならない。",[11,45,46],{},"この前提に立つと、監視を強化するだけでは不十分だということが分かる。監視は「壊れたことに気づく」仕組みであり、「壊れても大丈夫か」を確かめる仕組みではない。この2つを混同したまま運用を続けると、本番障害のたびに初めて自分たちのシステムの弱点を知ることになる。カオスエンジニアリングは、この検証を計画的かつ安全な範囲で先回りして行うためのアプローチだ。",[11,48,49,50,55],{},"Kuboで運用するK3sクラスタは、標準でPrometheus・Grafanaが組み込まれているため、この後説明するカオス実験の影響を監視で追跡する土台がすでに整っている。",[37,51,54],{"href":52,"rel":53},"https:\u002F\u002Fkubo.hexabase.io\u002F",[41],"Kubo","ならではの手軽さで、まずは監視基盤を前提としたうえで、次のステップである意図的な障害注入に進める。",[15,57,59],{"id":58},"_2-カオスエンジニアリングとは何かk3sで何が壊せるのか","2. カオスエンジニアリングとは何か、K3sで何が壊せるのか",[11,61,63],{"className":62,"dir":23},[22],[25,64],{"src":65,"alt":28,"width":29,"height":29},"https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-litmuschaos-chaos-engineering-blast-radius\u002Fsection02.webp",[11,67,68,69,74],{},"カオスエンジニアリングという言葉はNetflixが自社の分散システム検証のために広めた考え方だが、現在では",[37,70,73],{"href":71,"rel":72},"https:\u002F\u002Fprinciplesofchaos.org\u002F",[41],"Principles of Chaos Engineering","がその原則を体系化している。要点は次の4つだ。",[76,77,78,86,92,98],"ul",{},[79,80,81,85],"li",{},[82,83,84],"strong",{},"定常状態の仮説を立てる",": スループットやエラー率、レイテンシといった測定可能な指標で「正常な状態」を定義する",[79,87,88,91],{},[82,89,90],{},"実世界で起こりうる事象を変数として導入する",": サーバー障害、ネットワーク遅延、リソース枯渇など、実際に発生しうる障害を模擬する",[79,93,94,97],{},[82,95,96],{},"可能な限り本番相当の環境で実験する",": ステージング環境と本番環境では負荷パターンもトラフィックの性質も異なるため、条件が近いほど検証の価値が高まる",[79,99,100,103],{},[82,101,102],{},"影響範囲(Blast Radius)を最小化する",": 実験による悪影響を局所化し、いつでも中断できる設計にする",[11,105,106,107,112,113,118],{},"Kubernetesエコシステムでは、この原則をCRD（カスタムリソース定義）として実装したツールが複数存在する。代表格が本記事で扱う",[37,108,111],{"href":109,"rel":110},"https:\u002F\u002Fgithub.com\u002Flitmuschaos\u002Flitmus",[41],"LitmusChaos","で、もう一つの主要な選択肢が",[37,114,117],{"href":115,"rel":116},"https:\u002F\u002Fchaos-mesh.org\u002F",[41],"Chaos Mesh","だ。Chaos MeshはCNCFのIncubatingプロジェクトとして、ラベルベースの対象選択とダッシュボードからの実験作成を強みにしている。どちらもK3s上で問題なく動作するが、本記事ではChaosHub経由で豊富な実験テンプレートを持つLitmusChaosを中心に解説する。",[11,120,121],{},"Kuboが採用するK3sはCNCF認定のKubernetesディストリビューションであり、LitmusChaosやChaos MeshといったCNCFエコシステムのツールをそのまま利用できる。マネージドサービス側で独自のAPIを覚え直す必要がないのは、標準準拠を重視するKuboの設計思想と噛み合っている。",[11,123,124,125,130],{},"K3s環境で注入できる代表的な障害には、Podの強制終了（container-kill）、CPU\u002Fメモリ負荷の付与（pod-cpu-hog \u002F pod-memory-hog）、ネットワーク遅延の注入（pod-network-latency）などがある。いずれも",[37,126,129],{"href":127,"rel":128},"https:\u002F\u002Fwww.redhat.com\u002Fen\u002Fblog\u002Fchaos-engineering-with-litmuschaos",[41],"LitmusChaosの実践ガイド","で紹介されている標準的な実験であり、権限不要で実行できるものと、SecurityContextの調整が必要な高権限実験に分かれる。まずは権限不要な実験から始めるのが安全だ。",[15,132,134],{"id":133},"_3-litmuschaosの基本構成とpod-kill実験の流れ","3. LitmusChaosの基本構成とPod Kill実験の流れ",[11,136,138],{"className":137,"dir":23},[22],[25,139],{"src":140,"alt":28,"width":29,"height":29},"https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-litmuschaos-chaos-engineering-blast-radius\u002Fsection03.webp",[11,142,143,144,148],{},"LitmusChaosは3つのCRDで構成される。",[37,145,147],{"href":109,"rel":146},[41],"公式リポジトリ","によれば、それぞれの役割は明確に分離されている。",[76,150,151,157,163],{},[79,152,153,156],{},[82,154,155],{},"ChaosExperiment",": 特定の障害に関する設定パラメータをまとめたリソース。実行に必要なテンプレートと権限情報を定義する",[79,158,159,162],{},[82,160,161],{},"ChaosEngine",": Kubernetes上のアプリケーション・ノード・インフラコンポーネントと、どの障害を結びつけるかを指定するリソース。実行対象のラベルや検証条件（プローブ）もここで設定する",[79,164,165,168],{},[82,166,167],{},"ChaosResult",": 実験の結果と、障害からの復帰状況を記録するリソース",[11,170,171,172,177,178,183],{},"導入は",[37,173,176],{"href":174,"rel":175},"https:\u002F\u002Fdocs.litmuschaos.io\u002Fdocs\u002Fgetting-started\u002Finstallation",[41],"公式ドキュメント","にある通り、Helmで数コマンドで完了する。K3sは最新カーネルとcgroupマウントさえあれば動く軽量ディストリビューションなので（",[37,179,182],{"href":180,"rel":181},"https:\u002F\u002Fdocs.k3s.io\u002F",[41],"K3s公式ドキュメント","参照）、検証専用のK3sクラスタをまるごと複製するコストは非常に小さい。これはカオス実験を「本番でしか試せない」ものから「気軽に何度も試せる」ものに変える大きな利点だ。",[11,185,186],{},"最小構成のPod Kill実験は、次の流れで設計する。",[188,189,190,198,205,208,211],"ol",{},[79,191,192,193,197],{},"ChaosHubから",[194,195,196],"code",{},"container-kill","実験テンプレートを選択する",[79,199,200,201,204],{},"ChaosEngineで対象アプリケーションのラベル（例: ",[194,202,203],{},"app=my-service","）を指定する",[79,206,207],{},"Blast Radius（同時に影響を与えるPod数の割合）を小さく設定する",[79,209,210],{},"実験を実行し、ChaosResultで定常状態の仮説（エラー率やレイテンシが許容範囲内か）が保たれたかを検証する",[79,212,213],{},"想定外の影響が出た場合は即座に実験を中断し、原因を分析する",[11,215,216,217,221],{},"Kubo Cloudの",[37,218,220],{"href":52,"rel":219},[41],"Captain UI","を使えば、この一連の実験中にPodの再起動状況やリソース使用率をブラックボックスにせず可視化できるため、実験結果の判断がしやすくなる。",[15,223,225],{"id":224},"_4-最初に壊していいワークロード壊してはいけないワークロード","4. 最初に壊していいワークロード、壊してはいけないワークロード",[11,227,229],{"className":228,"dir":23},[22],[25,230],{"src":231,"alt":28,"width":29,"height":29},"https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-litmuschaos-chaos-engineering-blast-radius\u002Fsection04.webp",[11,233,234],{},"カオスエンジニアリングで最も判断を誤りやすいのが、実験対象の選定だ。いきなり本番のクリティカルなワークロードを壊すと、それは検証ではなく単なるインシデントになってしまう。段階的に対象を広げるための目安は次の通りだ。",[236,237,238],"h3",{"id":238},"最初に壊していいワークロード",[76,240,241,247,253],{},[79,242,243,246],{},[82,244,245],{},"ステートレスで複数レプリカが稼働しているサービス",": Deploymentでレプリカ数3以上、かつリクエストが特定のPodに固定されないもの",[79,248,249,252],{},[82,250,251],{},"SLAが厳格でない社内向けバッチ・非同期処理",": 失敗しても再実行が容易で、顧客影響が直接発生しないもの",[79,254,255,258],{},[82,256,257],{},"カナリアリリース中の新バージョン",": 元々一部トラフィックしか受けていないため、影響範囲が自然に限定されている",[236,260,261],{"id":261},"慎重に扱うべきワークロード",[76,263,264,270,276],{},[79,265,266,269],{},[82,267,268],{},"PVCに依存するステートフルワークロード",": データベースやキャッシュなど、Pod再起動がデータ整合性に影響するもの",[79,271,272,275],{},[82,273,274],{},"シングルレプリカで稼働しているサービス",": 冗長化されていないため、実験がそのままダウンタイムに直結する",[79,277,278,281],{},[82,279,280],{},"ネットワークポリシーやIngress制御と密結合したコンポーネント",": 障害注入の影響が想定より広く波及しやすい",[11,283,284,285,288],{},"このロードマップの本質は、Blast Radiusを小さく保ったまま「壊しても学びが得られる」対象から始め、チームがLitmusChaosの実験プロセスに習熟してから徐々に対象を広げていくことにある。",[37,286,117],{"href":115,"rel":287},[41],"のようにRBACをデフォルトで有効にするツールを選ぶ場合も、権限設計そのものが最初の対象選定と一体で検討されるべきだ。",[11,290,291,292,295],{},"K3sベースで環境を安価に複製できれば、この「慎重に扱うべきワークロード」層についても、本番相当のステージング環境上でリハーサルを重ねてから本番実験に臨むという選択肢が現実的になる。EKSやAKSでは環境複製のコストが心理的なハードルになりがちだが、",[37,293,54],{"href":52,"rel":294},[41],"ならK3sの軽量性を活かして検証環境を柔軟に増減できる。",[15,297,298],{"id":298},"まとめ",[11,300,301],{},"監視とアラートは、障害が起きたことを教えてくれる。しかしシステムが本当に障害に耐えられるかどうかは、実際に壊してみるまで分からない。カオスエンジニアリングは、この検証を「起きてから」ではなく「起きる前に」計画的に行うためのプラクティスであり、LitmusChaosのようなCNCFプロジェクトを使えばK8sネイティブな宣言的リソースとして実装できる。",[11,303,304],{},"重要なのは、最初からすべてを壊そうとしないことだ。ステートレスで冗長化されたワークロードから始め、Blast Radiusを小さく保ちながら、チームとシステムの両方が実験に慣れていくプロセスを設計する。K3sの軽量さは、この検証サイクルを回すコストを下げてくれる実務的な利点になる。",[11,306,307,308,313],{},"耐障害性の検証環境を用意すること自体がハードルになっているなら、まずは",[37,309,312],{"href":310,"rel":311},"https:\u002F\u002Fwww.hexabase.com\u002Fcontact-us\u002F",[41],"お問い合わせ","から、K3sベースで本番相当の環境を安価に複製できるKuboの構成を相談してみてほしい。監視だけに頼らない、壊して確かめる運用への第一歩になるはずだ。",{"title":28,"searchDepth":315,"depth":315,"links":316},2,[317,318,319,320,325],{"id":17,"depth":315,"text":18},{"id":58,"depth":315,"text":59},{"id":133,"depth":315,"text":134},{"id":224,"depth":315,"text":225,"children":321},[322,324],{"id":238,"depth":323,"text":238},3,{"id":261,"depth":323,"text":261},{"id":298,"depth":315,"text":298},"2026-09-04","K3s本番環境の耐障害性は、実際に壊れてからでないと分からない。監視やアラートは「壊れた後」を検知する仕組みに過ぎない。CNCFのLitmusChaosを使ったカオスエンジニアリングの始め方と、最初に壊していいワークロード・壊してはいけないワークロードの見極め方をK3s環境の実例で解説する。","md","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-litmuschaos-chaos-engineering-blast-radius\u002Feyecatch.webp","ja",{},true,"\u002Fblog\u002Fja\u002Fk3s-litmuschaos-chaos-engineering-blast-radius",{"title":5,"description":327},"blog\u002Fja\u002Fk3s-litmuschaos-chaos-engineering-blast-radius",[337,338,339,340,341,342],"k3s","kubernetes","chaos-engineering","litmuschaos","resilience","sre","0hssTEF5Ga-iDiIr8qDX8QErx592qQBVllEPv6DoQY8",[345,354,362,370,380,389],{"path":346,"title":347,"description":348,"date":349,"tags":350},"\u002Fblog\u002Fja\u002Fk3s-cronjob-silent-failure-concurrencypolicy-missed-schedule","CronJobは緑のまま、24日間何もしていなかった。K3sで実行が静かに止まる4つの罠","K3s\u002FKubernetesのCronJobは「Succeeded」表示のまま実行されないことがある。concurrencyPolicy・startingDeadlineSeconds・100回ミス上限・Exit Code 0が重なって起きる静かな失敗の仕組みと監視での防ぎ方を解説する。","2026-09-16",[337,338,351,352,353,342],"cronjob","concurrencypolicy","monitoring",{"path":355,"title":356,"description":357,"date":358,"tags":359},"\u002Fblog\u002Fja\u002Fkubernetes-high-availability-broadcast-seamless-switching","「同じ映像を2回送って、早く着いた方を使う。」放送業界の非常識がKubernetesの高可用性設計そのものだった件","ワールドカップ放送は同じ映像を2つの経路で二重送信し、早く着いた方だけを使う。この一見無駄な冗長化がKubernetesの高可用性設計・マルチAZ構成と同じ思想である理由を解説する。","2026-08-05",[337,338,360,361,342],"high-availability","multi-az",{"path":363,"title":364,"description":365,"date":366,"tags":367},"\u002Fblog\u002Fja\u002Fbroadcast-redundancy-kubernetes-high-availability-design","FIFAワールドカップの中継は、なぜ絶対に途切れないのか。放送業界の二重伝送に学ぶKubernetesの本当の高可用性設計","Kubernetesの高可用性は「レプリカを増やす」だけでは実現しない。放送業界のSMPTE ST 2022-7二重伝送技術を手がかりに、Topology Spread ConstraintsとマルチAZ設計の本質を解説する。","2026-07-20",[338,337,360,368,342,369],"topology-spread-constraints","managed-kubernetes",{"path":371,"title":372,"description":373,"date":374,"tags":375},"\u002Fblog\u002Fja\u002Fk3s-longhorn-openebs-mayastor-storage-selection","Longhornで十分か、OpenEBS Mayastorが要るか。K3sストレージ選定を性能要件で決める","K3sのストレージ、まだ「とりあえずLonghorn」で決めていませんか。LonghornとOpenEBS Mayastorをハードウェア要件・レプリカ構成・性能特性という4つの軸で徹底比較し、本番導入前に後悔しない選定基準をチェックリスト形式でわかりやすく解説します。","2026-11-15",[337,338,376,377,378,379],"longhorn","openebs","mayastor","storage",{"path":381,"title":382,"description":383,"date":384,"tags":385},"\u002Fblog\u002Fja\u002Fk3s-proxmox-ceph-csi-rbd-multiattach-node-maintenance","Multi-Attach error for volume。ProxmoxのK3s+Ceph CSIでノードメンテ前に知っておくべきRBDロックの罠","Proxmox上のK3sでノードをdrainしたら、Ceph CSI(RBD)のPVがMulti-Attach errorでPending化した。原因はexclusive lockとwatcherの残存、フェンシングのレース条件。復旧コマンドとNetworkFenceによる恒久対策を解説する。","2026-11-14",[337,338,386,387,388,379],"proxmox","ceph-csi","rbd",{"path":390,"title":391,"description":392,"date":393,"tags":394},"\u002Fblog\u002Fja\u002Fproxmox-corosync-self-fencing-k3s-etcd-quorum","2台のProxmoxで組んだK3sクラスタが、ネットワークの瞬断で同時に全滅した。原因はCorosyncのself-fencingだった","2台のProxmoxホストでK3sクラスタを運用していたら、数秒のネットワーク瞬断でホストごとリブートし、K3sのetcd quorumまで巻き込まれて全滅した。原因のCorosync self-fencingと、ノード配置設計での再発防止策を解説する。","2026-11-11",[337,338,386,395,360,396],"etcd","quorum",1794902463550]