[{"data":1,"prerenderedAt":337},["ShallowReactive",2],{"blog-ja-proxmox-corosync-self-fencing-k3s-etcd-quorum":3,"blog-related-ja-proxmox-corosync-self-fencing-k3s-etcd-quorum":289,"blog-ja-proxmox-corosync-self-fencing-k3s-etcd-quorum-alt":277},{"id":4,"title":5,"author":6,"body":7,"date":271,"description":272,"extension":273,"image":274,"locale":275,"meta":276,"navigation":277,"path":278,"seo":279,"stem":280,"tags":281,"__hash__":288},"blog\u002Fblog\u002Fja\u002Fproxmox-corosync-self-fencing-k3s-etcd-quorum.md","2台のProxmoxで組んだK3sクラスタが、ネットワークの瞬断で同時に全滅した。原因はCorosyncのself-fencingだった","Kubo Team",{"type":8,"value":9,"toc":260},"minimark",[10,15,23,26,29,40,44,50,59,67,70,78,82,88,102,118,121,129,135,144,176,184,188,194,201,234,237,240,243],[11,12,14],"h2",{"id":13},"_1-障害の発端-ネットワークが数秒落ちただけでk3sクラスタ全体が止まった","1. 障害の発端 — ネットワークが数秒落ちただけで、K3sクラスタ全体が止まった",[16,17,18],"p",{},[19,20],"img",{"alt":21,"src":22},"section01","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fja\u002Fproxmox-corosync-self-fencing-k3s-etcd-quorum\u002Fsection01.webp",[16,24,25],{},"Proxmox上でK3sの本番クラスタを自前運用していたある環境で、こんな障害が起きました。ネットワーク機器の再起動に伴う数秒の瞬断。それだけのはずが、戻ってきたときにはK3sのAPIサーバーに一切繋がらなくなっていたのです。",[16,27,28],{},"調べてみると、K3s serverノードは3台構成で、etcdのquorum（過半数合意）を確保するために意図的に奇数台にしていました。設計としては間違っていません。しかし3台のVMは、2台のProxmoxホストに「2台・1台」という配置で同居していました。ここに見落としがありました。",[16,30,31,32,39],{},"ネットワーク瞬断でProxmox側のクラスタ通信（Corosync）がquorumを失い、2台居住していたホストの方が",[33,34,38],"a",{"href":35,"rel":36},"https:\u002F\u002Fpve.proxmox.com\u002Fwiki\u002FHigh_Availability",[37],"nofollow","Proxmox VE公式のHigh Availabilityドキュメント","に書かれている watchdog ベースの self-fencing によってリブートしました。その結果、そのホスト上にいたK3s serverノード2台が同時に消え、K3s側のetcd quorumも3台中1台残りという過半数割れの状態に陥ったのです。",[11,41,43],{"id":42},"_2-なぜ奇数ノードにしたから安全では足りなかったのか","2. なぜ「奇数ノードにしたから安全」では足りなかったのか",[16,45,46],{},[19,47],{"alt":48,"src":49},"section02","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fja\u002Fproxmox-corosync-self-fencing-k3s-etcd-quorum\u002Fsection02.webp",[16,51,52,53,58],{},"K3sの組み込みetcdは、サーバーノードを奇数（3台または5台）にし、過半数が生きていれば動き続けるという設計です。",[33,54,57],{"href":55,"rel":56},"https:\u002F\u002Foneuptime.com\u002Fblog\u002Fpost\u002F2026-03-20-k3s-embedded-ha-etcd\u002Fmarkdown",[37],"K3sの組み込みHA(etcd)構成に関するガイド","でも、3台構成なら1台の障害に耐え、5台構成なら2台の障害に耐えられるとされています。またサーバーノード間は10ミリ秒未満の低遅延ネットワークが推奨されています。",[16,60,61,62,66],{},"この設計は「K3sのノードが独立して壊れる」ことを前提にしています。ところが実際には、VMである以上、K3sのノードは必ず何らかの物理ホスト（この場合はProxmox）の上で動いています。",[63,64,65],"strong",{},"K3s側のquorum設計と、Proxmox側のquorum設計は別のレイヤーですが、ノードの配置を通じて結びついてしまう","のです。",[16,68,69],{},"2台のホストに3台のK3sノードを2:1で振り分けていた場合、「ホストが1台落ちる」という一見ありふれた障害が、そのままK3s側の「ノードが2台同時に落ちる」という、本来想定していなかった障害に変わります。奇数ノードにしていたこと自体は正しくても、配置設計が別の弱点を作っていたわけです。",[16,71,72,77],{},[33,73,76],{"href":74,"rel":75},"https:\u002F\u002Fkubo.hexabase.io\u002F",[37],"Kubo","のようなマネージドK3s基盤であれば、こうしたホスト層とKubernetes層をまたぐノード配置の設計は、運用者が個別に気にしなくても標準でカバーされています。",[11,79,81],{"id":80},"_3-犯人はcorosyncのself-fencing-2ノードproxmoxクラスタの構造的な弱点","3. 犯人はCorosyncのself-fencing — 2ノードProxmoxクラスタの構造的な弱点",[16,83,84],{},[19,85],{"alt":86,"src":87},"section03","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fja\u002Fproxmox-corosync-self-fencing-k3s-etcd-quorum\u002Fsection03.webp",[16,89,90,91,96,97,101],{},"Proxmoxのクラスタ管理は",[33,92,95],{"href":93,"rel":94},"https:\u002F\u002Fwww.mankier.com\u002F3\u002Fvotequorum_overview",[37],"Corosync","の多数派合意（quorum）で成り立っています。Proxmox VE公式ドキュメントには、「クラスタのロックが機能するためにはquorumの形成が必要で、quorumが失われている間、ノードはwatchdogをリセットできず、watchdogタイマーが切れると60秒後にホスト全体がリブートする」と明記されています（",[33,98,100],{"href":35,"rel":99},[37],"Proxmox VE High Availability","）。",[16,103,104,105,108,109,112,113,101],{},"2ノード構成では、この仕組みが構造的な弱点になります。3ノードなら1台の障害でも残り2台で過半数（3票中2票）を維持できますが、2ノードでは1台が見えなくなった瞬間、残りの1台は2票中1票しか持てず、quorumを失います。Proxmoxのフォーラムには、片方のノードが再起動すると",[63,106,107],{},"約60秒後にもう片方のノードもwatchdog expirationでリブートする","という報告や、ネットワーク機器の再起動のような全体的な瞬断で",[63,110,111],{},"両ノードが同時にself-fencingされた","という報告が複数投稿されています（",[33,114,117],{"href":115,"rel":116},"https:\u002F\u002Fforum.proxmox.com\u002Fthreads\u002F2-node-cluster-watchdog-expire-reboot.60979\u002F",[37],"Proxmoxコミュニティフォーラム",[16,119,120],{},"split-brain（スプリットブレイン）を避けるための安全装置が、ノード配置次第ではクラスタ全体を道連れにする引き金にもなる、という逆説がここにあります。",[11,122,124,125],{"id":123},"_4-復旧と応急処置-qdeviceとcluster-reset","4. 復旧と応急処置 — QDeviceと",[126,127,128],"code",{},"cluster-reset",[16,130,131],{},[19,132],{"alt":133,"src":134},"section04","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fja\u002Fproxmox-corosync-self-fencing-k3s-etcd-quorum\u002Fsection04.webp",[16,136,137,138,143],{},"Proxmox側の構造的な対策は、",[33,139,142],{"href":140,"rel":141},"https:\u002F\u002Fdocumentation.suse.com\u002Fsle-ha\u002F15-SP2\u002Fhtml\u002FSLE-HA-all\u002Fcha-ha-qdevice.html",[37],"QDevice（corosync-qdevice \u002F corosync-qnetd）","の導入です。2ノードクラスタの外部に独立したホストを置き、そこから3票目の投票権を与えることで、ノードが1台落ちても残りの1台が2票中2票を確保でき、quorumを維持できます。これは偶数ノードクラスタ、特に2ノードクラスタに対して推奨される標準的な構成です。",[16,145,146,147,150,151,156,157,160,161,166,167,172,173,175],{},"一方、万が一K3s側のetcd quorumまで割れてしまった場合は、",[126,148,149],{},"k3s server --cluster-reset"," が復旧の入口になります。",[33,152,155],{"href":153,"rel":154},"https:\u002F\u002Fdocs.k3s.io\u002Fcli\u002Fserver",[37],"K3s公式のサーバーCLIリファレンス","によれば、このフラグは「全ピアを忘れ、新しいクラスタの単独メンバーとして起動し直す」非破壊的なリセットです。ただし注意点があります。復元時に元の",[126,158,159],{},"--node-ip","設定と食い違うIPを使うと、",[33,162,165],{"href":163,"rel":164},"https:\u002F\u002Fgithub.com\u002Fk3s-io\u002Fk3s\u002Fissues\u002F5070",[37],"K3sの公式GitHubリポジトリに寄せられた同種の報告","にあるように、ネットワーク経路の不一致自体が新たな不安定要因になり得ます。",[33,168,171],{"href":169,"rel":170},"https:\u002F\u002Fforums.suse.com\u002Ft\u002Fk3s-w-etcd-fails-to-restart-after-ip-change\u002F42496",[37],"SUSE Forumsに投稿された実例","でも、「このサーバーはetcdクラスタのメンバーではない」というエラーがIPの不一致から発生することが確認されています。",[126,174,159],{},"はコマンドラインで都度指定するより、config.yamlに固定で書いておく方が復旧時の事故を防げます。",[16,177,178,183],{},[33,179,182],{"href":180,"rel":181},"https:\u002F\u002Fwww.hexabase.com\u002Fproduct\u002Fkubo\u002Fon-premise",[37],"Kubo On-Premise","なら、こうしたquorum喪失時の復旧手順自体が標準運用に組み込まれており、障害発生時に手順書とコマンドを突き合わせる作業から解放されます。",[11,185,187],{"id":186},"_5-本当の再発防止策-ノード配置とクラスタリング設計を分離して考える","5. 本当の再発防止策 — ノード配置とクラスタリング設計を分離して考える",[16,189,190],{},[19,191],{"alt":192,"src":193},"section05","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fja\u002Fproxmox-corosync-self-fencing-k3s-etcd-quorum\u002Fsection05.webp",[16,195,196,197,200],{},"今回の障害の本質は、Proxmoxのフォーラムが指摘するような「2ノードクラスタ固有の弱点」そのものではなく、",[63,198,199],{},"ホスト層のquorum設計とKubernetes層のquorum設計を、別の問題として独立に検討していなかったこと","にあります。再発防止のポイントは次の3つです。",[202,203,204,211,222],"ul",{},[205,206,207,210],"li",{},[63,208,209],{},"ノード分散",": K3s serverノードは、最低3台のProxmoxホストに1台ずつ分散配置する。2台のホストに偏らせない",[205,212,213,216,217,221],{},[63,214,215],{},"固定の登録アドレス",": サーバーノード群の前段にVIPやロードバランサーを置き、特定ノードのIPに依存しない構成にする（",[33,218,220],{"href":55,"rel":219},[37],"K3s embedded HA構成ガイド","）",[205,223,224,227,228,233],{},[63,225,226],{},"タイムアウト設計の理解",": etcdのデフォルトはheartbeat-interval 100ミリ秒、election-timeout 1000ミリ秒です。",[33,229,232],{"href":230,"rel":231},"https:\u002F\u002Fetcd.io\u002Fdocs\u002Fv3.6\u002Ftuning\u002F",[37],"etcd公式のtuningドキュメント","では、election-timeoutはメンバー間のラウンドトリップタイムの10倍以上に設定すべきとされています。ネットワーク遅延がこの余裕を超えると、不要なリーダー選出が走り、クラスタが一時的に不安定化する一因になります",[16,235,236],{},"Proxmoxのquorum設計も、K3sのetcd quorum設計も、単体で見れば公式ドキュメント通りに正しく組めます。問題は、その2つを同時に成立させるための「ノード配置」という交差点を、どちらのドキュメントも単独では教えてくれないことです。",[11,238,239],{"id":239},"まとめ",[16,241,242],{},"奇数ノードでetcdのquorumを確保していても、その土台となるProxmoxホスト自体の台数とノードの配置を設計していなければ、ハイパーバイザー層の障害がそのままKubernetesクラスタの障害に直結します。Proxmoxのself-fencingは本来split-brainを防ぐための安全機構ですが、2ノード構成かつノード配置を誤ると、安全機構自体が障害の引き金になり得ます。",[16,244,245,246,249,250,253,254,259],{},"自前でProxmox+K3sを運用する以上、ホスト台数・QDeviceの要否・K3sノードの配置・タイムアウト設計のすべてを自分で整合させる必要があります。",[33,247,76],{"href":74,"rel":248},[37],"はK3sベースのマネージドKubernetesとして、こうした可用性設計をあらかじめ組み込んだ状態で提供しており、オンプレミス環境でも",[33,251,182],{"href":180,"rel":252},[37],"として同様の設計を引き継げます。自前運用の複雑さを減らしたいと考えているなら、",[33,255,258],{"href":256,"rel":257},"https:\u002F\u002Fwww.hexabase.com\u002Fcontact-us\u002F",[37],"お問い合わせ","から構成の相談も可能です。",{"title":261,"searchDepth":262,"depth":262,"links":263},"",2,[264,265,266,267,269,270],{"id":13,"depth":262,"text":14},{"id":42,"depth":262,"text":43},{"id":80,"depth":262,"text":81},{"id":123,"depth":262,"text":268},"4. 復旧と応急処置 — QDeviceとcluster-reset",{"id":186,"depth":262,"text":187},{"id":239,"depth":262,"text":239},"2026-11-11","2台のProxmoxホストでK3sクラスタを運用していたら、数秒のネットワーク瞬断でホストごとリブートし、K3sのetcd quorumまで巻き込まれて全滅した。原因のCorosync self-fencingと、ノード配置設計での再発防止策を解説する。","md","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fja\u002Fproxmox-corosync-self-fencing-k3s-etcd-quorum\u002Ftitle.webp","ja",{},true,"\u002Fblog\u002Fja\u002Fproxmox-corosync-self-fencing-k3s-etcd-quorum",{"title":5,"description":272},"blog\u002Fja\u002Fproxmox-corosync-self-fencing-k3s-etcd-quorum",[282,283,284,285,286,287],"k3s","kubernetes","proxmox","etcd","high-availability","quorum","hvyWvmgnW5kCL0jTvP3XvES9gGQtB_NpXy1bvTCEC3g",[290,297,304,312,320,328],{"path":291,"title":292,"description":293,"date":294,"tags":295},"\u002Fblog\u002Fja\u002Fk3s-proxmox-live-migration-etcd-quorum-affinity-design","Proxmoxのライブマイグレーションで、K3sのetcdクォーラムが静かに崩れる。仮想化とRaftが衝突する設計","Proxmox上のK3sコントロールプレーンVMをライブマイグレーションした際にetcdクォーラムが崩れる仕組みを、heartbeat\u002Felection-timeoutとProxmoxのaffinity設計から解説。実運用で使える具体的な対策手順を紹介する。","2026-09-09",[282,283,284,285,296,286],"live-migration",{"path":298,"title":299,"description":300,"date":301,"tags":302},"\u002Fblog\u002Fja\u002Fk3s-kubeadm-ha-etcd-failover-rto-gap","RTO30秒のはずが3分止まった。K3sとkubeadmのHA構成で\"カタログ値\"と\"実運用\"がズレる理由","K3sのembedded etcdとkubeadmのstacked\u002Fexternal etcd、HA構成のフェイルオーバーは実際どれだけ時間がかかるのか。公式ドキュメントのRTO目安と実運用の体感時間のギャップを、障害ドメインの分離・必要ノード数の違いから検証する。","2026-10-09",[282,283,285,286,303],"kubeadm",{"path":305,"title":306,"description":307,"date":308,"tags":309},"\u002Fblog\u002Fja\u002Fk3s-etcd-snapshot-restore-token-cluster-reset-pitfalls","自動etcdスナップショットは毎日取れていた。K3sのリストアが本番障害で動かなかった理由","K3sのetcdスナップショットは正常に取れていたのに、本番障害でリストアが失敗した——トークン管理、S3リストア事故、cluster-resetの落とし穴という3つの実例から、embedded etcdバックアップの本当のリスクを解説する。","2026-09-21",[282,283,285,310,311,286],"backup-restore","disaster-recovery",{"path":313,"title":314,"description":315,"date":316,"tags":317},"\u002Fblog\u002Fja\u002Fk3s-proxmox-storage-expansion-sata-scsi-pitfall","Proxmoxのディスクを無停止で拡張したつもりが、K3sノードには反映されなかった。SATAコントローラという見落とし","Proxmoxで本番運用中のK3sクラスタのストレージが逼迫した時、無停止で拡張したつもりが反映されない典型的な原因(ディスクコントローラ設定)と、CephでOSDを追加する際にK3sのetcdクォーラムが受ける影響、公式ドキュメントに基づく正しい拡張手順を具体的に解説する。","2026-09-17",[282,283,284,318,319,285],"storage","ceph",{"path":321,"title":322,"description":323,"date":324,"tags":325},"\u002Fblog\u002Fja\u002Fk3s-proxmox-ceph-csi-rbd-multiattach-node-maintenance","Multi-Attach error for volume。ProxmoxのK3s+Ceph CSIでノードメンテ前に知っておくべきRBDロックの罠","Proxmox上のK3sでノードをdrainしたら、Ceph CSI(RBD)のPVがMulti-Attach errorでPending化した。原因はexclusive lockとwatcherの残存、フェンシングのレース条件。復旧コマンドとNetworkFenceによる恒久対策を解説する。","2026-11-14",[282,283,284,326,327,318],"ceph-csi","rbd",{"path":329,"title":330,"description":331,"date":332,"tags":333},"\u002Fblog\u002Fja\u002Fk3s-vs-microk8s-ha-etcd-dqlite-edge-production","K3sとMicroK8s、同じ\"軽量\"でも本番で勝つのはどちらか。dqliteとetcdが分けるHA構成の分岐点","K3sとMicroK8s、同じ軽量Kubernetesでも本番運用の明暗を分けるのはHA構成だ。K3sのembedded etcdとMicroK8sのdqlite、それぞれの最小RAM要件・アーキテクチャの違いを公式ドキュメントのデータで比較し、選定基準を解説する。","2026-10-25",[282,334,283,286,335,336],"microk8s","edge-computing","comparison",1794902482897]