[{"data":1,"prerenderedAt":332},["ShallowReactive",2],{"blog-ja-k3s-proxmox-live-migration-etcd-quorum-affinity-design":3,"blog-related-ja-k3s-proxmox-live-migration-etcd-quorum-affinity-design":284,"blog-ja-k3s-proxmox-live-migration-etcd-quorum-affinity-design-alt":272},{"id":4,"title":5,"author":6,"body":7,"date":266,"description":267,"extension":268,"image":269,"locale":270,"meta":271,"navigation":272,"path":273,"seo":274,"stem":275,"tags":276,"__hash__":283},"blog\u002Fblog\u002Fja\u002Fk3s-proxmox-live-migration-etcd-quorum-affinity-design.md","Proxmoxのライブマイグレーションで、K3sのetcdクォーラムが静かに崩れる。仮想化とRaftが衝突する設計","Kubo Team",{"type":8,"value":9,"toc":255},"minimark",[10,15,23,31,34,38,44,55,74,77,81,87,96,105,109,115,122,129,138,142,148,156,174,183,187,193,200,219,228,232,235],[11,12,14],"h2",{"id":13},"_1-深夜のメンテナンスで起きたこと-ライブマイグレーション後にpodが増えなくなった","1. 深夜のメンテナンスで起きたこと — ライブマイグレーション後にPodが増えなくなった",[16,17,18],"p",{},[19,20],"img",{"alt":21,"src":22},"section01","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-proxmox-live-migration-etcd-quorum-affinity-design\u002Fsection01.webp",[16,24,25,26,30],{},"Proxmox VE上でK3sのコントロールプレーンVMをライブマイグレーションした直後、K3sクラスタのetcdクォーラムが数分間崩れ、Podのスケジューリングが完全に止まった——という報告は珍しくない。ホストのファームウェア更新のためにVMを退避させただけのはずが、",[27,28,29],"code",{},"kubectl get pods"," が応答しなくなり、負荷が上がっているのにHPAが一切反応しない。障害復旧後にログを見ると、その数分間だけetcdのリーダーが不在になっていた。",[16,32,33],{},"厄介なのは、ProxmoxにもK3sにも「壊れた」と明示するエラーが出にくいことだ。ライブマイグレーションは仕様通り完了し、K3s側も一定時間後には自己回復するため、「たまたま一時的に重かっただけ」と片付けられ、同じ障害が再発しやすい。この記事では、なぜこの組み合わせが構造的に起こりうるのかを、Proxmoxの仮想化機構とetcdの合意形成アルゴリズムの両面から整理する。",[11,35,37],{"id":36},"_2-なぜ無停止のはずのライブマイグレーションがetcdを壊すのか","2. なぜ「無停止」のはずのライブマイグレーションがetcdを壊すのか",[16,39,40],{},[19,41],{"alt":42,"src":43},"section02","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-proxmox-live-migration-etcd-quorum-affinity-design\u002Fsection02.webp",[16,45,46,47,54],{},"Proxmox VEの",[48,49,53],"a",{"href":50,"rel":51},"https:\u002F\u002Fpve.proxmox.com\u002Fwiki\u002FHigh_Availability",[52],"nofollow","High Availability機能","は、クラスタ全体をCorosyncによる多数決（クォーラム）で管理しており、ノード障害時にはHA Managerがリソースを別ノードで自動的に再起動する仕組みを持つ。ライブマイグレーション自体は「メモリの内容をネットワーク経由で転送してから切り替える」という方式のため、VMを停止してから再起動するrelocateよりも安全に見えるが、転送中はホストのネットワーク帯域やCPUスケジューリングに一時的な負荷がかかる。",[16,56,57,58,63,64,67,68,73],{},"一方、K3sの",[48,59,62],{"href":60,"rel":61},"https:\u002F\u002Fdocs.k3s.io\u002Fdatastore\u002Fha-embedded",[52],"組み込みetcdによるHA構成","は、奇数台（最小3台）のサーバーノードでクォーラム",[27,65,66],{},"(n\u002F2)+1","を維持する設計だ。etcdはRaftという合意形成アルゴリズムでリーダーを選出しており、その生死判定は極めてシビアな時間管理に依存する。",[48,69,72],{"href":70,"rel":71},"https:\u002F\u002Fetcd.io\u002Fdocs\u002Fv3.4\u002Ftuning\u002F",[52],"etcd公式のチューニングガイド","によれば、デフォルトのheartbeat-intervalは100ミリ秒、election-timeoutは1000ミリ秒だ。つまり100ミリ秒ごとに届くはずのハートビートが1000ミリ秒以上途絶えると、フォロワーは「リーダーが死んだ」と判断し新しい選挙を始めてしまう。",[16,75,76],{},"ライブマイグレーション中にコントロールプレーンVMのネットワークがわずかに詰まったり、vCPUスケジューリングが遅延したりすると、この猶予はあっさり超過しうる。仮想化基盤の「無停止」と、分散合意アルゴリズムの「生存確認」は、まったく別の時間軸で設計されているのだ。",[11,78,80],{"id":79},"_3-ディスクioというもう一つの盲点-fsyncレイテンシとetcdの安定性","3. ディスクI\u002FOというもう一つの盲点 — fsyncレイテンシとetcdの安定性",[16,82,83],{},[19,84],{"alt":85,"src":86},"section03","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-proxmox-live-migration-etcd-quorum-affinity-design\u002Fsection03.webp",[16,88,89,90,95],{},"タイムアウトの問題は、ネットワークだけでなくディスクI\u002FOでも起こる。etcdはRaftログをディスクに同期書き込み（fsync）してからでないとコミットできない設計で、",[48,91,94],{"href":92,"rel":93},"https:\u002F\u002Fetcd.io\u002Fdocs\u002Fv3.3\u002Fop-guide\u002Fhardware\u002F",[52],"etcd公式のハードウェア推奨事項","は負荷の高いクラスタに最低500 IOPS相当のディスク性能を求め、「書き込みに時間がかかりすぎるとハートビートがタイムアウトし、選挙を誘発してクラスタの安定性を損なう」と明言している。ディスク遅延がそのままリーダーの生死判定に直結する構造だ。",[16,97,98,99,104],{},"Proxmoxのライブマイグレーション自体はメモリ転送が中心だが、共有ストレージや他VMと競合する低速な仮想ディスクを使っていると、マイグレーション前後のI\u002FO負荷増加でfsyncレイテンシが悪化しやすい。実際",[48,100,103],{"href":101,"rel":102},"https:\u002F\u002Fwww.cncf.io\u002Fblog\u002F2026\u002F03\u002F12\u002Fmaking-etcd-incidents-easier-to-debug-in-production-kubernetes\u002F",[52],"CNCFのブログ","でも、本番etcdインシデントの多くはディスクI\u002FOレイテンシやメンバー間RTTの悪化が引き金であり、根本原因の特定にはWALのfsync時間の継続的な監視が欠かせないと指摘されている。",[11,106,108],{"id":107},"_4-proxmox側の設計対策-negative-affinityとストレージ要件","4. Proxmox側の設計対策 — negative affinityとストレージ要件",[16,110,111],{},[19,112],{"alt":113,"src":114},"section04","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-proxmox-live-migration-etcd-quorum-affinity-design\u002Fsection04.webp",[16,116,117,118,121],{},"まず取り組むべきはProxmox側の配置設計だ。Proxmox VEはresource affinityルールでVMの配置を制御でき、",[27,119,120],{},"ha-manager rules add resource-affinity keep-separate","のようなnegative affinity設定により、K3sのコントロールプレーンVM同士を物理的に別ホストへ強制分散できる。3台のコントロールプレーンVMが同じ物理ホストに乗っていると、そのホスト1台のメンテナンスだけでetcdクォーラム（3台中2台以上が必要）を割ってしまうリスクが跳ね上がる。",[16,123,124,125,128],{},"ストレージについては、共有ストレージのI\u002FO競合を避けるためコントロールプレーンVM専用の高速なブロックデバイスを割り当て、フェイルオーバー時も遅延が10ミリ秒を大きく超えないよう監視したい。また移行前に",[27,126,127],{},"etcdctl endpoint status --cluster","で現在のetcdリーダーを確認し、リーダーVMを最後に移行する（あるいは事前にリーダーシップを移譲する）運用ルールを設けるだけでも、影響時間を大きく短縮できる。",[16,130,131,132,137],{},"こうしたaffinity設計やストレージ要件の見積もりは、セルフホストのK3s運用では見落とされがちな“隠れた前提条件”だ。",[48,133,136],{"href":134,"rel":135},"https:\u002F\u002Fwww.hexabase.com\u002Fproduct\u002Fkubo\u002Fon-premise",[52],"Kubo On-Premise","であれば、Proxmoxのようなオンプレミス仮想化基盤の上でも、コントロールプレーンの配置設計やストレージ要件を標準構成として組み込んだ形でフルマネージドK8sを提供できる。",[11,139,141],{"id":140},"_5-etcd側の設計対策-heartbeatelection-timeoutを実測値でチューニングする","5. etcd側の設計対策 — heartbeat\u002Felection-timeoutを実測値でチューニングする",[16,143,144],{},[19,145],{"alt":146,"src":147},"section05","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-proxmox-live-migration-etcd-quorum-affinity-design\u002Fsection05.webp",[16,149,150,151,155],{},"もう一つの対策は、etcd自体のタイムアウトパラメータを仮想化基盤の実測特性に合わせてチューニングすることだ。",[48,152,154],{"href":70,"rel":153},[52],"etcdのチューニングガイド","は、election-timeoutをメンバー間のRTTの最低10倍に設定することを推奨しており、fsyncレイテンシが不安定な環境ではこの係数をさらに引き上げる。デフォルト値のまま仮想化基盤に載せると、ライブマイグレーション中の一時的な遅延に対する耐性が低くなりすぎる。",[16,157,158,159,167,168,173],{},"監視面では",[48,160,163,166],{"href":161,"rel":162},"https:\u002F\u002Fetcd.io\u002Fdocs\u002Fv3.4\u002Ffaq\u002F",[52],[27,164,165],{},"wal_fsync_duration_seconds","のp99が10ミリ秒を超えないか","継続確認し、閾値超過でアラートを上げる運用が有効だ。似た問題は仮想化基盤に限らず起きており、大規模クラスタ管理ツールのkopsでも",[48,169,172],{"href":170,"rel":171},"https:\u002F\u002Fgithub.com\u002Fkubernetes\u002Fkops\u002Fissues\u002F2235",[52],"etcdクォーラム喪失によるクラスタ停止が報告されている","。etcdの合意形成メカニズム自体が、基盤の種類を問わずI\u002FO・ネットワークの一時的な乱れに敏感であることの傍証だ。",[16,175,176,177,182],{},"こうしたパラメータ調整とメトリクス監視を自前で設計・運用し続けるのは片手間でできる作業ではない。",[48,178,181],{"href":179,"rel":180},"https:\u002F\u002Fkubo.hexabase.io\u002F",[52],"Kubo Cloud","のCaptain UIなら、コントロールプレーンの健全性指標を可視化した状態で運用でき、チューニングの勘所を毎回調べ直す必要がなくなる。",[11,184,186],{"id":185},"_6-それでも壊れた時の復旧手順と壊さないための運用ルール","6. それでも壊れた時の復旧手順と、壊さないための運用ルール",[16,188,189],{},[19,190],{"alt":191,"src":192},"section06","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-proxmox-live-migration-etcd-quorum-affinity-design\u002Fsection06.webp",[16,194,195,196,199],{},"対策を講じてもなお、複数のコントロールプレーンVMを同時に動かすオペレーション（ネットワーク変更やまとめての移行）を行うと、クォーラムが崩れることがある。K3sクラスタのノードをネットワークセグメント変更に伴い同時に複数台動かしてしまい、",[27,197,198],{},"etcd: cluster ID mismatch","のようなエラーで制御プレーンが停止した事例も報告されている。この種の障害は、1台ずつetcdのシングルノードクラスタとしてリセットし、残りを順番に再参加させる手順で復旧させることになる。",[16,201,202,203,207,208,212,213,218],{},"教訓はシンプルだ。",[204,205,206],"strong",{},"複数のetcdメンバーに影響する変更（ネットワーク変更・ライブマイグレーション・OS更新など）を同時に複数台へ適用しない","こと。1ノードずつ変更し、都度状態を確認してから次に進む運用ルールを徹底するだけで、この種の障害の大半は回避できる。Proxmox自体もクォーラムを失うと",[48,209,211],{"href":50,"rel":210},[52],"HA Managerがウォッチドッグをリセットできず60秒後に自動フェンスが発生する","ため、",[48,214,217],{"href":215,"rel":216},"https:\u002F\u002Fforum.proxmox.com\u002Fthreads\u002Fanother-cluster-not-ready-no-quorum-500-case.56104\u002F",[52],"ネットワーク経路の冗長化やQDeviceの併用","も合わせて見直したい。",[16,220,221,222,227],{},"DNSベースの単純なロードバランシングでコントロールプレーンへのアクセスを分散している場合も注意が必要だ。",[48,223,226],{"href":224,"rel":225},"https:\u002F\u002Fgithub.com\u002Fk3s-io\u002Fk3s\u002Fdiscussions\u002F8000",[52],"K3sコミュニティの議論","では、ヘルスチェックのない静的DNSレコードは起動時間の想定外の遅延を招くと指摘されており、ヘルスチェック対応のロードバランサーへの切り替えが推奨されている。",[11,229,231],{"id":230},"まとめ-仮想化基盤の前提と分散合意の前提は別物として設計する","まとめ — 「仮想化基盤の前提」と「分散合意の前提」は別物として設計する",[16,233,234],{},"Proxmoxのライブマイグレーションは仮想化基盤としての可用性機能であり、K3sの組み込みetcdはKubernetesクラスタとしての合意形成の仕組みだ。この2つは別々のレイヤーで別々の時間軸を前提に設計されており、片方を「無停止」に見せているだけでは、もう片方の生存確認タイムアウトを超えてしまうことがある。対策はProxmox側のaffinity設計とストレージ要件、etcd側のタイムアウトチューニングと監視、運用ルールとしての「同時変更の禁止」という3層で組み立てる必要がある。",[16,236,237,238,242,243,248,249,254],{},"EKSやAKSの高コスト・ロックインを避けてセルフホストのK3sを選ぶ判断自体は理にかなっている。ただしその運用コストには、今回のようなホスト-etcd間の前提衝突を自分で発見し設計し直すという見えにくい負担が含まれる。",[48,239,241],{"href":179,"rel":240},[52],"Kubo","ならK3sベースの本格的なKubernetesはそのままに、こうした可用性設計を標準構成として組み込める。すでに似た障害に悩まされている、あるいはこれからProxmox上でK3sのHAクラスタを本番運用しようとしているなら、",[48,244,247],{"href":245,"rel":246},"https:\u002F\u002Fwww.hexabase.com\u002Fcontact-us\u002F",[52],"お問い合わせ","から構成を相談してみるのも一つの選択肢だ。",[48,250,253],{"href":251,"rel":252},"https:\u002F\u002Fwww.hexabase.com\u002Fpricing\u002F",[52],"料金プラン","ではEKS\u002FAKSとのコスト比較も確認できる。",{"title":256,"searchDepth":257,"depth":257,"links":258},"",2,[259,260,261,262,263,264,265],{"id":13,"depth":257,"text":14},{"id":36,"depth":257,"text":37},{"id":79,"depth":257,"text":80},{"id":107,"depth":257,"text":108},{"id":140,"depth":257,"text":141},{"id":185,"depth":257,"text":186},{"id":230,"depth":257,"text":231},"2026-09-09","Proxmox上のK3sコントロールプレーンVMをライブマイグレーションした際にetcdクォーラムが崩れる仕組みを、heartbeat\u002Felection-timeoutとProxmoxのaffinity設計から解説。実運用で使える具体的な対策手順を紹介する。","md","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-proxmox-live-migration-etcd-quorum-affinity-design\u002Ftitle.webp","ja",{},true,"\u002Fblog\u002Fja\u002Fk3s-proxmox-live-migration-etcd-quorum-affinity-design",{"title":5,"description":267},"blog\u002Fja\u002Fk3s-proxmox-live-migration-etcd-quorum-affinity-design",[277,278,279,280,281,282],"k3s","kubernetes","proxmox","etcd","live-migration","high-availability","o6xGVgV4Se9fdU1fNMVfXlLvgJRjK1lPuG_JxwIzorM",[285,292,299,307,315,323],{"path":286,"title":287,"description":288,"date":289,"tags":290},"\u002Fblog\u002Fja\u002Fproxmox-corosync-self-fencing-k3s-etcd-quorum","2台のProxmoxで組んだK3sクラスタが、ネットワークの瞬断で同時に全滅した。原因はCorosyncのself-fencingだった","2台のProxmoxホストでK3sクラスタを運用していたら、数秒のネットワーク瞬断でホストごとリブートし、K3sのetcd quorumまで巻き込まれて全滅した。原因のCorosync self-fencingと、ノード配置設計での再発防止策を解説する。","2026-11-11",[277,278,279,280,282,291],"quorum",{"path":293,"title":294,"description":295,"date":296,"tags":297},"\u002Fblog\u002Fja\u002Fk3s-kubeadm-ha-etcd-failover-rto-gap","RTO30秒のはずが3分止まった。K3sとkubeadmのHA構成で\"カタログ値\"と\"実運用\"がズレる理由","K3sのembedded etcdとkubeadmのstacked\u002Fexternal etcd、HA構成のフェイルオーバーは実際どれだけ時間がかかるのか。公式ドキュメントのRTO目安と実運用の体感時間のギャップを、障害ドメインの分離・必要ノード数の違いから検証する。","2026-10-09",[277,278,280,282,298],"kubeadm",{"path":300,"title":301,"description":302,"date":303,"tags":304},"\u002Fblog\u002Fja\u002Fk3s-etcd-snapshot-restore-token-cluster-reset-pitfalls","自動etcdスナップショットは毎日取れていた。K3sのリストアが本番障害で動かなかった理由","K3sのetcdスナップショットは正常に取れていたのに、本番障害でリストアが失敗した——トークン管理、S3リストア事故、cluster-resetの落とし穴という3つの実例から、embedded etcdバックアップの本当のリスクを解説する。","2026-09-21",[277,278,280,305,306,282],"backup-restore","disaster-recovery",{"path":308,"title":309,"description":310,"date":311,"tags":312},"\u002Fblog\u002Fja\u002Fk3s-proxmox-storage-expansion-sata-scsi-pitfall","Proxmoxのディスクを無停止で拡張したつもりが、K3sノードには反映されなかった。SATAコントローラという見落とし","Proxmoxで本番運用中のK3sクラスタのストレージが逼迫した時、無停止で拡張したつもりが反映されない典型的な原因(ディスクコントローラ設定)と、CephでOSDを追加する際にK3sのetcdクォーラムが受ける影響、公式ドキュメントに基づく正しい拡張手順を具体的に解説する。","2026-09-17",[277,278,279,313,314,280],"storage","ceph",{"path":316,"title":317,"description":318,"date":319,"tags":320},"\u002Fblog\u002Fja\u002Fk3s-proxmox-ceph-csi-rbd-multiattach-node-maintenance","Multi-Attach error for volume。ProxmoxのK3s+Ceph CSIでノードメンテ前に知っておくべきRBDロックの罠","Proxmox上のK3sでノードをdrainしたら、Ceph CSI(RBD)のPVがMulti-Attach errorでPending化した。原因はexclusive lockとwatcherの残存、フェンシングのレース条件。復旧コマンドとNetworkFenceによる恒久対策を解説する。","2026-11-14",[277,278,279,321,322,313],"ceph-csi","rbd",{"path":324,"title":325,"description":326,"date":327,"tags":328},"\u002Fblog\u002Fja\u002Fk3s-vs-microk8s-ha-etcd-dqlite-edge-production","K3sとMicroK8s、同じ\"軽量\"でも本番で勝つのはどちらか。dqliteとetcdが分けるHA構成の分岐点","K3sとMicroK8s、同じ軽量Kubernetesでも本番運用の明暗を分けるのはHA構成だ。K3sのembedded etcdとMicroK8sのdqlite、それぞれの最小RAM要件・アーキテクチャの違いを公式ドキュメントのデータで比較し、選定基準を解説する。","2026-10-25",[277,329,278,282,330,331],"microk8s","edge-computing","comparison",1794902467743]