1. 深夜のメンテナンスで起きたこと — ライブマイグレーション後にPodが増えなくなった

Proxmox VE上でK3sのコントロールプレーンVMをライブマイグレーションした直後、K3sクラスタのetcdクォーラムが数分間崩れ、Podのスケジューリングが完全に止まった——という報告は珍しくない。ホストのファームウェア更新のためにVMを退避させただけのはずが、kubectl get pods が応答しなくなり、負荷が上がっているのにHPAが一切反応しない。障害復旧後にログを見ると、その数分間だけetcdのリーダーが不在になっていた。
厄介なのは、ProxmoxにもK3sにも「壊れた」と明示するエラーが出にくいことだ。ライブマイグレーションは仕様通り完了し、K3s側も一定時間後には自己回復するため、「たまたま一時的に重かっただけ」と片付けられ、同じ障害が再発しやすい。この記事では、なぜこの組み合わせが構造的に起こりうるのかを、Proxmoxの仮想化機構とetcdの合意形成アルゴリズムの両面から整理する。
2. なぜ「無停止」のはずのライブマイグレーションがetcdを壊すのか

Proxmox VEのHigh Availability機能は、クラスタ全体をCorosyncによる多数決(クォーラム)で管理しており、ノード障害時にはHA Managerがリソースを別ノードで自動的に再起動する仕組みを持つ。ライブマイグレーション自体は「メモリの内容をネットワーク経由で転送してから切り替える」という方式のため、VMを停止してから再起動するrelocateよりも安全に見えるが、転送中はホストのネットワーク帯域やCPUスケジューリングに一時的な負荷がかかる。
一方、K3sの組み込みetcdによるHA構成は、奇数台(最小3台)のサーバーノードでクォーラム(n/2)+1を維持する設計だ。etcdはRaftという合意形成アルゴリズムでリーダーを選出しており、その生死判定は極めてシビアな時間管理に依存する。etcd公式のチューニングガイドによれば、デフォルトのheartbeat-intervalは100ミリ秒、election-timeoutは1000ミリ秒だ。つまり100ミリ秒ごとに届くはずのハートビートが1000ミリ秒以上途絶えると、フォロワーは「リーダーが死んだ」と判断し新しい選挙を始めてしまう。
ライブマイグレーション中にコントロールプレーンVMのネットワークがわずかに詰まったり、vCPUスケジューリングが遅延したりすると、この猶予はあっさり超過しうる。仮想化基盤の「無停止」と、分散合意アルゴリズムの「生存確認」は、まったく別の時間軸で設計されているのだ。
3. ディスクI/Oというもう一つの盲点 — fsyncレイテンシとetcdの安定性

タイムアウトの問題は、ネットワークだけでなくディスクI/Oでも起こる。etcdはRaftログをディスクに同期書き込み(fsync)してからでないとコミットできない設計で、etcd公式のハードウェア推奨事項は負荷の高いクラスタに最低500 IOPS相当のディスク性能を求め、「書き込みに時間がかかりすぎるとハートビートがタイムアウトし、選挙を誘発してクラスタの安定性を損なう」と明言している。ディスク遅延がそのままリーダーの生死判定に直結する構造だ。
Proxmoxのライブマイグレーション自体はメモリ転送が中心だが、共有ストレージや他VMと競合する低速な仮想ディスクを使っていると、マイグレーション前後のI/O負荷増加でfsyncレイテンシが悪化しやすい。実際CNCFのブログでも、本番etcdインシデントの多くはディスクI/Oレイテンシやメンバー間RTTの悪化が引き金であり、根本原因の特定にはWALのfsync時間の継続的な監視が欠かせないと指摘されている。
4. Proxmox側の設計対策 — negative affinityとストレージ要件

まず取り組むべきはProxmox側の配置設計だ。Proxmox VEはresource affinityルールでVMの配置を制御でき、ha-manager rules add resource-affinity keep-separateのようなnegative affinity設定により、K3sのコントロールプレーンVM同士を物理的に別ホストへ強制分散できる。3台のコントロールプレーンVMが同じ物理ホストに乗っていると、そのホスト1台のメンテナンスだけでetcdクォーラム(3台中2台以上が必要)を割ってしまうリスクが跳ね上がる。
ストレージについては、共有ストレージのI/O競合を避けるためコントロールプレーンVM専用の高速なブロックデバイスを割り当て、フェイルオーバー時も遅延が10ミリ秒を大きく超えないよう監視したい。また移行前にetcdctl endpoint status --clusterで現在のetcdリーダーを確認し、リーダーVMを最後に移行する(あるいは事前にリーダーシップを移譲する)運用ルールを設けるだけでも、影響時間を大きく短縮できる。
こうしたaffinity設計やストレージ要件の見積もりは、セルフホストのK3s運用では見落とされがちな“隠れた前提条件”だ。Kubo On-Premiseであれば、Proxmoxのようなオンプレミス仮想化基盤の上でも、コントロールプレーンの配置設計やストレージ要件を標準構成として組み込んだ形でフルマネージドK8sを提供できる。
5. etcd側の設計対策 — heartbeat/election-timeoutを実測値でチューニングする

もう一つの対策は、etcd自体のタイムアウトパラメータを仮想化基盤の実測特性に合わせてチューニングすることだ。etcdのチューニングガイドは、election-timeoutをメンバー間のRTTの最低10倍に設定することを推奨しており、fsyncレイテンシが不安定な環境ではこの係数をさらに引き上げる。デフォルト値のまま仮想化基盤に載せると、ライブマイグレーション中の一時的な遅延に対する耐性が低くなりすぎる。
監視面ではwal_fsync_duration_secondsのp99が10ミリ秒を超えないか継続確認し、閾値超過でアラートを上げる運用が有効だ。似た問題は仮想化基盤に限らず起きており、大規模クラスタ管理ツールのkopsでもetcdクォーラム喪失によるクラスタ停止が報告されている。etcdの合意形成メカニズム自体が、基盤の種類を問わずI/O・ネットワークの一時的な乱れに敏感であることの傍証だ。
こうしたパラメータ調整とメトリクス監視を自前で設計・運用し続けるのは片手間でできる作業ではない。Kubo CloudのCaptain UIなら、コントロールプレーンの健全性指標を可視化した状態で運用でき、チューニングの勘所を毎回調べ直す必要がなくなる。
6. それでも壊れた時の復旧手順と、壊さないための運用ルール

対策を講じてもなお、複数のコントロールプレーンVMを同時に動かすオペレーション(ネットワーク変更やまとめての移行)を行うと、クォーラムが崩れることがある。K3sクラスタのノードをネットワークセグメント変更に伴い同時に複数台動かしてしまい、etcd: cluster ID mismatchのようなエラーで制御プレーンが停止した事例も報告されている。この種の障害は、1台ずつetcdのシングルノードクラスタとしてリセットし、残りを順番に再参加させる手順で復旧させることになる。
教訓はシンプルだ。複数のetcdメンバーに影響する変更(ネットワーク変更・ライブマイグレーション・OS更新など)を同時に複数台へ適用しないこと。1ノードずつ変更し、都度状態を確認してから次に進む運用ルールを徹底するだけで、この種の障害の大半は回避できる。Proxmox自体もクォーラムを失うとHA Managerがウォッチドッグをリセットできず60秒後に自動フェンスが発生するため、ネットワーク経路の冗長化やQDeviceの併用も合わせて見直したい。
DNSベースの単純なロードバランシングでコントロールプレーンへのアクセスを分散している場合も注意が必要だ。K3sコミュニティの議論では、ヘルスチェックのない静的DNSレコードは起動時間の想定外の遅延を招くと指摘されており、ヘルスチェック対応のロードバランサーへの切り替えが推奨されている。
まとめ — 「仮想化基盤の前提」と「分散合意の前提」は別物として設計する
Proxmoxのライブマイグレーションは仮想化基盤としての可用性機能であり、K3sの組み込みetcdはKubernetesクラスタとしての合意形成の仕組みだ。この2つは別々のレイヤーで別々の時間軸を前提に設計されており、片方を「無停止」に見せているだけでは、もう片方の生存確認タイムアウトを超えてしまうことがある。対策はProxmox側のaffinity設計とストレージ要件、etcd側のタイムアウトチューニングと監視、運用ルールとしての「同時変更の禁止」という3層で組み立てる必要がある。
EKSやAKSの高コスト・ロックインを避けてセルフホストのK3sを選ぶ判断自体は理にかなっている。ただしその運用コストには、今回のようなホスト-etcd間の前提衝突を自分で発見し設計し直すという見えにくい負担が含まれる。KuboならK3sベースの本格的なKubernetesはそのままに、こうした可用性設計を標準構成として組み込める。すでに似た障害に悩まされている、あるいはこれからProxmox上でK3sのHAクラスタを本番運用しようとしているなら、お問い合わせから構成を相談してみるのも一つの選択肢だ。料金プランではEKS/AKSとのコスト比較も確認できる。