Skip to main content

2台のProxmoxで組んだK3sクラスタが、ネットワークの瞬断で同時に全滅した。原因はCorosyncのself-fencingだった

1. 障害の発端 — ネットワークが数秒落ちただけで、K3sクラスタ全体が止まった

section01

Proxmox上でK3sの本番クラスタを自前運用していたある環境で、こんな障害が起きました。ネットワーク機器の再起動に伴う数秒の瞬断。それだけのはずが、戻ってきたときにはK3sのAPIサーバーに一切繋がらなくなっていたのです。

調べてみると、K3s serverノードは3台構成で、etcdのquorum(過半数合意)を確保するために意図的に奇数台にしていました。設計としては間違っていません。しかし3台のVMは、2台のProxmoxホストに「2台・1台」という配置で同居していました。ここに見落としがありました。

ネットワーク瞬断でProxmox側のクラスタ通信(Corosync)がquorumを失い、2台居住していたホストの方がProxmox VE公式のHigh Availabilityドキュメントに書かれている watchdog ベースの self-fencing によってリブートしました。その結果、そのホスト上にいたK3s serverノード2台が同時に消え、K3s側のetcd quorumも3台中1台残りという過半数割れの状態に陥ったのです。

2. なぜ「奇数ノードにしたから安全」では足りなかったのか

section02

K3sの組み込みetcdは、サーバーノードを奇数(3台または5台)にし、過半数が生きていれば動き続けるという設計です。K3sの組み込みHA(etcd)構成に関するガイドでも、3台構成なら1台の障害に耐え、5台構成なら2台の障害に耐えられるとされています。またサーバーノード間は10ミリ秒未満の低遅延ネットワークが推奨されています。

この設計は「K3sのノードが独立して壊れる」ことを前提にしています。ところが実際には、VMである以上、K3sのノードは必ず何らかの物理ホスト(この場合はProxmox)の上で動いています。K3s側のquorum設計と、Proxmox側のquorum設計は別のレイヤーですが、ノードの配置を通じて結びついてしまうのです。

2台のホストに3台のK3sノードを2:1で振り分けていた場合、「ホストが1台落ちる」という一見ありふれた障害が、そのままK3s側の「ノードが2台同時に落ちる」という、本来想定していなかった障害に変わります。奇数ノードにしていたこと自体は正しくても、配置設計が別の弱点を作っていたわけです。

KuboのようなマネージドK3s基盤であれば、こうしたホスト層とKubernetes層をまたぐノード配置の設計は、運用者が個別に気にしなくても標準でカバーされています。

3. 犯人はCorosyncのself-fencing — 2ノードProxmoxクラスタの構造的な弱点

section03

Proxmoxのクラスタ管理はCorosyncの多数派合意(quorum)で成り立っています。Proxmox VE公式ドキュメントには、「クラスタのロックが機能するためにはquorumの形成が必要で、quorumが失われている間、ノードはwatchdogをリセットできず、watchdogタイマーが切れると60秒後にホスト全体がリブートする」と明記されています(Proxmox VE High Availability)。

2ノード構成では、この仕組みが構造的な弱点になります。3ノードなら1台の障害でも残り2台で過半数(3票中2票)を維持できますが、2ノードでは1台が見えなくなった瞬間、残りの1台は2票中1票しか持てず、quorumを失います。Proxmoxのフォーラムには、片方のノードが再起動すると約60秒後にもう片方のノードもwatchdog expirationでリブートするという報告や、ネットワーク機器の再起動のような全体的な瞬断で両ノードが同時にself-fencingされたという報告が複数投稿されています(Proxmoxコミュニティフォーラム)。

split-brain(スプリットブレイン)を避けるための安全装置が、ノード配置次第ではクラスタ全体を道連れにする引き金にもなる、という逆説がここにあります。

4. 復旧と応急処置 — QDeviceとcluster-reset

section04

Proxmox側の構造的な対策は、QDevice(corosync-qdevice / corosync-qnetd)の導入です。2ノードクラスタの外部に独立したホストを置き、そこから3票目の投票権を与えることで、ノードが1台落ちても残りの1台が2票中2票を確保でき、quorumを維持できます。これは偶数ノードクラスタ、特に2ノードクラスタに対して推奨される標準的な構成です。

一方、万が一K3s側のetcd quorumまで割れてしまった場合は、k3s server --cluster-reset が復旧の入口になります。K3s公式のサーバーCLIリファレンスによれば、このフラグは「全ピアを忘れ、新しいクラスタの単独メンバーとして起動し直す」非破壊的なリセットです。ただし注意点があります。復元時に元の--node-ip設定と食い違うIPを使うと、K3sの公式GitHubリポジトリに寄せられた同種の報告にあるように、ネットワーク経路の不一致自体が新たな不安定要因になり得ます。SUSE Forumsに投稿された実例でも、「このサーバーはetcdクラスタのメンバーではない」というエラーがIPの不一致から発生することが確認されています。--node-ipはコマンドラインで都度指定するより、config.yamlに固定で書いておく方が復旧時の事故を防げます。

Kubo On-Premiseなら、こうしたquorum喪失時の復旧手順自体が標準運用に組み込まれており、障害発生時に手順書とコマンドを突き合わせる作業から解放されます。

5. 本当の再発防止策 — ノード配置とクラスタリング設計を分離して考える

section05

今回の障害の本質は、Proxmoxのフォーラムが指摘するような「2ノードクラスタ固有の弱点」そのものではなく、ホスト層のquorum設計とKubernetes層のquorum設計を、別の問題として独立に検討していなかったことにあります。再発防止のポイントは次の3つです。

  • ノード分散: K3s serverノードは、最低3台のProxmoxホストに1台ずつ分散配置する。2台のホストに偏らせない
  • 固定の登録アドレス: サーバーノード群の前段にVIPやロードバランサーを置き、特定ノードのIPに依存しない構成にする(K3s embedded HA構成ガイド)
  • タイムアウト設計の理解: etcdのデフォルトはheartbeat-interval 100ミリ秒、election-timeout 1000ミリ秒です。etcd公式のtuningドキュメントでは、election-timeoutはメンバー間のラウンドトリップタイムの10倍以上に設定すべきとされています。ネットワーク遅延がこの余裕を超えると、不要なリーダー選出が走り、クラスタが一時的に不安定化する一因になります

Proxmoxのquorum設計も、K3sのetcd quorum設計も、単体で見れば公式ドキュメント通りに正しく組めます。問題は、その2つを同時に成立させるための「ノード配置」という交差点を、どちらのドキュメントも単独では教えてくれないことです。

まとめ

奇数ノードでetcdのquorumを確保していても、その土台となるProxmoxホスト自体の台数とノードの配置を設計していなければ、ハイパーバイザー層の障害がそのままKubernetesクラスタの障害に直結します。Proxmoxのself-fencingは本来split-brainを防ぐための安全機構ですが、2ノード構成かつノード配置を誤ると、安全機構自体が障害の引き金になり得ます。

自前でProxmox+K3sを運用する以上、ホスト台数・QDeviceの要否・K3sノードの配置・タイムアウト設計のすべてを自分で整合させる必要があります。KuboはK3sベースのマネージドKubernetesとして、こうした可用性設計をあらかじめ組み込んだ状態で提供しており、オンプレミス環境でもKubo On-Premiseとして同様の設計を引き継げます。自前運用の複雑さを減らしたいと考えているなら、お問い合わせから構成の相談も可能です。

Related articles

← Back to all posts