Multi-Attach error for volume。Proxmox上に自前でK3sクラスタを組み、Ceph CSI(RBD)を永続ストレージに使っているチームなら、このエラーメッセージに青ざめた経験が一度はあるはずだ。計画的なノードメンテナンスのはずが、PodがPendingのまま戻ってこない。本記事では原因と手動復旧の手順、恒久対策までを整理する。
1. ノードをdrainした直後、Podが「ContainerCreating」のまま進まなくなった

カーネル更新やProxmoxホストのメンテナンスのため、K3sクラスタの1ノードを計画的にkubectl drainした。ここまでは普段通りの手順だった。ところがPodが別ノードへ再スケジュールされた直後、イベントログに次の一行が現れる。
Warning FailedAttachVolume pod/app-xxxx Multi-Attach error for volume "pvc-xxxx" Volume is already exclusively attached to one node and can't be attached to another
Kubernetes公式ドキュメントによれば、ReadWriteOnce(RWO)は「1つのノード上でのみ読み書き可能」という制約を持つ。同じノード内の複数Podからの同時アクセスは許されるが、別ノードへの同時アタッチはできない。ReadWriteMany(RWX、CephFS等が対応)は複数ノードから同時マウントできるため、この問題はブロックストレージであるRBD(RWO)特有の現象だ。
drainしたノードの方でPodはとっくに消えているのに、なぜ新しいノードはボリュームを掴めないのか。答えはCeph側の「ロック」にある。こうしたフェンシング設計は、自前でK3sクラスタを運用する以上避けて通れない論点で、マネージドK8sを検討する際の判断材料の一つにもなる。
2. 原因はRBDの「exclusive lock」とwatcherの残存、そしてKubernetesのレース条件

Ceph RBDイメージは、デフォルトでexclusive-lock機能が有効だ。「ある時点で1つのクライアントだけが書き込みできる」ことを保証する仕組みで、通常のプロセス終了時にはクライアント間で協調的にロックが移動するとCeph公式ドキュメントは説明している。
問題は、ノードがgracefulに終了しなかった場合だ。drain処理がタイムアウトした、kubeletが応答しなくなった、ホスト側で強制リブートが入った——こうしたケースでは旧クライアントはロックを解放せず消える。新クライアントがロック取得を試みると旧クライアントを**blocklistに登録してロックを強制的に奪う(break)**動作になるが、この完了前にKubernetesがPodを別ノードへスケジュールすると、ロックがまだ外れていない状態でアタッチを試み、Multi-Attach errorになる。
さらに厄介なのはVolumeAttachmentオブジェクトのガベージコレクションのタイミングだ。Rook公式のCeph CSIトラブルシューティングガイドは、障害ノードとの通信が失われてもVolumeAttachmentが残存するケースを指摘している。スケジューラがフェンシング完了を待たず新ノードへ再アタッチを試みると、この非同期なズレがMulti-Attach errorの引き金になる。
3. 手動復旧の実コマンド — VolumeAttachment削除からロック解除まで

障害ノードが完全にダウンしていると確証が持てる場合に限り、以下の手順で手動復旧できる。まず滞留しているVolumeAttachmentを確認し、旧ノード上でPodがTerminating状態のまま残っていれば強制削除する。
kubectl get volumeattachment | grep <PVC名>
kubectl delete pod <stuck-pod> --grace-period=0 --force
Red Hatのサポート文書でも、RWOのceph-rbdボリュームが実行中のPodなしに新規Podへマウントできない状態が残ると報告されている。次にCeph側のロック情報を直接確認し、強制解除する。
rbd lock list <pool>/<image>
rbd lock remove <pool>/<image> <lock-id> <locker>
ceph osd blocklist add <障害ノードIP>
ceph-csiのGitHubイシュートラッカーでも、似た競合状態によるMulti-Attach errorの報告があり、kubeletログの確認とボリューム識別子の見直しが推奨されている。
ワークロードが存在しないのにRBDデバイスがノードに残ることもある。rbd showmappedで状態を確認し、強制アンマップする。
rbd showmapped | grep <PV名>
rbd unmap /dev/rbd27 -o force
これらの手動復旧は有効だが、障害のたびにオペレーターが張り付いて実行するものではない。恒久対策には自動フェンシングが要る。
4. 恒久対策はNetworkFence(CSI-Addons)による自動フェンシング

Rookのブログ記事で解説されている通り、CSI-Addons Operatorが提供するNetworkFenceというCRDを使えば、ノード障害時のCephクライアントアクセスのブロックを自動化できる。
- 障害ノードを指定して
NetworkFenceリソースを作成 - CSI Fencing Controllerが
ceph osd blocklist add <ノードアドレス>相当を実行 - 障害ノードのCephクライアントアクセスが完全にブロックされ、誤った書き込みを防止
- 復旧後は
fenceState: Unfencedに変更しblocklistを解除
さらに、同ブログのノード喪失対応に関する記事では、PodのtolerationSecondsをデフォルトの300秒から短縮しておくことで、障害検知から退避までのリードタイムを縮められると紹介されている。NetworkFenceと短縮したtolerationSecondsの組み合わせで、手動介入なしの自動回復に近づけられる。ただし、この自動化の設計・保守にはCeph運用の専門知識が要る。KuboのようなマネージドK3s基盤なら、こうした運用設計があらかじめ組み込まれている。
unmapが詰まって残るケースは、実践的な復旧コマンドの記録も参考になる。複数ノードにまたがる確認が必要な点は、セルフホスト環境では見落としやすい。
5. Proxmox特有の注意点 — Cephネットワーク分断がI/Oフリーズを誘発するケース

Proxmox上で自前のCephクラスタを組む場合、もう一つ見落とされがちな論点がある。Proxmoxフォーラムの報告事例では、3ノード構成のCephクラスタで連続してノードを再起動したところ、Corosyncのクラスタ通信は正常なのにCeph専用のネットワークインターフェース上で通信が断絶し、VMのI/Oがフリーズした。
これは、Corosyncの死活監視とCephのpublic/clusterネットワークが別の通信経路であることに起因する。Proxmox公式のフルメッシュネットワーク構成ガイドでは、Ceph用ネットワークをクラスタ通信用LANとは別のメッシュ構成で分離することが推奨されている。ノードメンテナンスの計画では、「Corosyncが生きているから大丈夫」ではなく、Ceph側のネットワークが独立して分断されていないかを別途確認したい。
まとめ
Multi-Attach errorは、RBDのexclusive lockとwatcherの残存、そしてVolumeAttachmentガベージコレクションのタイミングのズレという、2つの非同期な仕組みの間のレース条件が原因だ。手動復旧の手順を押さえた上で、NetworkFence(CSI-Addons)による自動フェンシングを導入すれば、障害時の人手介入を大きく減らせる。
ただし、フェンシングの設計・ネットワーク分離・ロック管理を自前で運用し続けるのは小さくない負荷だ。こうした複雑さを引き受けた上で、Proxmoxのような自社インフラ上でもフルマネージドなKubernetes運用を提供するのがKubo On-Premiseだ。Air-Gapped環境にも対応し、データ主権を保ったまま運用をオフロードできる。
クラウド上でのマネージドK8s運用なら、KuboはK3sベースの軽量な構成でEKS/AKSより低コストに本格的なKubernetesを運用できる。同様の悩みがあればお問い合わせから相談してみてほしい。