[{"data":1,"prerenderedAt":608},["ShallowReactive",2],{"blog-ja-k3s-proxmox-ceph-csi-rbd-multiattach-node-maintenance":3,"blog-related-ja-k3s-proxmox-ceph-csi-rbd-multiattach-node-maintenance":556,"blog-ja-k3s-proxmox-ceph-csi-rbd-multiattach-node-maintenance-alt":545},{"id":4,"title":5,"author":6,"body":7,"date":539,"description":540,"extension":541,"image":542,"locale":543,"meta":544,"navigation":545,"path":546,"seo":547,"stem":548,"tags":549,"__hash__":555},"blog\u002Fblog\u002Fja\u002Fk3s-proxmox-ceph-csi-rbd-multiattach-node-maintenance.md","Multi-Attach error for volume。ProxmoxのK3s+Ceph CSIでノードメンテ前に知っておくべきRBDロックの罠","Kubo Team",{"type":8,"value":9,"toc":531},"minimark",[10,18,23,30,37,47,70,79,83,89,102,105,121,125,131,137,209,217,328,336,343,384,387,391,397,409,436,454,463,467,473,486,499,502,505,514,527],[11,12,13,17],"p",{},[14,15,16],"code",{},"Multi-Attach error for volume","。Proxmox上に自前でK3sクラスタを組み、Ceph CSI(RBD)を永続ストレージに使っているチームなら、このエラーメッセージに青ざめた経験が一度はあるはずだ。計画的なノードメンテナンスのはずが、PodがPendingのまま戻ってこない。本記事では原因と手動復旧の手順、恒久対策までを整理する。",[19,20,22],"h2",{"id":21},"_1-ノードをdrainした直後podがcontainercreatingのまま進まなくなった","1. ノードをdrainした直後、Podが「ContainerCreating」のまま進まなくなった",[11,24,25],{},[26,27],"img",{"alt":28,"src":29},"section01","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fja\u002Fk3s-proxmox-ceph-csi-rbd-multiattach-node-maintenance\u002Fsection01.webp",[11,31,32,33,36],{},"カーネル更新やProxmoxホストのメンテナンスのため、K3sクラスタの1ノードを計画的に",[14,34,35],{},"kubectl drain","した。ここまでは普段通りの手順だった。ところがPodが別ノードへ再スケジュールされた直後、イベントログに次の一行が現れる。",[38,39,44],"pre",{"className":40,"code":42,"language":43},[41],"language-text","Warning  FailedAttachVolume  pod\u002Fapp-xxxx  Multi-Attach error for volume \"pvc-xxxx\" Volume is already exclusively attached to one node and can't be attached to another\n","text",[14,45,42],{"__ignoreMap":46},"",[11,48,49,56,57,60,61,65,66,69],{},[50,51,55],"a",{"href":52,"rel":53},"https:\u002F\u002Fkubernetes.io\u002Fdocs\u002Fconcepts\u002Fstorage\u002Fpersistent-volumes\u002F",[54],"nofollow","Kubernetes公式ドキュメント","によれば、",[14,58,59],{},"ReadWriteOnce","（RWO）は「1つのノード上でのみ読み書き可能」という制約を持つ。同じノード内の複数Podからの同時アクセスは許されるが、",[62,63,64],"strong",{},"別ノードへの同時アタッチはできない","。",[14,67,68],{},"ReadWriteMany","（RWX、CephFS等が対応）は複数ノードから同時マウントできるため、この問題はブロックストレージであるRBD（RWO）特有の現象だ。",[11,71,72,73,78],{},"drainしたノードの方でPodはとっくに消えているのに、なぜ新しいノードはボリュームを掴めないのか。答えはCeph側の「ロック」にある。こうしたフェンシング設計は、自前でK3sクラスタを運用する以上避けて通れない論点で、",[50,74,77],{"href":75,"rel":76},"https:\u002F\u002Fkubo.hexabase.io\u002F",[54],"マネージドK8s","を検討する際の判断材料の一つにもなる。",[19,80,82],{"id":81},"_2-原因はrbdのexclusive-lockとwatcherの残存そしてkubernetesのレース条件","2. 原因はRBDの「exclusive lock」とwatcherの残存、そしてKubernetesのレース条件",[11,84,85],{},[26,86],{"alt":87,"src":88},"section02","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fja\u002Fk3s-proxmox-ceph-csi-rbd-multiattach-node-maintenance\u002Fsection02.webp",[11,90,91,92,97,98,101],{},"Ceph RBDイメージは、デフォルトで",[50,93,96],{"href":94,"rel":95},"https:\u002F\u002Fdocs.ceph.com\u002Fen\u002Freef\u002Frbd\u002Frbd-exclusive-locks\u002F",[54],"exclusive-lock機能","が有効だ。「ある時点で1つのクライアントだけが書き込みできる」ことを保証する仕組みで、通常のプロセス終了時には",[62,99,100],{},"クライアント間で協調的にロックが移動する","とCeph公式ドキュメントは説明している。",[11,103,104],{},"問題は、ノードがgracefulに終了しなかった場合だ。drain処理がタイムアウトした、kubeletが応答しなくなった、ホスト側で強制リブートが入った——こうしたケースでは旧クライアントはロックを解放せず消える。新クライアントがロック取得を試みると旧クライアントを**blocklistに登録してロックを強制的に奪う（break）**動作になるが、この完了前にKubernetesがPodを別ノードへスケジュールすると、ロックがまだ外れていない状態でアタッチを試み、Multi-Attach errorになる。",[11,106,107,108,111,112,117,118,120],{},"さらに厄介なのは",[14,109,110],{},"VolumeAttachment","オブジェクトのガベージコレクションのタイミングだ。",[50,113,116],{"href":114,"rel":115},"https:\u002F\u002Frook.io\u002Fdocs\u002Frook\u002Fv1.9\u002Fceph-csi-troubleshooting.html",[54],"Rook公式のCeph CSIトラブルシューティングガイド","は、障害ノードとの通信が失われても",[14,119,110],{},"が残存するケースを指摘している。スケジューラがフェンシング完了を待たず新ノードへ再アタッチを試みると、この非同期なズレがMulti-Attach errorの引き金になる。",[19,122,124],{"id":123},"_3-手動復旧の実コマンド-volumeattachment削除からロック解除まで","3. 手動復旧の実コマンド — VolumeAttachment削除からロック解除まで",[11,126,127],{},[26,128],{"alt":129,"src":130},"section03","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fja\u002Fk3s-proxmox-ceph-csi-rbd-multiattach-node-maintenance\u002Fsection03.webp",[11,132,133,134,136],{},"障害ノードが完全にダウンしていると確証が持てる場合に限り、以下の手順で手動復旧できる。まず滞留している",[14,135,110],{},"を確認し、旧ノード上でPodがTerminating状態のまま残っていれば強制削除する。",[38,138,142],{"className":139,"code":140,"language":141,"meta":46,"style":46},"language-bash shiki shiki-themes tokyo-night","kubectl get volumeattachment | grep \u003CPVC名>\nkubectl delete pod \u003Cstuck-pod> --grace-period=0 --force\n","bash",[14,143,144,180],{"__ignoreMap":46},[145,146,149,153,157,160,164,167,170,173,177],"span",{"class":147,"line":148},"line",1,[145,150,152],{"class":151},"sE3pS","kubectl",[145,154,156],{"class":155},"sPY7s"," get",[145,158,159],{"class":155}," volumeattachment",[145,161,163],{"class":162},"sAklC"," |",[145,165,166],{"class":151}," grep",[145,168,169],{"class":162}," \u003C",[145,171,172],{"class":155},"PVC",[145,174,176],{"class":175},"sGX4V","名",[145,178,179],{"class":162},">\n",[145,181,183,185,188,191,193,196,199,202,206],{"class":147,"line":182},2,[145,184,152],{"class":151},[145,186,187],{"class":155}," delete",[145,189,190],{"class":155}," pod",[145,192,169],{"class":162},[145,194,195],{"class":155},"stuck-po",[145,197,198],{"class":175},"d",[145,200,201],{"class":162},">",[145,203,205],{"class":204},"sT800"," --grace-period=0",[145,207,208],{"class":204}," --force\n",[11,210,211,216],{},[50,212,215],{"href":213,"rel":214},"https:\u002F\u002Faccess.redhat.com\u002Fnode\u002F7000129",[54],"Red Hatのサポート文書","でも、RWOのceph-rbdボリュームが実行中のPodなしに新規Podへマウントできない状態が残ると報告されている。次にCeph側のロック情報を直接確認し、強制解除する。",[38,218,220],{"className":139,"code":219,"language":141,"meta":46,"style":46},"rbd lock list \u003Cpool>\u002F\u003Cimage>\nrbd lock remove \u003Cpool>\u002F\u003Cimage> \u003Clock-id> \u003Clocker>\nceph osd blocklist add \u003C障害ノードIP>\n",[14,221,222,257,303],{"__ignoreMap":46},[145,223,224,227,230,233,235,238,241,243,246,249,252,255],{"class":147,"line":148},[145,225,226],{"class":151},"rbd",[145,228,229],{"class":155}," lock",[145,231,232],{"class":155}," list",[145,234,169],{"class":162},[145,236,237],{"class":155},"poo",[145,239,240],{"class":175},"l",[145,242,201],{"class":162},[145,244,245],{"class":155},"\u002F",[145,247,248],{"class":162},"\u003C",[145,250,251],{"class":155},"imag",[145,253,254],{"class":175},"e",[145,256,179],{"class":162},[145,258,259,261,263,266,268,270,272,274,276,278,280,282,284,286,289,291,293,295,298,301],{"class":147,"line":182},[145,260,226],{"class":151},[145,262,229],{"class":155},[145,264,265],{"class":155}," remove",[145,267,169],{"class":162},[145,269,237],{"class":155},[145,271,240],{"class":175},[145,273,201],{"class":162},[145,275,245],{"class":155},[145,277,248],{"class":162},[145,279,251],{"class":155},[145,281,254],{"class":175},[145,283,201],{"class":162},[145,285,169],{"class":162},[145,287,288],{"class":155},"lock-i",[145,290,198],{"class":175},[145,292,201],{"class":162},[145,294,169],{"class":162},[145,296,297],{"class":155},"locke",[145,299,300],{"class":175},"r",[145,302,179],{"class":162},[145,304,306,309,312,315,318,320,323,326],{"class":147,"line":305},3,[145,307,308],{"class":151},"ceph",[145,310,311],{"class":155}," osd",[145,313,314],{"class":155}," blocklist",[145,316,317],{"class":155}," add",[145,319,169],{"class":162},[145,321,322],{"class":155},"障害ノードI",[145,324,325],{"class":175},"P",[145,327,179],{"class":162},[11,329,330,335],{},[50,331,334],{"href":332,"rel":333},"https:\u002F\u002Fgithub.com\u002Fceph\u002Fceph-csi\u002Fissues\u002F4526",[54],"ceph-csiのGitHubイシュートラッカー","でも、似た競合状態によるMulti-Attach errorの報告があり、kubeletログの確認とボリューム識別子の見直しが推奨されている。",[11,337,338,339,342],{},"ワークロードが存在しないのにRBDデバイスがノードに残ることもある。",[14,340,341],{},"rbd showmapped","で状態を確認し、強制アンマップする。",[38,344,346],{"className":139,"code":345,"language":141,"meta":46,"style":46},"rbd showmapped | grep \u003CPV名>\nrbd unmap \u002Fdev\u002Frbd27 -o force\n",[14,347,348,368],{"__ignoreMap":46},[145,349,350,352,355,357,359,361,364,366],{"class":147,"line":148},[145,351,226],{"class":151},[145,353,354],{"class":155}," showmapped",[145,356,163],{"class":162},[145,358,166],{"class":151},[145,360,169],{"class":162},[145,362,363],{"class":155},"PV",[145,365,176],{"class":175},[145,367,179],{"class":162},[145,369,370,372,375,378,381],{"class":147,"line":182},[145,371,226],{"class":151},[145,373,374],{"class":155}," unmap",[145,376,377],{"class":155}," \u002Fdev\u002Frbd27",[145,379,380],{"class":204}," -o",[145,382,383],{"class":155}," force\n",[11,385,386],{},"これらの手動復旧は有効だが、障害のたびにオペレーターが張り付いて実行するものではない。恒久対策には自動フェンシングが要る。",[19,388,390],{"id":389},"_4-恒久対策はnetworkfencecsi-addonsによる自動フェンシング","4. 恒久対策はNetworkFence(CSI-Addons)による自動フェンシング",[11,392,393],{},[26,394],{"alt":395,"src":396},"section04","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fja\u002Fk3s-proxmox-ceph-csi-rbd-multiattach-node-maintenance\u002Fsection04.webp",[11,398,399,404,405,408],{},[50,400,403],{"href":401,"rel":402},"https:\u002F\u002Foneuptime.com\u002Fblog\u002Fpost\u002F2026-03-31-rook-rbd-network-fencing\u002Fview",[54],"Rookのブログ記事","で解説されている通り、CSI-Addons Operatorが提供する",[14,406,407],{},"NetworkFence","というCRDを使えば、ノード障害時のCephクライアントアクセスのブロックを自動化できる。",[410,411,412,419,426,429],"ol",{},[413,414,415,416,418],"li",{},"障害ノードを指定して",[14,417,407],{},"リソースを作成",[413,420,421,422,425],{},"CSI Fencing Controllerが",[14,423,424],{},"ceph osd blocklist add \u003Cノードアドレス>","相当を実行",[413,427,428],{},"障害ノードのCephクライアントアクセスが完全にブロックされ、誤った書き込みを防止",[413,430,431,432,435],{},"復旧後は",[14,433,434],{},"fenceState: Unfenced","に変更しblocklistを解除",[11,437,438,439,444,445,448,449,453],{},"さらに、",[50,440,443],{"href":441,"rel":442},"https:\u002F\u002Foneuptime.com\u002Fblog\u002Fpost\u002F2026-03-31-rook-rbd-node-loss\u002Fview",[54],"同ブログのノード喪失対応に関する記事","では、Podの",[14,446,447],{},"tolerationSeconds","をデフォルトの300秒から短縮しておくことで、障害検知から退避までのリードタイムを縮められると紹介されている。NetworkFenceと短縮したtolerationSecondsの組み合わせで、手動介入なしの自動回復に近づけられる。ただし、この自動化の設計・保守にはCeph運用の専門知識が要る。",[50,450,452],{"href":75,"rel":451},[54],"Kubo","のようなマネージドK3s基盤なら、こうした運用設計があらかじめ組み込まれている。",[11,455,456,457,462],{},"unmapが詰まって残るケースは、",[50,458,461],{"href":459,"rel":460},"https:\u002F\u002Fblog.nuvotex.de\u002Frook-ceph-unmap-stuck-rbd\u002F",[54],"実践的な復旧コマンドの記録","も参考になる。複数ノードにまたがる確認が必要な点は、セルフホスト環境では見落としやすい。",[19,464,466],{"id":465},"_5-proxmox特有の注意点-cephネットワーク分断がioフリーズを誘発するケース","5. Proxmox特有の注意点 — Cephネットワーク分断がI\u002FOフリーズを誘発するケース",[11,468,469],{},[26,470],{"alt":471,"src":472},"section05","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fja\u002Fk3s-proxmox-ceph-csi-rbd-multiattach-node-maintenance\u002Fsection05.webp",[11,474,475,476,481,482,485],{},"Proxmox上で自前のCephクラスタを組む場合、もう一つ見落とされがちな論点がある。",[50,477,480],{"href":478,"rel":479},"https:\u002F\u002Fforum.proxmox.com\u002Fposts\u002F857457\u002F",[54],"Proxmoxフォーラムの報告事例","では、3ノード構成のCephクラスタで連続してノードを再起動したところ、Corosyncのクラスタ通信は正常なのに",[62,483,484],{},"Ceph専用のネットワークインターフェース上で通信が断絶","し、VMのI\u002FOがフリーズした。",[11,487,488,489,494,495,498],{},"これは、Corosyncの死活監視とCephのpublic\u002Fclusterネットワークが別の通信経路であることに起因する。",[50,490,493],{"href":491,"rel":492},"https:\u002F\u002Fpve.proxmox.com\u002Fwiki\u002FFull_Mesh_Network_for_Ceph_Server",[54],"Proxmox公式のフルメッシュネットワーク構成ガイド","では、Ceph用ネットワークをクラスタ通信用LANとは別のメッシュ構成で分離することが推奨されている。ノードメンテナンスの計画では、「Corosyncが生きているから大丈夫」ではなく、",[62,496,497],{},"Ceph側のネットワークが独立して分断されていないか","を別途確認したい。",[19,500,501],{"id":501},"まとめ",[11,503,504],{},"Multi-Attach errorは、RBDのexclusive lockとwatcherの残存、そしてVolumeAttachmentガベージコレクションのタイミングのズレという、2つの非同期な仕組みの間のレース条件が原因だ。手動復旧の手順を押さえた上で、NetworkFence(CSI-Addons)による自動フェンシングを導入すれば、障害時の人手介入を大きく減らせる。",[11,506,507,508,513],{},"ただし、フェンシングの設計・ネットワーク分離・ロック管理を自前で運用し続けるのは小さくない負荷だ。こうした複雑さを引き受けた上で、Proxmoxのような自社インフラ上でもフルマネージドなKubernetes運用を提供するのが",[50,509,512],{"href":510,"rel":511},"https:\u002F\u002Fwww.hexabase.com\u002Fproduct\u002Fkubo\u002Fon-premise",[54],"Kubo On-Premise","だ。Air-Gapped環境にも対応し、データ主権を保ったまま運用をオフロードできる。",[11,515,516,517,520,521,526],{},"クラウド上でのマネージドK8s運用なら、",[50,518,452],{"href":75,"rel":519},[54],"はK3sベースの軽量な構成でEKS\u002FAKSより低コストに本格的なKubernetesを運用できる。同様の悩みがあれば",[50,522,525],{"href":523,"rel":524},"https:\u002F\u002Fwww.hexabase.com\u002Fcontact-us\u002F",[54],"お問い合わせ","から相談してみてほしい。",[528,529,530],"style",{},"html pre.shiki code .sE3pS, html code.shiki .sE3pS{--shiki-default:#C0CAF5}html pre.shiki code .sPY7s, html code.shiki .sPY7s{--shiki-default:#9ECE6A}html pre.shiki code .sAklC, html code.shiki .sAklC{--shiki-default:#89DDFF}html pre.shiki code .sGX4V, html code.shiki .sGX4V{--shiki-default:#A9B1D6}html pre.shiki code .sT800, html code.shiki .sT800{--shiki-default:#E0AF68}html .default .shiki span {color: var(--shiki-default);background: var(--shiki-default-bg);font-style: var(--shiki-default-font-style);font-weight: var(--shiki-default-font-weight);text-decoration: var(--shiki-default-text-decoration);}html .shiki span {color: var(--shiki-default);background: var(--shiki-default-bg);font-style: var(--shiki-default-font-style);font-weight: var(--shiki-default-font-weight);text-decoration: var(--shiki-default-text-decoration);}",{"title":46,"searchDepth":182,"depth":182,"links":532},[533,534,535,536,537,538],{"id":21,"depth":182,"text":22},{"id":81,"depth":182,"text":82},{"id":123,"depth":182,"text":124},{"id":389,"depth":182,"text":390},{"id":465,"depth":182,"text":466},{"id":501,"depth":182,"text":501},"2026-11-14","Proxmox上のK3sでノードをdrainしたら、Ceph CSI(RBD)のPVがMulti-Attach errorでPending化した。原因はexclusive lockとwatcherの残存、フェンシングのレース条件。復旧コマンドとNetworkFenceによる恒久対策を解説する。","md","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fja\u002Fk3s-proxmox-ceph-csi-rbd-multiattach-node-maintenance\u002Ftitle.webp","ja",{},true,"\u002Fblog\u002Fja\u002Fk3s-proxmox-ceph-csi-rbd-multiattach-node-maintenance",{"title":5,"description":540},"blog\u002Fja\u002Fk3s-proxmox-ceph-csi-rbd-multiattach-node-maintenance",[550,551,552,553,226,554],"k3s","kubernetes","proxmox","ceph-csi","storage","RXdAZpSdfyVOCQmXRHMH86kZnjQXRO06jwrzqnbsMMw",[557,564,573,581,591,598],{"path":558,"title":559,"description":560,"date":561,"tags":562},"\u002Fblog\u002Fja\u002Fk3s-proxmox-storage-expansion-sata-scsi-pitfall","Proxmoxのディスクを無停止で拡張したつもりが、K3sノードには反映されなかった。SATAコントローラという見落とし","Proxmoxで本番運用中のK3sクラスタのストレージが逼迫した時、無停止で拡張したつもりが反映されない典型的な原因(ディスクコントローラ設定)と、CephでOSDを追加する際にK3sのetcdクォーラムが受ける影響、公式ドキュメントに基づく正しい拡張手順を具体的に解説する。","2026-09-17",[550,551,552,554,308,563],"etcd",{"path":565,"title":566,"description":567,"date":568,"tags":569},"\u002Fblog\u002Fja\u002Fk3s-longhorn-openebs-mayastor-storage-selection","Longhornで十分か、OpenEBS Mayastorが要るか。K3sストレージ選定を性能要件で決める","K3sのストレージ、まだ「とりあえずLonghorn」で決めていませんか。LonghornとOpenEBS Mayastorをハードウェア要件・レプリカ構成・性能特性という4つの軸で徹底比較し、本番導入前に後悔しない選定基準をチェックリスト形式でわかりやすく解説します。","2026-11-15",[550,551,570,571,572,554],"longhorn","openebs","mayastor",{"path":574,"title":575,"description":576,"date":577,"tags":578},"\u002Fblog\u002Fja\u002Fproxmox-corosync-self-fencing-k3s-etcd-quorum","2台のProxmoxで組んだK3sクラスタが、ネットワークの瞬断で同時に全滅した。原因はCorosyncのself-fencingだった","2台のProxmoxホストでK3sクラスタを運用していたら、数秒のネットワーク瞬断でホストごとリブートし、K3sのetcd quorumまで巻き込まれて全滅した。原因のCorosync self-fencingと、ノード配置設計での再発防止策を解説する。","2026-11-11",[550,551,552,563,579,580],"high-availability","quorum",{"path":582,"title":583,"description":584,"date":585,"tags":586},"\u002Fblog\u002Fja\u002Fk3s-local-path-provisioner-capacity-node-affinity-pvc-pending","K3sのPVCがPendingのまま戻ってこない。ローカルストレージの『容量無視』とノードアフィニティが起こす静かな詰み","K3sのPVCがPending状態から戻らない原因は、local-path-provisionerが容量制限を無視する設計にある。ハイパーバイザーのthin provisioning、Volume Node Affinity Conflict、バックアップの誤解まで、K3sのローカルストレージ設計の落とし穴を解説する。","2026-09-12",[550,551,554,587,588,589,590],"local-path-provisioner","persistent-volume","node-affinity","zfs",{"path":592,"title":593,"description":594,"date":595,"tags":596},"\u002Fblog\u002Fja\u002Fk3s-proxmox-live-migration-etcd-quorum-affinity-design","Proxmoxのライブマイグレーションで、K3sのetcdクォーラムが静かに崩れる。仮想化とRaftが衝突する設計","Proxmox上のK3sコントロールプレーンVMをライブマイグレーションした際にetcdクォーラムが崩れる仕組みを、heartbeat\u002Felection-timeoutとProxmoxのaffinity設計から解説。実運用で使える具体的な対策手順を紹介する。","2026-09-09",[550,551,552,563,597,579],"live-migration",{"path":599,"title":600,"description":601,"date":602,"tags":603},"\u002Fblog\u002Fja\u002Fk3s-on-proxmox-cluster","Proxmox 上に K3s クラスタを構築する: ステップバイステップ","Proxmox VE 上に K3s 軽量 Kubernetes クラスタを構築する完全手順。VM テンプレート作成から HA 構成、ストレージ、Ingress 設定まで網羅。","2026-05-27",[550,551,552,604,605,606,607],"セルフホスティング","コンテナ","クラスタ構築","devops",1794902467534]