Skip to main content

K3sのPVCがPendingのまま戻ってこない。ローカルストレージの『容量無視』とノードアフィニティが起こす静かな詰み

1. ある日、K3sのPodがPendingのまま戻ってこなくなった

section01

K3sクラスタで新しいPVCを作成したはずなのに、PodがPendingのまま何十分経ってもRunningにならない——K3sを本番運用しているインフラエンジニアなら、一度は遭遇したことがあるのではないだろうか。

kubectl describe podを叩いても、コンテナイメージの取得やスケジューリング自体には問題がない。ところが実際には、ノードのローカルディスク容量が静かに逼迫していたというオチが少なくない。K3sのようなノードローカルストレージに依存する構成では、この種の「容量に関する見えない罠」が本番障害の一因になりやすい。

この記事では、K3sの標準ストレージ機構であるlocal-path-provisionerの設計上の制約から、Proxmox等のハイパーバイザー側のthin provisioning、ノードを跨いだ時に起きるVolume Node Affinity Conflict、そしてスナップショットとバックアップの違いまで、ローカルストレージ設計で見落とされがちな4つのポイントを順に掘り下げる。

2. local-path-provisionerは、PVCの「容量」を見ていない

section02

K3sには、Rancherが開発するLocal Path Provisionerが標準搭載されている。デフォルトでは、永続ボリュームはノードのファイルシステム上、/var/lib/rancher/k3s/storage以下に作成される。手軽にPersistentVolumeを使える便利な仕組みだが、ここに見落とされがちな設計上の制約がある。

local-path-provisionerは、PVCで指定した容量(capacity)を実際には強制しない。 Rancher公式のGitHubリポジトリでも、この点は開発者自身の議論で明言されている。あるIssueでは「local-path-provisionerは容量制限を強制していないのだから、spec.capacityの変更に対してエラーを返す理由がない」という趣旨のコメントが交わされており、容量制限が事実上無視される設計であることが確認できる。

つまり、PVCに「10Gi」と書いても、それはKubernetes APIの上での宣言にすぎず、コンテナがそれ以上のデータを書き込み続けても、local-path-provisionerはそれを止めない。実際に書き込まれたデータはノードの物理ディスクをそのまま消費し続け、他のPodが使うディスク領域までも圧迫していく。

何が起きるか

  • PVCのrequests.storageを超えてアプリケーションがログやキャッシュを書き込み続けても、エラーにならない
  • ノードのディスク使用率が100%に近づくと、kubeletがDiskPressureをノードに立て、既存Podの退避(Eviction)や新規Podのスケジューリング拒否が始まる
  • 容量超過の兆候はPVCのステータスには現れない。監視すべきはノード単位のディスク使用率であり、PVCの宣言値を見ているだけでは気づけない

Volume Expansion(AllowVolumeExpansion)についても、local-path-provisionerでは長らく実装が見送られてきた経緯があり、容量に関する運用は基本的に「ノード側で監視・確保する」という前提に立たざるを得ない。

こうした「宣言値と実態の乖離」を自前の監視ダッシュボードで潰し込むのは地味に工数がかかる。KuboのCaptain UIのように、ノード単位のリソース状況がクラスタ管理画面から一目で見える環境であれば、こうした容量逼迫の兆候にも気づきやすくなる。

3. 見落とされがちな二次要因——ハイパーバイザー側のthin provisioning

section03

K3sノードをProxmox VE等のハイパーバイザー上のVMとして構築している場合、話はもう一段複雑になる。K3s側の容量無視に加えて、ハイパーバイザー側のストレージにも同様の「見えない容量」問題が重なるからだ。

Proxmox VEのデフォルトのストレージバックエンドであるZFSやLVM-Thinは、thin provisioning(シンプロビジョニング)という方式を採用できる。Proxmox公式Wikiの解説によれば、この方式では「ボリュームは物理的に利用可能な容量よりもはるかに大きく作成できる」。同様にZFSストレージの公式ドキュメントでも、sparseプロパティを有効にすることで「予約領域(reservation)がボリュームサイズと一致しない」スパースボリュームを作れると説明されている。

つまり、100GBの仮想ディスクを複数のK3sノードVMに割り当てていても、実際にプールが消費する物理容量は「実際に書き込まれたデータ量」の合計でしかない。これは効率的な設計である一方、複数VMが同じストレージプールを共有すると、仮想的な割り当て容量の合計が物理容量を超える「オーバーコミット」状態を作り出しやすい。

thin poolの物理容量が実際に枯渇すると、VM(K3sノード)側からは「ディスクに空きがある」ように見えていても、書き込みが突然失敗する。K3s側のlocal-path-provisionerが容量を見ていない上に、ハイパーバイザー側のプールも枯渇に気づきにくいとなれば、二重に「見えない」まま障害に発展するのは自然な帰結と言える。

実務での対策

  • ハイパーバイザーのストレージプール使用率を、VM単位ではなくプール全体で監視する
  • Proxmox公式ドキュメントのStorage概要ページにあるとおり、ZFSやLVM-Thinはノードローカルな非共有ストレージであり、複数ノードでライブマイグレーションや冗長化を前提とするなら、Ceph/RBDのような分散ストレージへの移行も選択肢になる
  • K3s側とハイパーバイザー側、両方の容量監視を独立させて設計する

4. ノードを跨ぐと詰む——Volume Node Affinity Conflictの正体

section04

もう一つ、ノードローカルストレージにまつわる典型的な詰みパターンが「Volume Node Affinity Conflict」だ。

Kubernetes公式ドキュメントが定義するlocalボリュームタイプは、その性質上「特定のノードにしか存在しない」ストレージであり、PersistentVolumeにはノードアフィニティ(nodeAffinity)の指定が必須になっている。PersistentVolumeのドキュメントでも、Node Affinityはボリュームの主要な設定項目の一つとして扱われている。

これは裏を返せば、一度あるノードに紐づいたPVは、そのノードでしかPodをスケジュールできないということだ。Proxmox上でVMを別の物理ホストに再配置した場合や、K3sノード自体を作り直した場合、ディスクのパスやUUIDが変わることで、既存のPVが指すノードアフィニティと実際のPodのスケジュール先が食い違い、PodがPendingのまま止まる。

この制約は長年の運用上の痛点として知られてきたが、興味深い動きもある。2026年1月に公開されたKubernetesブログによれば、Kubernetes v1.35でPersistentVolumeのノードアフィニティを可変にする機能がアルファ版として追加された。同ブログは「このフィールドはこれまで不変(immutable)だったが、v1.35から可変になった」と明記しており、ストレージ基盤の変化(リージョナルディスクへの移行など)に応じてノードアフィニティを後から更新できるようになる意義を説明している。裏を返せば、それだけ「PVのノードアフィニティが固定されている」ことが実務上の課題だったという証左でもある。

実務での回避策

  • ノードローカルPVを使う場合は、VMの再配置やノード入れ替えの運用フローに、PVの作り直しを組み込んでおく
  • StorageClassのvolumeBindingMode: WaitForFirstConsumerを使い、Podのスケジュール先が決まってからPVをバインドすることで、不要な不整合を減らす
  • 複数ノードにまたがる可搬性が必要なワークロードには、そもそもノードローカルストレージを使わない設計を検討する

ノードの再構築やVMの再配置をどのタイミングで行うか、どのPVがどのノードに紐づいているかを人手で追い続けるのは属人化しやすい。Kubo CloudはRancherベースの管理基盤を標準搭載しており、こうしたノードとボリュームの対応関係を可視化した上で運用できる点が、この種のトラブルの再発防止に効いてくる。

5. ZFSのスナップショットは「バックアップ」にならない

section05

容量とスケジューリングの問題を乗り越えても、もう一つ整理しておくべき論点がある。「スナップショットさえ取っておけばバックアップは万全」という誤解だ。

ZFSのスナップショットは、OpenZFS公式ドキュメントによれば「ある時点でのデータセットの一貫したイメージであり、その時点までに完了したすべての変更を含む」ものとして定義されている。これは非常に強力な機能だが、あくまでストレージレイヤーでの一時点コピーであり、Kubernetesクラスタの状態そのもの(etcdに保存されたリソース定義)を守るものではない。

Kubernetesクラスタの状態はetcdに保存されており、公式ドキュメントは「etcd v3はディザスタリカバリのためにスナップショットとリストアの仕組みを提供し、v3キーデータを失うことなくクラスタを再構築できる」と説明している。つまりetcdのスナップショットはクラスタの構成情報(Deployment、Service、Secretなど)を守るものであり、PVC/PVの実データそのものを守るわけではない。

一方、Velero公式ドキュメントは、VeleroがKubernetesオブジェクトをオブジェクトストレージにアーカイブすると同時に、「指定があればクラウドプロバイダーAPIを呼び出して永続ボリュームのディスクスナップショットを作成する」と説明している。つまりVeleroは、APIリソースとPVデータの両方をカバーできる、より広い防御レイヤーだ。

  • ハイパーバイザーのスナップショット(Proxmoxのスナップショット等): VMディスクの一時点コピー。K3sノード単位の復旧には使えるが、クラスタ全体の整合性は保証しない
  • etcdスナップショット: クラスタの構成情報を守る。PVC/PVの実データは対象外
  • Velero: APIリソース+PVデータの両方を対象にできるが、導入・運用は別途必要

この3層は役割が異なり、どれか1つだけに頼ると、実際に障害が起きた時に「思っていたものが復旧できない」という事態を招く。

6. まとめ——ノードローカルストレージに頼る前に確認すべきこと

section06

K3sのPVCがPendingのまま戻ってこないという症状の裏側には、単純な設定ミスではなく、local-path-provisionerが容量を見ていないという設計上の事実が隠れていることが多い。さらにハイパーバイザーのthin provisioning、ノードアフィニティの制約、バックアップの誤解が重なると、根本原因の特定はさらに難しくなる。

この記事で扱った4つのポイントを、運用チェックリストとして振り返っておきたい。

  • 容量監視: PVCの宣言容量ではなく、ノード単位のディスク使用率を監視しているか
  • thin provisioning監視: ハイパーバイザーのストレージプール全体の物理使用率を、VM単位の表示だけでなく確認しているか
  • ノードアフィニティ運用: ノードの再構築・VMの再配置がPVの詰みに直結する前提で、運用フローを設計しているか
  • 3層バックアップ: ハイパーバイザースナップショット・etcdスナップショット・Velero(PVデータ含む)の役割の違いを理解し、必要な層を組み合わせているか

これらを自前のProxmox+K3s環境で一つひとつ設計・監視していくのは、決して軽い作業ではない。ストレージ設計まで含めてクラスタ運用を任せたいのであれば、Kubo On-Premiseのような選択肢も検討する価値がある。自社のインフラ(Proxmoxを含む)の上に構築しながら、ストレージ設計や監視の勘所を含めてフルマネージドなKubernetes運用を実現できるからだ。

もちろん、まずはパブリッククラウド上でのマネージドK8sを試してみたいという場合は、KuboのCloud版でも同様にストレージ設計を含めた運用ノウハウが組み込まれている。K3sベースの軽量な構成でありながら、EKSやAKSと比べても月額コストを抑えられる点は、こうした地道な運用設計コストを考えるとなおさら見逃せないポイントだろう。

自前でノードローカルストレージの罠と向き合い続けるか、設計ごとマネージドサービスに任せるか——判断に迷ったら、お問い合わせから一度相談してみてほしい。

Related articles

← Back to all posts