Skip to main content

HPAの設定は合っている。なのにPodが増えない。K3sで起きる『メトリクス不明』の正体とHPA/VPAの死のスパイラル

HPAのYAMLは正しいのに、Podが1つも増えない

K3sクラスタにHorizontalPodAutoscaler(HPA)を設定した。kubectl applyは成功した。CPU使用率のしきい値も、min/maxレプリカ数も、マニフェストを何度読み返しても間違っていない。それなのに、負荷が上がってもPodは1つも増えない。K3sでHPAがスケールしないという相談は、実は原因の9割が「HPA自体のバグ」ではなく、その手前の層——リソース設定とメトリクスパイプライン——に潜んでいます。

section01

kubectl get hpaを実行してTARGETS列が<unknown>/50%のまま張り付いているなら、それはHPAが壊れているのではなく、HPAが必要な情報を受け取れていないサインです。この記事では、K3s運用で頻発する3つの根本原因と、3分で層を切り分ける診断手順、そして再発させない設計を解説します。オートスケールの挙動を可視化する監視基盤(KuboにはPrometheus + Grafanaが標準搭載されている)があるかどうかで、原因特定にかかる時間は大きく変わります。

原因1: リソースリクエスト未設定という「サイレントな無効化」

最も見落とされがちな原因が、コンテナのresources.requests未設定です。Kubernetesの公式HorizontalPodAutoscalerウォークスルーでは、対象Deploymentに必ずrequests.cpuを明示した例が示されており、HPAはこの値を分母にして使用率(utilization)を計算します。

厄介なのは、リクエストが未設定でもHPAコントローラーはエラーを吐かないという点です。ある解説記事は「HPAはリソースリクエストが定義されていることを前提としており、リクエストがなければ使用率を計算できない」と指摘しています(oneuptime.comの解説)。つまり設定ミスとして表面化せず、該当メトリクスが黙ってスキップされ、HPAは「何もすべきことがない」状態のまま動き続けます。監視しているつもりで、実は何も監視できていない——このサイレントな無効化が、K3s本番環境で最も多いHPA不発の原因です。

section02

原因2: メトリクスパイプラインの遅延(kubelet→metrics-server→HPA)

リクエストが正しく設定されていても、まだ油断はできません。HPAが参照する使用率データは、kubelet → Metrics Server → HPAコントローラー → スケジューラ → Pod起動 → readinessプローブという経路を通って初めて反映されます。kubernetes-sigs/metrics-serverのFAQによれば、metrics-serverのデフォルトのスクレイプ間隔は60秒で、15秒未満に設定することは推奨されていません(kubeletが計算するメトリクス自体の解像度がそれ以上細かくならないため)。

この収集間隔に加えて、HPAコントローラーの評価サイクル、Podのスケジューリング、コンテナ起動、readinessプローブの通過時間が積み重なり、トラフィック急増から実際にスケール完了するまで数十秒〜数分のラグが生じるのが構造上の前提です。「HPAが遅い」と感じたら、それは故障ではなくパイプラインの物理的な特性であるケースが多く、まずこの遅延を前提にアラート閾値や負荷試験のシナリオを設計する必要があります。

section03

小規模なK3sクラスタでも同じ経路が使われるため、metrics-serverのGitHubリポジトリが案内する構成要件(アグリゲーションレイヤーの有効化、kubelet証明書の検証設定など)を満たしていないと、パイプラインの入口でメトリクス自体が取得できません。K3sは軽量ディストリビューションゆえに一部コンポーネントが省略構成になっていることがあり、metrics-serverの正常デプロイ確認は診断の初手になります。

原因3: HPAとVPAの「死のスパイラル」

リクエストも設定済み、メトリクスも取得できている。それでもスケール挙動が不安定——Pod数が増減を繰り返す、あるいは想定より過剰にスケールアウトする——場合、VerticalPodAutoscaler(VPA)との併用を疑うべきです。

ScaleOpsの分析記事は、HPAとVPAが同一メトリクスを対象にしたときに起きる自己強化ループを次のように説明しています。HPAが水平にスケールすると1Pod当たりの負荷が下がり、VPAはこれを「リクエストを下げてよい」根拠として学習します。VPAがリクエストを下げると、HPAの使用率計算の分母(リクエスト値)が小さくなるため、同じ絶対使用量でも使用率が跳ね上がったように見え、HPAはさらにスケールアウトしようとします。この繰り返しがいわゆる**「HPA/VPAの死のスパイラル」**です。

VPAのCRD設計はリクエスト自動調整を前提としており、HPAとの役割分担を意識せず両方をAutoモードで同一ワークロードに適用すると、この構造的な不整合が顕在化します。

section04

診断手順: 3分でボトルネックの層を切り分ける

原因が3層に分かれる以上、闇雲にYAMLを読み直すより、順序立てた切り分けの方が速く解決します。codewithkaraniの診断ガイドが整理するkubectl describe hpaのConditions確認フローが有効です。

  1. kubectl describe hpa <name> -n <namespace>を実行し、Conditionsを上から順に確認するAbleToScale: Falseならスケール対象の参照設定やRBAC権限の問題、ScalingActive: Falseなら「no metrics returned」(metrics-server側の問題)か「missing request for cpu」(リクエスト未設定)かをメッセージで判別できます。ScalingLimited: Trueはmin/maxの境界に到達しているだけで、故障ではありません。
  2. kubectl top podsとkubectl top nodesでmetrics-server自体が値を返せているか確認する ここで値が取れなければ、原因はHPAではなくmetrics-serverの構成不備です。
  3. kubectl get deployment <name> -o jsonpath='{.spec.template.spec.containers[0].resources}'でリクエスト設定を直接確認するrequestsが空であれば、原因1が確定します。
  4. 同一ワークロードにVPAが適用されていないか確認する VPAオブジェクトのupdateModeがAutoかつHPAと同一メトリクスを見ている場合、原因3の死のスパイラルを疑います。

section05

対策設計: リクエスト設定・stabilizationWindow・KEDAへの移行判断

診断で原因が特定できたら、再発させない設計に落とし込みます。

  • リクエストは実測値ベースで設定する: プレースホルダー的な低い値ではなく、通常負荷時の実測CPU/メモリ消費に基づいてrequestsを設定します。
  • HPAとVPAは同一メトリクスで併用しない: CPUでHPAを使うなら、VPAはメモリのみを対象にするか、updateMode: "Off"または"Initial"にして自動調整を無効化し、推奨値の参考表示に留めます。
  • スケールダウンのstabilizationWindowを調整する: 頻繁な増減(フラッピング)を防ぐため、スケールダウン側に十分な安定化ウィンドウを設定し、急な負荷低下で即座にPodを減らさないようにします。
  • キュー長やイベント数が先行指標になる場合はKEDAへの移行を検討する: CPU/メモリだけでは負荷の予兆を捉えきれないワークロード(メッセージキュー処理など)には、KEDA公式サイトが提供するイベント駆動型のスケーリングが適しています。KEDAはHPAを置き換えるのではなく、その上位でスケーリングトリガーを拡張する形で共存できる設計です。

section06

これらの設計変更は、いずれも「メトリクスが正しく見えている」ことが前提です。設定を書いた時点では安心できず、実際にPrometheusやGrafanaでリクエスト値・使用率・スケール履歴を可視化して初めて、設計が機能しているかを検証できます。KuboはPrometheus + Grafanaを標準搭載しており、metrics-serverの遅延やHPA/VPAのスケール挙動をダッシュボードで即座に確認できます。

まとめ: オートスケールは「入れて終わり」ではなく「観測して終わり」

K3sでHPAがスケールしない場合、多くはHPA自体の不具合ではなく、リソースリクエストの未設定、metrics-serverの構成不備や収集間隔による遅延、そしてHPA/VPAの設計不整合という3つの層のどこかに原因があります。kubectl describe hpaのConditionsを起点に層を切り分ければ、闇雲な試行錯誤を避けられます。

もう一つ重要なのは、オートスケールは設定して終わりではなく、継続的に観測して初めて機能を保証できるという点です。監視基盤をゼロから構築する負荷が高いなら、Kubo CloudのようにK3sベースでPrometheus + Grafanaが標準搭載されたマネージドK8sを検討する価値があります。AWSのEKSやAzureのAKSに比べて低コストでありながら標準Kubernetesとの互換性を保ち、この記事で紹介した診断作業をダッシュボード上で完結できます。オートスケールの設計に自信が持てないなら、まずはお問い合わせから相談してみてください。

Related articles

← Back to all posts