1. なぜ「10年前の設計」のままではAIワークロードを支えられないのか
Kubernetesが広く使われ始めてから、すでに10年近くが経ちました。当時の主な課題は、マイクロサービス化されたステートレスなWebアプリケーションを、いかに宣言的かつ再現性高くデプロイするかという点にありました。Podを増減させ、Serviceで負荷分散し、CPUとメモリの使用率を見ながらオートスケールする。この設計思想は今も多くのクラスタで有効に機能しています。
しかし、AIエージェントやLLM推論のワークロードが本番環境に持ち込まれたことで、状況は変わりました。推論処理はGPUメモリの占有量やリクエストの待ち行列といった、従来のCPU/メモリ中心の指標では見えない制約に支配されます。K3sベースでクラスタを運用しているチームであっても、「GPUの数え方」「スケーリングの見方」「サービングの作り方」という3つの前提を見直さなければ、AIワークロードを安定して支えることは難しくなっています。マネージドサービスとしてのKuboも、この前提の変化を踏まえてK3sクラスタの設計をアップデートし続けています。
2. 前提1 — GPUは「数えられる整数リソース」という前提

これまでKubernetesでGPUを扱う標準的な方法は、NVIDIA Device Pluginを使って「GPUが何個あるか」をノードごとにカウントし、Podがnvidia.com/gpu: 1のように整数で要求するというものでした。この方式では、GPUのモデルや世代、メモリ容量、トポロジーといった属性を考慮した割り当てができません。
この制約を解消するのが、Kubernetes 1.34で正式に一般提供(GA)となったDynamic Resource Allocation(DRA)です。Kubernetesの公式ブログによれば、DRAはGPUやFPGAのような特殊なハードウェアを、ワークロード側が必要な属性を宣言し、スケジューラがマッチングして割り当てる仕組みに変えるものです。ResourceClaimやDeviceClassといったAPIがv1として安定化し、デフォルトで有効になりました。
NVIDIAが提供するDRAドライバは、この仕組みをさらに実用的にしています。NVIDIA GPU Operatorの公式ドキュメントでは、GPUをモデル・アーキテクチャ・メモリ容量・UUID・PCIトポロジーといった属性で選択できる点、そしてMIG(Multi-Instance GPU)による分割やタイムスライシングによって、1台のGPUを複数のワークロードで安全に共有できる点が説明されています。従来のDevice Pluginがノードのkubelet可用性しか把握できなかったのに対し、DRAはDCGM経由でデバイスの健全性まで監視できる点も大きな違いです。
「GPU=数えられる整数」という前提から、「GPU=属性を持つ宣言的リソース」という前提への転換は、AI推論クラスタの設計そのものを変えます。Kubo CloudのようなマネージドK3s基盤を選ぶことで、こうした最新のリソースモデルへの追従をゼロから自前で追いかける負担を減らせます。
3. 前提2 — HPAで十分という前提

標準のHorizontal Pod Autoscaler(HPA)は、CPU使用率とメモリ使用率を見て水平スケールするという前提で設計されています。ところがAI推論のワークロードでは、CPU使用率が平常に見えていても、GPU側のキューが溢れて応答が遅延しているというケースが起こります。CNCFのブログでは、この状況を「実際に処理を担っているGPUが、標準のオートスケーリングの視野からは見えなくなっている」と表現し、GPUのアクセラレータ容量が無駄になり、推論のレイテンシが悪化する原因になっていると指摘されています(CNCF公式ブログ)。
この課題に対応するのが、Kubernetes Event-driven Autoscaling(KEDA)です。KEDA公式ドキュメントにある通り、KEDAのスケーラーはKafkaやPrometheusといった外部のメトリクスやイベントソースを見て、デプロイメントの有効化・無効化やカスタムメトリクスに基づくスケーリングを行えます。推論の待ち行列の長さやGPU使用率といった、HPAでは扱えない指標をトリガーにできる点が、AI推論ワークロードとの相性の良さにつながっています。
実際の統合例として、Red Hat Developerの記事では、Kueueによるジョブキューイングと、KEDAによるGPU使用率ベースのスケールトゥーゼロを組み合わせ、アイドル状態のワークロードを縮退させて待機中の別ジョブにGPUを明け渡す仕組みが紹介されています(Red Hat Developer)。MicrosoftのAKSエンジニアリングブログでも、KEDAのイベント駆動型スケーリングで推論リクエストの滞留前に追加インスタンスを立ち上げるアプローチが解説されています(AKS Engineering Blog)。
こうした仕組みは、深夜や休日にGPUを稼働させ続けて無駄なコストを発生させる問題を根本から解決します。Kubo CloudはPrometheus + Grafanaを標準搭載しており、GPU使用率や推論キューの深さといったメトリクス基盤をゼロから構築する必要がありません。
4. 前提3 — 推論サービングは自前のHTTPサーバーで十分という前提

LLM推論をFlaskやFastAPIで書いた自前のHTTPサーバーに単純にラップするだけでは、モデルの切り替えやカナリアデプロイ、複数モデルへのトラフィック分割といった本番運用の要件にすぐ行き詰まります。
推論エンジンの層では、vLLMが事実上の標準になりつつあります。vLLM公式ブログでは、PagedAttentionというアルゴリズムによってKVキャッシュのメモリ断片化を大幅に削減し、HuggingFace Transformers比で最大24倍のスループットを達成したことが報告されています。仮想メモリ管理から着想を得たこの手法は、GPUメモリという限られたリソースを無駄にしないための鍵になっています。
その上に乗るサービング層としては、KServeが代表的な選択肢です。KServe公式ドキュメントによれば、KServeはオートスケーリング・ネットワーキング・ヘルスチェックの複雑さをKubernetesのカスタムリソースの背後に隠し、vLLMのような推論エンジンをバックエンドに、標準化された推論プロトコルとスケールトゥーゼロを含むサーバーレス的なスケーリングを提供します。自前で制御層を組み上げるのではなく、Kubernetesネイティブな仕組みに乗ることで、モデル追加やトラフィック制御の柔軟性が変わります。
AIエージェントやLLM推論の基盤を本番運用するなら、こうしたサービング層の設計をインフラの土台から支える必要があります。Kuboの上でCaptain.AIのようなAIエージェント実行基盤を動かす構成は、この考え方と相性の良い選択肢の一つです。
5. K3sという選択肢 — 身軽さとAI基盤の両立

「軽量なKubernetesディストリビューション」というK3sのイメージから、AI推論基盤としては非力なのではと思われがちですが、実際にはK3sもGPUワークロードに正面から対応しています。K3s公式ドキュメントでは、NVIDIA Container Runtimeのパッケージを導入すればK3sが自動的にcontainerdのランタイムとして検出・設定し、デフォルトランタイムに設定していない場合はPod仕様でruntimeClassName: nvidiaを明示すればGPUを利用できることが説明されています。
さらにNVIDIA GPU Operatorのドキュメントでは、K3sやRKE2のようにcontainerdの設定パスが標準と異なる環境向けに、NRI(Node Resource Interface)プラグインを使うことで環境変数の手動設定が不要になる点が紹介されています(NVIDIA GPU Operator ドキュメント)。つまり、DRAやMIGといった最新のGPUリソースモデルも、K3sクラスタの上でそのまま利用できるということです。
軽量であることと、AI時代のインフラ要件を満たすことは矛盾しません。KuboはK3sベースでありながらRancher管理基盤・GitOps対応・証明書自動管理を備え、EKSやAKSと比較しても月額48,000円からという価格でフルスペックのKubernetes運用を実現しています。GPU対応のワークロードをこの基盤の上に載せることで、AI推論のためだけに別のインフラをゼロから構築する必要がなくなります。
6. まとめ
Kubernetesが登場してからの10年で、インフラに求められるものは大きく変わりました。それでもKubernetesという抽象化レイヤー自体は、姿を変えながら生き残り続けています。その理由は、GPUの割り当て方をDynamic Resource Allocationで、スケーリングの判断基準をKEDAで、モデルサービングの構成をKServe/vLLMで、というように、コミュニティが前提そのものをアップデートし続けているからです。
K3sクラスタを運用しているなら、まずは自分たちのクラスタがどの前提の上に立っているかを棚卸しすることから始められます。AIエージェントを本番投入する計画があるなら、堅牢なインフラの土台を整えることが最初の一歩です。Kuboであれば、こうしたAI時代のワークロードを支える基盤をすぐに構築でき、その上でCaptain.AIを動かすところまで一気通貫で進められます。まずはお問い合わせから、自分たちのクラスタに必要な見直しポイントを相談してみてください。