[{"data":1,"prerenderedAt":313},["ShallowReactive",2],{"blog-ja-k3s-ai-inference-gpu-scheduling-dra-keda-kserve":3,"blog-related-ja-k3s-ai-inference-gpu-scheduling-dra-keda-kserve":259,"blog-ja-k3s-ai-inference-gpu-scheduling-dra-keda-kserve-alt":247},{"id":4,"title":5,"author":6,"body":7,"date":241,"description":242,"extension":243,"image":244,"locale":245,"meta":246,"navigation":247,"path":248,"seo":249,"stem":250,"tags":251,"__hash__":258},"blog\u002Fblog\u002Fja\u002Fk3s-ai-inference-gpu-scheduling-dra-keda-kserve.md","Kubernetesは10年前と同じ設計のままでいいのか。AI推論ワークロードのためにK3sクラスタが見直すべき3つの前提","Kubo Team",{"type":8,"value":9,"toc":231},"minimark",[10,15,19,30,34,41,49,58,67,75,79,85,94,103,117,124,128,134,137,146,155,168,172,178,191,200,207,211,214],[11,12,14],"h2",{"id":13},"_1-なぜ10年前の設計のままではaiワークロードを支えられないのか","1. なぜ「10年前の設計」のままではAIワークロードを支えられないのか",[16,17,18],"p",{},"Kubernetesが広く使われ始めてから、すでに10年近くが経ちました。当時の主な課題は、マイクロサービス化されたステートレスなWebアプリケーションを、いかに宣言的かつ再現性高くデプロイするかという点にありました。Podを増減させ、Serviceで負荷分散し、CPUとメモリの使用率を見ながらオートスケールする。この設計思想は今も多くのクラスタで有効に機能しています。",[16,20,21,22,29],{},"しかし、AIエージェントやLLM推論のワークロードが本番環境に持ち込まれたことで、状況は変わりました。推論処理はGPUメモリの占有量やリクエストの待ち行列といった、従来のCPU\u002Fメモリ中心の指標では見えない制約に支配されます。K3sベースでクラスタを運用しているチームであっても、「GPUの数え方」「スケーリングの見方」「サービングの作り方」という3つの前提を見直さなければ、AIワークロードを安定して支えることは難しくなっています。マネージドサービスとしての",[23,24,28],"a",{"href":25,"rel":26},"https:\u002F\u002Fkubo.hexabase.io\u002F",[27],"nofollow","Kubo","も、この前提の変化を踏まえてK3sクラスタの設計をアップデートし続けています。",[11,31,33],{"id":32},"_2-前提1-gpuは数えられる整数リソースという前提","2. 前提1 — GPUは「数えられる整数リソース」という前提",[16,35,36],{},[37,38],"img",{"alt":39,"src":40},"従来のNVIDIA Device PluginとDynamic Resource Allocationの比較図","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-ai-inference-gpu-scheduling-dra-keda-kserve\u002Fsection01.webp",[16,42,43,44,48],{},"これまでKubernetesでGPUを扱う標準的な方法は、NVIDIA Device Pluginを使って「GPUが何個あるか」をノードごとにカウントし、Podが",[45,46,47],"code",{},"nvidia.com\u002Fgpu: 1","のように整数で要求するというものでした。この方式では、GPUのモデルや世代、メモリ容量、トポロジーといった属性を考慮した割り当てができません。",[16,50,51,52,57],{},"この制約を解消するのが、Kubernetes 1.34で正式に一般提供(GA)となったDynamic Resource Allocation(DRA)です。",[23,53,56],{"href":54,"rel":55},"https:\u002F\u002Fkubernetes.io\u002Fblog\u002F2025\u002F09\u002F01\u002Fkubernetes-v1-34-dra-updates\u002F",[27],"Kubernetesの公式ブログ","によれば、DRAはGPUやFPGAのような特殊なハードウェアを、ワークロード側が必要な属性を宣言し、スケジューラがマッチングして割り当てる仕組みに変えるものです。ResourceClaimやDeviceClassといったAPIがv1として安定化し、デフォルトで有効になりました。",[16,59,60,61,66],{},"NVIDIAが提供するDRAドライバは、この仕組みをさらに実用的にしています。",[23,62,65],{"href":63,"rel":64},"https:\u002F\u002Fdocs.nvidia.com\u002Fdatacenter\u002Fcloud-native\u002Fgpu-operator\u002Flatest\u002Fdra-intro-install.html",[27],"NVIDIA GPU Operatorの公式ドキュメント","では、GPUをモデル・アーキテクチャ・メモリ容量・UUID・PCIトポロジーといった属性で選択できる点、そしてMIG(Multi-Instance GPU)による分割やタイムスライシングによって、1台のGPUを複数のワークロードで安全に共有できる点が説明されています。従来のDevice Pluginがノードのkubelet可用性しか把握できなかったのに対し、DRAはDCGM経由でデバイスの健全性まで監視できる点も大きな違いです。",[16,68,69,70,74],{},"「GPU=数えられる整数」という前提から、「GPU=属性を持つ宣言的リソース」という前提への転換は、AI推論クラスタの設計そのものを変えます。",[23,71,73],{"href":25,"rel":72},[27],"Kubo Cloud","のようなマネージドK3s基盤を選ぶことで、こうした最新のリソースモデルへの追従をゼロから自前で追いかける負担を減らせます。",[11,76,78],{"id":77},"_3-前提2-hpaで十分という前提","3. 前提2 — HPAで十分という前提",[16,80,81],{},[37,82],{"alt":83,"src":84},"HPAとKEDAのスケーリング判断フロー比較図","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-ai-inference-gpu-scheduling-dra-keda-kserve\u002Fsection02.webp",[16,86,87,88,93],{},"標準のHorizontal Pod Autoscaler(HPA)は、CPU使用率とメモリ使用率を見て水平スケールするという前提で設計されています。ところがAI推論のワークロードでは、CPU使用率が平常に見えていても、GPU側のキューが溢れて応答が遅延しているというケースが起こります。CNCFのブログでは、この状況を「実際に処理を担っているGPUが、標準のオートスケーリングの視野からは見えなくなっている」と表現し、GPUのアクセラレータ容量が無駄になり、推論のレイテンシが悪化する原因になっていると指摘されています(",[23,89,92],{"href":90,"rel":91},"https:\u002F\u002Fwww.cncf.io\u002Fblog\u002F2026\u002F05\u002F27\u002Fgpu-autoscaling-on-kubernetes-with-keda-building-an-external-scaler\u002F",[27],"CNCF公式ブログ",")。",[16,95,96,97,102],{},"この課題に対応するのが、Kubernetes Event-driven Autoscaling(KEDA)です。",[23,98,101],{"href":99,"rel":100},"https:\u002F\u002Fkeda.sh\u002Fdocs\u002F2.20\u002Fscalers\u002F",[27],"KEDA公式ドキュメント","にある通り、KEDAのスケーラーはKafkaやPrometheusといった外部のメトリクスやイベントソースを見て、デプロイメントの有効化・無効化やカスタムメトリクスに基づくスケーリングを行えます。推論の待ち行列の長さやGPU使用率といった、HPAでは扱えない指標をトリガーにできる点が、AI推論ワークロードとの相性の良さにつながっています。",[16,104,105,106,111,112,93],{},"実際の統合例として、Red Hat Developerの記事では、Kueueによるジョブキューイングと、KEDAによるGPU使用率ベースのスケールトゥーゼロを組み合わせ、アイドル状態のワークロードを縮退させて待機中の別ジョブにGPUを明け渡す仕組みが紹介されています(",[23,107,110],{"href":108,"rel":109},"https:\u002F\u002Fdevelopers.redhat.com\u002Farticles\u002F2025\u002F08\u002F26\u002Foptimize-gpu-utilization-kueue-and-keda",[27],"Red Hat Developer",")。MicrosoftのAKSエンジニアリングブログでも、KEDAのイベント駆動型スケーリングで推論リクエストの滞留前に追加インスタンスを立ち上げるアプローチが解説されています(",[23,113,116],{"href":114,"rel":115},"https:\u002F\u002Fblog.aks.azure.com\u002F2026\u002F02\u002F03\u002Fautoscale-inference-workloads-with-kaito",[27],"AKS Engineering Blog",[16,118,119,120,123],{},"こうした仕組みは、深夜や休日にGPUを稼働させ続けて無駄なコストを発生させる問題を根本から解決します。",[23,121,73],{"href":25,"rel":122},[27],"はPrometheus + Grafanaを標準搭載しており、GPU使用率や推論キューの深さといったメトリクス基盤をゼロから構築する必要がありません。",[11,125,127],{"id":126},"_4-前提3-推論サービングは自前のhttpサーバーで十分という前提","4. 前提3 — 推論サービングは自前のHTTPサーバーで十分という前提",[16,129,130],{},[37,131],{"alt":132,"src":133},"vLLMとKServeの2層推論サービングアーキテクチャ図","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-ai-inference-gpu-scheduling-dra-keda-kserve\u002Fsection03.webp",[16,135,136],{},"LLM推論をFlaskやFastAPIで書いた自前のHTTPサーバーに単純にラップするだけでは、モデルの切り替えやカナリアデプロイ、複数モデルへのトラフィック分割といった本番運用の要件にすぐ行き詰まります。",[16,138,139,140,145],{},"推論エンジンの層では、vLLMが事実上の標準になりつつあります。",[23,141,144],{"href":142,"rel":143},"https:\u002F\u002Fvllm.ai\u002Fblog\u002F2023-06-20-vllm",[27],"vLLM公式ブログ","では、PagedAttentionというアルゴリズムによってKVキャッシュのメモリ断片化を大幅に削減し、HuggingFace Transformers比で最大24倍のスループットを達成したことが報告されています。仮想メモリ管理から着想を得たこの手法は、GPUメモリという限られたリソースを無駄にしないための鍵になっています。",[16,147,148,149,154],{},"その上に乗るサービング層としては、KServeが代表的な選択肢です。",[23,150,153],{"href":151,"rel":152},"https:\u002F\u002Fkserve.github.io\u002Fwebsite\u002F",[27],"KServe公式ドキュメント","によれば、KServeはオートスケーリング・ネットワーキング・ヘルスチェックの複雑さをKubernetesのカスタムリソースの背後に隠し、vLLMのような推論エンジンをバックエンドに、標準化された推論プロトコルとスケールトゥーゼロを含むサーバーレス的なスケーリングを提供します。自前で制御層を組み上げるのではなく、Kubernetesネイティブな仕組みに乗ることで、モデル追加やトラフィック制御の柔軟性が変わります。",[16,156,157,158,161,162,167],{},"AIエージェントやLLM推論の基盤を本番運用するなら、こうしたサービング層の設計をインフラの土台から支える必要があります。",[23,159,28],{"href":25,"rel":160},[27],"の上で",[23,163,166],{"href":164,"rel":165},"https:\u002F\u002Fwww.hexabase.com\u002Fproduct\u002Fcaptain-ai\u002F",[27],"Captain.AI","のようなAIエージェント実行基盤を動かす構成は、この考え方と相性の良い選択肢の一つです。",[11,169,171],{"id":170},"_5-k3sという選択肢-身軽さとai基盤の両立","5. K3sという選択肢 — 身軽さとAI基盤の両立",[16,173,174],{},[37,175],{"alt":176,"src":177},"K3s GPU構成の4層アーキテクチャ図","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-ai-inference-gpu-scheduling-dra-keda-kserve\u002Fsection04.webp",[16,179,180,181,186,187,190],{},"「軽量なKubernetesディストリビューション」というK3sのイメージから、AI推論基盤としては非力なのではと思われがちですが、実際にはK3sもGPUワークロードに正面から対応しています。",[23,182,185],{"href":183,"rel":184},"https:\u002F\u002Fdocs.k3s.io\u002Fadvanced",[27],"K3s公式ドキュメント","では、NVIDIA Container Runtimeのパッケージを導入すればK3sが自動的にcontainerdのランタイムとして検出・設定し、デフォルトランタイムに設定していない場合はPod仕様で",[45,188,189],{},"runtimeClassName: nvidia","を明示すればGPUを利用できることが説明されています。",[16,192,193,194,199],{},"さらにNVIDIA GPU Operatorのドキュメントでは、K3sやRKE2のようにcontainerdの設定パスが標準と異なる環境向けに、NRI(Node Resource Interface)プラグインを使うことで環境変数の手動設定が不要になる点が紹介されています(",[23,195,198],{"href":196,"rel":197},"https:\u002F\u002Fdocs.nvidia.com\u002Fdatacenter\u002Fcloud-native\u002Fgpu-operator\u002Flatest\u002Fcdi.html",[27],"NVIDIA GPU Operator ドキュメント",")。つまり、DRAやMIGといった最新のGPUリソースモデルも、K3sクラスタの上でそのまま利用できるということです。",[16,201,202,203,206],{},"軽量であることと、AI時代のインフラ要件を満たすことは矛盾しません。",[23,204,28],{"href":25,"rel":205},[27],"はK3sベースでありながらRancher管理基盤・GitOps対応・証明書自動管理を備え、EKSやAKSと比較しても月額48,000円からという価格でフルスペックのKubernetes運用を実現しています。GPU対応のワークロードをこの基盤の上に載せることで、AI推論のためだけに別のインフラをゼロから構築する必要がなくなります。",[11,208,210],{"id":209},"_6-まとめ","6. まとめ",[16,212,213],{},"Kubernetesが登場してからの10年で、インフラに求められるものは大きく変わりました。それでもKubernetesという抽象化レイヤー自体は、姿を変えながら生き残り続けています。その理由は、GPUの割り当て方をDynamic Resource Allocationで、スケーリングの判断基準をKEDAで、モデルサービングの構成をKServe\u002FvLLMで、というように、コミュニティが前提そのものをアップデートし続けているからです。",[16,215,216,217,220,221,224,225,230],{},"K3sクラスタを運用しているなら、まずは自分たちのクラスタがどの前提の上に立っているかを棚卸しすることから始められます。AIエージェントを本番投入する計画があるなら、堅牢なインフラの土台を整えることが最初の一歩です。",[23,218,28],{"href":25,"rel":219},[27],"であれば、こうしたAI時代のワークロードを支える基盤をすぐに構築でき、その上で",[23,222,166],{"href":164,"rel":223},[27],"を動かすところまで一気通貫で進められます。まずは",[23,226,229],{"href":227,"rel":228},"https:\u002F\u002Fwww.hexabase.com\u002Fcontact-us\u002F",[27],"お問い合わせ","から、自分たちのクラスタに必要な見直しポイントを相談してみてください。",{"title":232,"searchDepth":233,"depth":233,"links":234},"",2,[235,236,237,238,239,240],{"id":13,"depth":233,"text":14},{"id":32,"depth":233,"text":33},{"id":77,"depth":233,"text":78},{"id":126,"depth":233,"text":127},{"id":170,"depth":233,"text":171},{"id":209,"depth":233,"text":210},"2026-08-31","Kubernetesが登場して10年。AIエージェント・LLM推論の普及で、GPUリソースの扱い方、オートスケーリング、推論サービングという3つの前提が根本から変わった。K3sクラスタでDynamic Resource Allocation・KEDA・KServeをどう見直すべきかを解説する。","md","https:\u002F\u002Fcdn.kubo.hexabase.io\u002Fimages\u002Fblog\u002Fk3s-ai-inference-gpu-scheduling-dra-keda-kserve\u002Feyecatch.webp","ja",{},true,"\u002Fblog\u002Fja\u002Fk3s-ai-inference-gpu-scheduling-dra-keda-kserve",{"title":5,"description":242},"blog\u002Fja\u002Fk3s-ai-inference-gpu-scheduling-dra-keda-kserve",[252,253,254,255,256,257],"k3s","kubernetes","ai-workload","gpu-scheduling","dynamic-resource-allocation","mlops","Fgu4AqGk-eML3X7BUYE13vX5Z_VE_vEaeuuxXiMmtYw",[260,268,278,285,294,304],{"path":261,"title":262,"description":263,"date":264,"tags":265},"\u002Fblog\u002Fja\u002Fkubernetes-mlops-gpu-scheduling-talent-shortage","AIがコードを書ける時代に、なぜインフラエンジニアの給料は上がったのか。企業のAI導入ラッシュが生んだ「MLOps人材不足」の実態","生成AIの普及でコードは誰でも書ける時代になったが、企業のAI導入が進むほどKubernetes上でGPUやモデルサービングを安定運用できるMLOps人材の需要は逆に高まっている。その理由と解決策を解説する。","2026-07-30",[253,252,257,266,255,267],"ai-infrastructure","devops",{"path":269,"title":270,"description":271,"date":272,"tags":273},"\u002Fblog\u002Fja\u002Fk3s-edge-ai-inference-fractional-gpu-time-slicing","K3sでエッジAI推論基盤を組んだら、1台のGPUに2つのモデルを乗せられなかった。fractional GPUという壁","K3sでエッジAI推論基盤を構築する際、標準KubernetesのGPUリソース管理(整数単位・request=limit固定)が壁になる。1台のGPUに複数モデルを同居させる方法とtime-slicing導入時の注意点を解説する。","2026-10-02",[252,253,274,255,275,276,277],"edge-ai","device-plugin","time-slicing","fractional-gpu",{"path":279,"title":280,"description":281,"date":282,"tags":283},"\u002Fblog\u002Fja\u002Fmlops-kubernetes-devops-ai-skills-2026","「DevOpsエンジニアは不要になる」は嘘だった。AI時代のKubernetes運用者が今すぐ身につけるべきMLOpsスキル5選","AIがインフラ構築を自動化する時代、DevOpsエンジニアは本当に不要なのか？実態は逆で、MLOps Kubernetesを扱える人材の需要が急増。2026年に求められる5つのスキルと具体的な習得法を解説。","2026-07-11",[253,257,267,252,284,266],"ci-cd",{"path":286,"title":287,"description":288,"date":289,"tags":290},"\u002Fblog\u002Fja\u002Fai-platform-kubernetes-convergence-2026","生成AIを動かす企業の66%がKubernetesを選んだ——AI基盤はなぜK8sに収束するのか","CNCF 2026年調査で生成AI組織の66%がKubernetesを採用。GPUスケジューリング、マルチテナント、コスト最適化——AIワークロードを本番で動かすためにK8sが選ばれる理由と、マネージドK8sで最短構築する方法を解説。","2026-07-10",[253,291,292,257,252,293],"ai","platform-engineering","gpu",{"path":295,"title":296,"description":297,"date":298,"tags":299},"\u002Fblog\u002Fja\u002Fk3s-longhorn-openebs-mayastor-storage-selection","Longhornで十分か、OpenEBS Mayastorが要るか。K3sストレージ選定を性能要件で決める","K3sのストレージ、まだ「とりあえずLonghorn」で決めていませんか。LonghornとOpenEBS Mayastorをハードウェア要件・レプリカ構成・性能特性という4つの軸で徹底比較し、本番導入前に後悔しない選定基準をチェックリスト形式でわかりやすく解説します。","2026-11-15",[252,253,300,301,302,303],"longhorn","openebs","mayastor","storage",{"path":305,"title":306,"description":307,"date":308,"tags":309},"\u002Fblog\u002Fja\u002Fk3s-proxmox-ceph-csi-rbd-multiattach-node-maintenance","Multi-Attach error for volume。ProxmoxのK3s+Ceph CSIでノードメンテ前に知っておくべきRBDロックの罠","Proxmox上のK3sでノードをdrainしたら、Ceph CSI(RBD)のPVがMulti-Attach errorでPending化した。原因はexclusive lockとwatcherの残存、フェンシングのレース条件。復旧コマンドとNetworkFenceによる恒久対策を解説する。","2026-11-14",[252,253,310,311,312,303],"proxmox","ceph-csi","rbd",1794902456088]