K3sでエッジAI推論基盤を組んだら、1台のGPUに2つのモデルを乗せられなかった。fractional GPUという壁
K3sでエッジAI推論基盤を構築する際、標準KubernetesのGPUリソース管理(整数単位・request=limit固定)が壁になる。1台のGPUに複数モデルを同居させる方法とtime-slicing導入時の注意点を解説する。
#gpu-scheduling
Articles tagged with "gpu-scheduling"
Kubernetesは10年前と同じ設計のままでいいのか。AI推論ワークロードのためにK3sクラスタが見直すべき3つの前提
Kubernetesが登場して10年。AIエージェント・LLM推論の普及で、GPUリソースの扱い方、オートスケーリング、推論サービングという3つの前提が根本から変わった。K3sクラスタでDynamic Resource Allocation・KEDA・KServeをどう見直すべきかを解説する。
AIがコードを書ける時代に、なぜインフラエンジニアの給料は上がったのか。企業のAI導入ラッシュが生んだ「MLOps人材不足」の実態
生成AIの普及でコードは誰でも書ける時代になったが、企業のAI導入が進むほどKubernetes上でGPUやモデルサービングを安定運用できるMLOps人材の需要は逆に高まっている。その理由と解決策を解説する。