#fractional-gpu

K3sでエッジAI推論基盤を組んだら、1台のGPUに2つのモデルを乗せられなかった。fractional GPUという壁

K3sでエッジAI推論基盤を構築する際、標準KubernetesのGPUリソース管理(整数単位・request=limit固定)が壁になる。1台のGPUに複数モデルを同居させる方法とtime-slicing導入時の注意点を解説する。