#ai-inference

推論が学習を逆転した。KubeCon Japanで語られた、AI時代のKubernetesクラスタ設計指針

AI計算需要は学習から推論へ逆転し、2030年には推論の計算能力が学習の1.5倍に達すると予測される。KubeCon Japanの議論とCNCF AI Conformance Programから、Kubernetes/K3sクラスタが備えるべき設計指針を解説する。