GPUメモリ不足でAIトレーニングジョブがOOMKilled。K3sでVPAが効かない理由とリソース設計
K3s上でAIトレーニングジョブがGPUメモリ不足でOOMKilledされる原因と、Vertical Pod Autoscalerが GPU リソースには効かない理由を解説。requests/limitsの正しい見積もり方法と実測ベースの設計手順まで、運用者向けに具体的に紹介します。
Page 5 — Technical articles on Kubernetes, K3s, and Proxmox
K3s上でAIトレーニングジョブがGPUメモリ不足でOOMKilledされる原因と、Vertical Pod Autoscalerが GPU リソースには効かない理由を解説。requests/limitsの正しい見積もり方法と実測ベースの設計手順まで、運用者向けに具体的に紹介します。
K3sでTraefik無効化を実行したのにingress-nginxが443番ポートを取れない――原因はServiceLB(klipper-lb)というもう一つのデフォルトコンポーネント。診断から正しい無効化手順、MetalLB併用時の注意まで解説する。
K3sでリソース最適化ツールを有効化した直後、全レプリカが同時に退避され503が発生した実例をもとに、Podが一斉に退避されるメカニズムと、PodDisruptionBudgetのminAvailable設定による具体的な防御方法をエンジニア向けに詳しく解説する。
Proxmoxで本番運用中のK3sクラスタのストレージが逼迫した時、無停止で拡張したつもりが反映されない典型的な原因(ディスクコントローラ設定)と、CephでOSDを追加する際にK3sのetcdクォーラムが受ける影響、公式ドキュメントに基づく正しい拡張手順を具体的に解説する。
K3s/KubernetesのCronJobは「Succeeded」表示のまま実行されないことがある。concurrencyPolicy・startingDeadlineSeconds・100回ミス上限・Exit Code 0が重なって起きる静かな失敗の仕組みと監視での防ぎ方を解説する。
K3sで外部APIへの接続が時々タイムアウトする間欠障害の正体は、ndots:5によるDNSクエリ増幅とUDP conntrackレースの複合要因にある。NodeLocal DNSCacheの効果と副作用、K3s固有のcoredns-custom永続化まで解説する。
K3sのPVCがPending状態から戻らない原因は、local-path-provisionerが容量制限を無視する設計にある。ハイパーバイザーのthin provisioning、Volume Node Affinity Conflict、バックアップの誤解まで、K3sのローカルストレージ設計の落とし穴を解説する。
K3sでHPAのCPU/メモリベースのスケーリングでは対応しきれないイベント駆動ワークロードに直面したとき、標準のHPAを使い続けるべきか、CNCF GraduatedプロジェクトのKEDAを導入すべきか。3つの判断基準とK3s環境での注意点を整理する。
Proxmox上のK3sコントロールプレーンVMをライブマイグレーションした際にetcdクォーラムが崩れる仕組みを、heartbeat/election-timeoutとProxmoxのaffinity設計から解説。実運用で使える具体的な対策手順を紹介する。
K3sクラスタでDocker Hubのpull rate limitに阻まれた経験はないか。HarborプライベートレジストリのProxy Cache機能で制限を回避し、脆弱性スキャン・署名・本番運用設計まで解説する。