1. 「pingは通る、でもcurlが固まる」——K3sクラスタで起きる謎の遅延
K3sクラスタを運用していて、こんな症状に遭遇したことはないだろうか。Pod間でpingを打つと即座に応答が返ってくるのに、同じPod間でHTTPリクエストを送ると、コネクションは確立するのにレスポンスが返ってこないまま固まる。DNS解決は通ることもあれば、大きめのレコードだけタイムアウトすることもある。

再起動すれば直ることもあるので、多くのチームは「たまたま」で片付けてしまう。しかし、これは典型的なK3sオーバーレイネットワークのMTU不整合によって起きる現象だ。Dockerのオーバーレイネットワークでも同種の問題は知られており、コンテナ間通信がカプセル化技術(VXLANなど)を経由する構成であれば、K3s/Kubernetesに限らず起こりうる。本記事では、なぜこの症状が起きるのか、どう診断するのか、そしてどう恒久対策するのかを順に解説する。
原因は「Pod間の実効MTU」がクラスタ構築時の想定より小さくなっていることにある。K3sのデフォルトCNIであるFlannelは、VXLANバックエンドでPod間トラフィックをカプセル化する(K3s公式ドキュメント)。このカプセル化がオーバーヘッドを生み、条件によっては「小さいパケットは通るが、大きいパケットだけ消える」というやっかいな障害モードを引き起こす。
こうしたネットワーク層の落とし穴は、K3sクラスタを自前でゼロから設計・運用する際についてまわる「見えないコスト」でもある。実際、KuboのようなマネージドK3sサービスを検討する際は、こうした落とし穴がどこまで吸収された状態で提供されるかも、比較検討の軸に加えておきたい。
2. 犯人はVXLANのカプセル化オーバーヘッド——MTUが1500から削られる仕組み
なぜオーバーレイネットワークが必要なのか
Kubernetesは、異なるノード上のPod同士がそれぞれ固有のIPアドレスを持ち、NATなしで直接通信できることを前提に設計されている。この要件を満たすため、KubernetesはCNI(Container Network Interface)仕様に準拠したプラグインでPodネットワークを構築する(Kubernetes公式ドキュメント)。物理ネットワークがPodのIP体系をそのままルーティングできない環境では、VXLANのようなオーバーレイ技術でPod間通信をカプセル化し、既存のネットワーク経路の上に「仮想的な直接通信」を作り出す。

VXLANが追加する50バイトの内訳
VXLANの仕様を定めたRFC 7348によれば、VXLANは元のPodのEthernetフレームを、外側のEthernetヘッダー・IPヘッダー・UDPヘッダー・VXLANヘッダーの4層でカプセル化する。IPv4環境での典型的なオーバーヘッドは次の通りだ。
- 外側Ethernetヘッダー: 14バイト
- 外側IPv4ヘッダー: 20バイト
- 外側UDPヘッダー: 8バイト
- VXLANヘッダー: 8バイト
- 合計: 50バイト
つまり、物理ネットワークの標準MTUが1500バイトだとしても、VXLANでカプセル化されたPod間通信の実効MTUは1450バイトまで縮小する。CalicoのMTU設定ドキュメントでも、VXLAN(IPv4)利用時は「物理ネットワークMTUからオーバーヘッドを差し引いた値」を設定するよう明記されており、IPv4 VXLANなら1450、IP-in-IP(オーバーヘッド20バイト)なら1480が目安とされている(Calico公式ドキュメント)。
問題は、この「1450」という値がクラスタ全体で一貫していない場合に起きる。クラウド環境ではVPCのMTU、オンプレではスイッチのMTU、VPN経由のノード間通信ではVPNトンネルのMTUなど、経路上のどこか一箇所でもこの計算が狂うと、パケットは適切なサイズに収まらなくなる。
3. なぜ「Path MTU Discovery」が効かないのか——PMTUブラックホールの正体
本来のPMTUDの仕組み
TCP/IPには、送信元と宛先の間で実際に通過可能な最大パケットサイズを自動検出する仕組み「Path MTU Discovery(PMTUD)」が備わっている。IPv4パケットに設定される「Don't Fragment(DF)」フラグ付きのパケットが、経路上のどこかでMTUを超えた場合、そのルーターはパケットを破棄し、送信元に対してICMP「Fragmentation Needed」(Type 3, Code 4)メッセージを返す。送信元はこのICMPメッセージを受け取ることでMTUを縮小し、再送する(AWS公式ドキュメント、Path MTU Discovery – Wikipedia)。

ICMPがブロックされると「ブラックホール」になる
ところが、多くのクラウド環境・オーバーレイネットワーク・セキュリティグループでは、このICMPメッセージ自体がブロックされることがある。この場合、送信元はMTUが大きすぎることに気づけず、同じサイズのパケットを送り続け、それらは経路上で無言で破棄され続ける。この状態は一般に「PMTUブラックホール」と呼ばれる。
小さいパケット(pingのようなICMP Echoや、TCPの3ウェイハンドシェイク自体)は問題なく通過する一方、HTTPレスポンスのようにペイロードが大きいパケットだけが消えるため、「pingは通るのにHTTPだけ詰まる」という一見矛盾した症状が発生する。K3sクラスタがクラウド上のVPC・オンプレのファイアウォール・VPN機器などを経由する構成であるほど、この問題は起きやすくなる。
4. 実際に診断する——MTU不整合を特定する3つの確認ポイント
原因の仮説が立ったら、実際にクラスタで確認する。Flannel公式のトラブルシューティングガイドは、MTU起因の問題を切り分ける際に「ノードのインターフェース確認」「設定ファイルの確認」「コンテナ側の確認」という3段階のアプローチを案内している(flannel公式トラブルシューティングガイド)。ここでは、その3段階を実務で使う具体的なコマンドに落とし込んで示す。
ステップ1: ノードのネットワークインターフェースのMTUを確認する
ip link show <flannelが使用しているインターフェース名>
物理NIC・VPN・オーバーレイ用インターフェースなど、Flannelが実際に使用しているインターフェースのMTU値が、想定通りかを確認する。
ステップ2: Flannelが書き込んだsubnet.envの値と突合する
cat /run/flannel/subnet.env
FlannelはノードごとにこのファイルへMTU設定を書き込む。CNIプラグインはこの値を参照してPodのネットワーク設定を行うため、ここに記録された値が期待値(VXLANなら物理MTU − 50)と一致しているかを確認する。
ステップ3: Pod内の仮想インターフェースのMTUを確認する
kubectl exec <pod名> -- ip link show eth0
Pod内部のeth0(veth)に設定されているMTU値を確認する。ステップ1・2で確認した値とここでの値が食い違っている場合、CNI設定の反映漏れやノード間の設定不一致が疑われる。

いずれの確認でも異常が見当たらない場合は、クラスタ内部ではなく、クラウドプロバイダーのVPC設定やオンプレのスイッチ・ルーターなど、経路上の他のセグメントのMTU値を疑う必要がある。
5. 恒久対策——MSSクランプとクラウド別MTU設計
TCP MSSクランプでフラグメンテーション自体を回避する
PMTUブラックホールの根本原因はICMPがブロックされることにあるため、理想的な対策はICMP Type 3 Code 4を経路上のすべてのファイアウォールで許可することだ。しかし、経路上のすべてのネットワーク機器を自分たちで制御できるとは限らない。その場合の実務的な対策が「TCP MSSクランプ」だ。
MSSクランプは、TCPの3ウェイハンドシェイク時にやり取りされるMSS(Maximum Segment Size)値そのものを、経路の実効MTUに合わせて小さく書き換える手法だ。これにより、TCP自体が最初から小さいセグメントでしか送信しなくなり、PMTUDに依存せずにフラグメンテーション問題を回避できる。オーバーレイネットワークのインターフェースに対してiptablesの--clamp-mss-to-pmtuルールを適用するのが典型的な実装だ。
クラウド別のMTU設計値
クラウド環境ごとに、物理・仮想ネットワークのデフォルトMTUは異なる。VXLANオーバーヘッド(50バイト)を差し引いた値を、あらかじめPod側のMTUとして設計しておくことが望ましい。
| 環境 | ネットワークMTU | VXLAN利用時の推奨Pod MTU |
|---|---|---|
| 標準的なEthernet | 1500 | 1450 |
| AWS(ジャンボフレーム有効時) | 9001(AWS公式ドキュメント) | 8951 |
| GCP VPC(デフォルト) | 1460(GCP公式ドキュメント) | 1410 |
なお、AWSのVPCではインターネットゲートウェイを経由するトラフィックは1500バイトまでしか転送されないため、ノード間通信の経路によってはジャンボフレームが使えないケースもある点に注意したい(AWS公式ドキュメント)。こうしたクラウドごとの制約を踏まえてMTUを設計し直す作業は、地味だが本番障害を未然に防ぐ重要な工程だ。
こうした細かなネットワーク設計を毎回のクラスタ構築でゼロから検証するのは、決して小さくない運用コストだ。Kubo はK3sをベースにしたマネージドKubernetesサービスで、Flannel/CalicoのMTU設定を含むネットワーク層があらかじめ検証済みの状態で提供される。EKSやAKSを自前で構築する場合と比べても、月額48,000円〜という価格でこうした運用上の細部まで含めてカバーできる点が特徴だ。
6. まとめ
オーバーレイネットワークは、Kubernetesクラスタの中でも「普段は意識しない配線」だ。しかし、VXLANのカプセル化オーバーヘッドとPMTUブラックホールという2つの要因が重なると、「pingは通るのにHTTPだけ詰まる」という診断が難しい障害を引き起こす。
今回紹介した3ステップの診断手順——ノードNICのMTU確認、subnet.envとの突合、Pod内インターフェースの確認——を押さえておけば、原因不明に見えるネットワーク遅延も体系的に切り分けられるようになる。そしてMSSクランプやクラウド別のMTU設計は、一度決めて終わりではなく、クラスタを新しく構築するたびに再検証すべき項目だ。
EKS/AKSの高コスト・複雑さ・ベンダーロックインに悩む必要はもうない。K3sベースのKuboなら、こうしたネットワーク設計まで含めて検証済みの本格Kubernetes環境を、圧倒的なコスト効率で運用できる。MTU起因の障害対応に時間を溶かしたくないインフラチームは、お問い合わせから一度相談してみてほしい。