Skip to main content

ベアメタルK3sのLoadBalancer、ARPだけでは限界が来る。BGPで外部ルーティングを設計する

工場やデータセンターのラック、店舗バックヤードにK3sクラスタを置く。エッジKubernetesの導入が進むほど、必ずぶつかる壁がある。K3sのロードバランサーをBGPで設計するという、クラウドでは意識する必要のなかった課題だ。EKSやAKSならtype: LoadBalancerと書くだけで外部IPが自動的に発行される。しかしクラウドAPIが存在しないベアメタル環境では、その裏側を自分で組み立てる必要がある。

アーキテクチャ比較図: クラウドLB/L2モード/BGPモードの3パターンでトラフィックがクラスタに入る経路

クラウドLBがない場所で「Service type: LoadBalancer」はどう実現されているのか

Kubernetes公式ドキュメントによれば、type: LoadBalancerのServiceは通常Cloud Controller Managerを経由してクラウド事業者のロードバランサーAPIを呼び出し、外部IPアドレスを自動的に割り当てる。この仕組みはAWS・Azure・GCPのようなパブリッククラウドに強く依存している。

工場・拠点・エッジのようにクラウドAPIが存在しないベアメタル環境では、この自動割り当てが起きない。ここで使われるのがMetalLBのような、標準的なルーティングプロトコルを使って外部IPをネットワークに「名乗る」ソフトウェアロードバランサーだ。MetalLB公式ドキュメントは、L2(ARP/NDP)モードとBGPモードという2つの動作方式を提供している。

K3sを使う場合はもう一つ注意点がある。K3sにはServiceLB(旧称klipper-lb)という組み込みのシンプルなロードバランサー実装が標準で有効になっている。MetalLBなど別の実装を導入する場合は、K3s公式ドキュメントの手順に従い、全サーバーノードで--disable servicelbを指定して既存の実装を無効化しなければ、外部IPの割り当てを巡って両者が競合する。

フローチャート: K3sクラスタでServiceLBを無効化してからMetalLBをデプロイする3ステップ

この設計判断をゼロから引き受けたくない場合、KuboのようなK3sベースのマネージドサービスを選ぶという道もある。ネットワーク設計そのものを自分で組み立てる必要がなくなるためだ。

L2モードが壁に当たる瞬間 — 単一ノード、ARPキャッシュ、帯域の壁

MetalLBのL2モードは、公式ドキュメントの解説によれば「1つのノードがサービスIPをローカルネットワークにアナウンスする責任を持つ」というリーダー選出方式だ。ARP(IPv4)やNDP(IPv6)応答によって、あたかも1台のマシンに複数の外部IPが割り当てられているように見せかける。

検証環境ではこれで十分動く。しかし本番のオンプレ/エッジ環境では、構造的な限界が2つある。

  • 単一ノードボトルネック: 特定の外部IPへのトラフィックは、リーダーに選ばれた1ノードにすべて集約される。クラスタを何台に増やしても、その1つのサービスの受信帯域は1ノードの物理帯域幅を超えられない
  • フェイルオーバーの遅延: リーダーノードが落ちると、新しいノードがARP応答を送り直すことでクライアントに切り替えを知らせる。多くの環境では数秒で収束するが、古いARPキャッシュが残った端末では数分単位の遅延が起きることもある

Red Hatの技術ブログも、L2モードは「ノードが単一障害点になり、パフォーマンスが制限される」と明確に指摘している。K3sクラスタが3ノードから10ノード規模へ育っていくエッジ展開では、この制約がそのままサービスのスケーラビリティの壁になる。

アーキテクチャ図: L2モードで1つの外部IPへのトラフィックが1台のリーダーノードに集中する様子

BGPへの切り替え — MetalLB BGPモード vs Cilium BGP Control Plane

L2モードの限界を越えるための標準的な解が、BGPモードだ。MetalLBのBGP概念解説によれば、BGPモードではクラスタの各ノードが上流ルーターとBGPピアリングを確立し、同じ外部IPを複数ノードから同時にアドバタイズする。ルーターがECMP(Equal-Cost Multi-Path)に対応していれば、パケットハッシュに基づいて複数ノードへ実際に負荷分散される。

Red HatのブログはBGPモードのメリットを、ステートレスな負荷分散・複数ノードからの同時アドバタイズ・BFDプロトコルによる高速な障害検知に整理している。MetalLBはBGPセッションの実処理をFRR-K8sというFRRベースのバックエンドに任せる構成をサポートしており、これによりBFDセッションの併用やIPv6アドバタイズなど、L2モードにはない機能が使えるようになる。

もう一つの選択肢が、CNIにCiliumを使っている場合のCilium BGP Control Planeだ。Cilium公式ドキュメントによれば、BGP Control PlaneはPodネットワークやServiceの外部IPをBGPでアドバタイズする機能を提供し、LB-IPAMがIPアドレスの割り当てを担当する。すでにCiliumをCNIとして使っているクラスタであれば、MetalLBという別コンポーネントを増やさずに、CNIレイヤーだけでBGPロードバランシングまで一体化できる。

yaml
# 例: Cilium BGP Control Plane の設定イメージ(簡略化)
apiVersion: cilium.io/v2alpha1
kind: CiliumBGPPeeringPolicy
metadata:
  name: rack01-bgp-policy
spec:
  nodeSelector:
    matchLabels:
      rack: "01"
  virtualRouters:
    - localASN: 65001
      neighbors:
        - peerAddress: "10.0.0.1/32"
          peerASN: 65000
      serviceSelector:
        matchLabels:
          advertise: "bgp"

なお、MetalLB自体もかつてCiliumのデータプレーンと組み合わせるMetalLB BGP ControlPlaneという統合モードを提供していたが、現在はCilium側の新しいBGP Control Planeへの移行が推奨されており、旧モードはセキュリティ修正のみの保守フェーズに入っている。CNI選定の状況によってどちらを選ぶべきかが変わる、という点は移行判断の起点になる。

BGP自体を専用スイッチで完結させたい場合は、Porterのような別のOSS実装も存在するが、K3s環境での採用実績・ドキュメントの充実度で言えばMetalLBとCiliumの2択が現実的な出発点になる。

比較図: MetalLB BGPモードとCilium BGP Control PlaneをECMP分散とともに図示

この移行作業を丸ごと引き受けてくれる選択肢として、Kubo On-Premiseがある。K3sベースでAir-Gapped環境にも対応しており、BGPピアリングを含むネットワーク設計をベンダーロックインなしで運用チームに委ねられる。金融機関や製造業のエッジ拠点のように、外部ネットワークとの接続要件が厳しい環境ほど効果が大きい。

移行前に確認すべき3つのこと

L2モードからBGPモードへの移行は、Kubernetesクラスタ側の設定だけでは完結しない。実務上、次の3点を必ず確認する必要がある。

1. K3sのServiceLB(klipper)を無効化しているか

前述の通り、K3sは標準でServiceLBを有効にしている。MetalLBのK3s向け構成ガイドが明記する通り、これを無効化しないままMetalLBを導入すると、外部IPの割り当てを巡って両者が競合し、ロードバランサーが意図しない動作をする。全サーバーノードで--disable servicelbを設定してから、MetalLBやCiliumのBGP機能を導入する順序を守る必要がある。

2. 上流ルーター・スイッチがBGPに対応し、ネットワークチームと合意できているか

BGPはクラスタ側の設定だけで完結しない。上流のルーターやスイッチ側でBGPピアの設定(ASN、ピアIPアドレス、ルートフィルタ)を行う必要があり、多くの組織ではこれがネットワークチームの管轄になる。L2モードでは不要だったこの合意形成のプロセスが、BGP移行における最大の実務的ハードルになりやすい。

3. フェイルオーバーの挙動を検証済みか

ノード障害時にECMPのルートが正しく引き抜かれるか、BFDを使った高速検知が機能するかは、本番投入前に必ず検証すべきポイントだ。Red Hatのブログが紹介するように、BFDを併用すれば障害検知を数秒未満まで短縮できるが、これはルーター側の対応状況に依存するため、事前確認が欠かせない。

プロセス図: ServiceLB無効化→ネットワークチームとの合意→フェイルオーバー検証の3ステップ

まとめ

クラウドLBに頼れないベアメタル・エッジのK3sクラスタでは、L2(ARP)モードのロードバランシングは検証環境レベルの妥協策にすぎない。単一ノードへのトラフィック集中、フェイルオーバーの遅延という構造的な限界に必ず行き着くため、本番運用ではBGPモードへの移行が実質的に必然になる。

どちらを選ぶかはCNIの選定状況に左右される。すでにCiliumを使っているならBGP Control PlaneとLB-IPAMへの統合が合理的であり、それ以外のCNIならMetalLBのBGPモードが現実的な選択肢だ。いずれの場合も、K3sのServiceLB無効化とネットワークチームとの合意形成という実務的な準備を怠らないことが、移行を成功させる分岐点になる。

クラウドだけでなく、工場や店舗、車載環境にもKubernetesを展開する時代において、この種のネットワーク設計判断は避けて通れない。KuboやKubo On-PremiseのようなK3sベースのマネージドサービスであれば、こうした設計と運用そのものを任せることができる。BGP移行の検証コストを自分たちで負いたくない場合は、お問い合わせから相談してみるのも一つの選択肢だ。

Related articles

← Back to all posts