一文看懂k8s网络插件选型

特性对比

性能对比

以下是根据典型测试场景总结的指标（单位为吞吐量 Mbps 和延迟 ms）：

2020年测试数据：

数据来源：Benchmark results of Kubernetes network plugins (CNI) over 10Gbit/s network -2020)

[2024年]单位带宽消耗的CPU和内存数据：

数据来源：Benchmark results of Kubernetes network plugins (CNI) over 40Gbit/s network -2024

可以看出cilium单位消耗的CPU和内存相比于flannel高。

性能分析

Cilium

• 吞吐量：基于 eBPF 的数据面技术，可直接在 Linux 内核中高效转发流量，减少上下文切换。使用直连路由模式（–tunnel=disabled）时，进一步减少封装开销。
• 延迟：支持 Sidecar-less 的服务网格架构，能够降低服务间通信延迟。
• 资源消耗：由于其高级功能（如 Hubble 可观测性和 L7 策略），在 CPU 和内存使用上高于其他插件。

Calico

• 吞吐量：非隧道模式下，基于 BGP 的原生路由性能接近裸机水平；启用 eBPF 模式时，性能进一步提升。
• 延迟：表现良好，但在复杂网络策略下可能增加延迟。
• 资源消耗：资源使用适中，适合大多数生产环境。

Flannel

• 吞吐量：由于采用 VXLAN、IPIP 等隧道封装方式，其性能通常不如 Cilium 和 Calico。
• 延迟：封装和解封装的额外操作导致延迟增加。
• 资源消耗：架构简单，资源使用最低，适合资源有限的小型集群。

选型分析

1. Cilium：适合高性能与安全需求的场景
   • 适用场景：
     • 微服务架构：Cilium 的 eBPF 技术支持 L7 数据包过滤、服务可观测性和无 Sidecar 服务网格，非常适合复杂微服务环境。
     • 边缘计算：在边缘节点上，需要低延迟和高吞吐量，Cilium 的直连路由模式（–tunnel=disabled）非常高效。
     • 多云和混合云：支持多种高级网络功能，如网络策略的灵活配置和透明的加密。
   • 局限性：
     • 部署复杂度相对较高，对 Linux 内核版本有要求（推荐 5.3+）。
     • 资源消耗比 Flannel 高。
2. Calico：适合大规模、灵活策略的企业集群
   • 适用场景：
     • 大规模 Kubernetes 集群：基于 BGP 的网络路由能够高效扩展，适合公有云和企业级大规模集群。
     • 注重安全策略：支持丰富的网络安全策略，并提供对接 eBPF 的能力，兼顾性能和策略灵活性。
     • 混合部署：Calico可以在非Kubernetes工作负载中实现一致的网络策略。
   • 局限性：
     • 默认基于 iptables 的实现在高负载下性能可能不如 Cilium 的 eBPF 数据面。
     • 网络策略复杂度较高时，可能增加运维工作量。
3. Flannel：适合轻量级和资源有限的集群
   • 适用场景：
     • 小型集群：Flannel架构简单，资源使用少，适合轻量化的Kubernetes部署。
     • 测试环境：性能需求较低的开发和测试环境中，可以快速搭建和运行。
     • 边缘计算（非高性能）：对网络性能要求较低的小型边缘节点可以使用。
   • 局限性：
     • 在吞吐量和延迟上不如Cilium和Calico，尤其是需要大量隧道封装时。
     • 缺乏高级网络功能，例如复杂的网络策略和观测能力。

参考

• https://docs.cilium.io/en/latest/operations/performance/benchmark
• Benchmark results of Kubernetes network plugins (CNI) over 40Gbit/s network -2024
• Benchmark results of Kubernetes network plugins (CNI) over 10Gbit/s network (Updated: August 2020)