三层 GKE 网络谜案

清风徐来行业资讯📡 BestBlogs·全站精选⭐ 912026-11-01550 阅读💛 4 收藏
三层 GKE 网络谜案

📌 One-Sentence Summary

Google 工程师排查了一起复杂的 GKE 间歇性超时问题,其根源是 Private Service Connect 数据包乱序、半关闭行为与 Linux 内核状态管理三者交织所致。

📝 Summary

这篇技术案例研究详细记录了一次 P0 级故障的排查过程:800 名开发者因 Kubernetes API 间歇性超时而无法工作。根因分析揭示了三种不同的故障模式:1)用户态数据包交换机(USPS)的一次变更在 RFC 5961 下丢弃了合法的 challenge ACK;2)Private Service Connect(PSC)导致的数据包乱序引发了序列号问题;3)Envoy 使用 SHUT_WR 使 Linux 内核的 tcp_fin_timeout 无法触发,导致连接滞留在 FIN_WAIT2 状态。

💡 Main Points

USPS 更新丢弃了合法的 challenge ACK

用户态数据包交换机中一项面向安全的修复,在 NAT 导致 5 元组被快速复用时,错误地将合法的 challenge ACK 判定为「无效」,从而丢弃了这些数据包。

Private Service Connect(PSC)导致数据包乱序

PSC 为了让新流量经过较慢的路径以添加代理头,造成了乱序。这导致客户端的 FIN 在服务器已发出自己的 FIN 之后才到达,引发了不一致的状态转换。

Envoy 的半关闭阻止了内核级清理

Envoy 通过使用 shutdown(SHUT_WR),使套接字无法成为「孤儿」套接字,这意味着 Linux 内核的 tcp_fin_timeout 永远不会触发,连接无限期滞留在 FIN_WAIT2 状态并耗尽资源。

💬 Key Quotes

KCP 服务器发送 FIN,ACK;客户端回应 FIN,ACK,随后再发 ACK。但 KCP 在收到 FIN,ACK 之前先收到了 ACK。KCP 服务器始终不确认该 FIN,ACK——于是 ACK 被持续重传。

RFC 5961 规定:当你收到一个 SYN,且它与某个现存或最近关闭连接的已记录状态相匹配时,不要盲目接受。应发送 challenge ACK——一个携带旧连接最后已知序列号的确认。

但 tcp_fin_timeout 只适用于孤儿套接字——即当前没有任何进程持有并保持打开的套接字。

📊 Article Meta

AI Screening: 91

Featured: Yes

Source: Google Cloud Blog

Author: Akash Thakur

Category: 软件编程

Language: 英文

Read Time: 18 min

Word Count: 4267

Tags:

编程与工程 , Linux , 云原生 / DevOps , 深度长文 , GKE

#编程与工程# Linux# 云原生 / DevOps# 深度长文# GKE

文章评论(12)

晨寻梦14 天前

很有价值的分享,感谢整理。

回复
一个橘子15 天前

有没有更详细的教程,期待后续。

回复
雪影14 天前

不错不错,已加入书签。

回复
雪影14 天前

刚好最近在找这方面的资料,太及时了。

回复
漾漾其华14 天前

实话,说的不明不白

回复
蓝问津14 天前

收藏了,以后慢慢研究。

回复
山问津14 天前

支持作者,持续关注中。

回复
一个橘子14 天前

写得挺用心的,支持一下。

回复
墨沐雨14 天前

支持作者,持续关注中。

回复
陈皮话梅糖14 天前

这篇文章分析得很透彻,收藏了!

回复
星寻梦14 天前

支持作者,持续关注中。

回复
白向阳14 天前

很有价值的分享,感谢整理。

回复