三层 GKE 网络谜案

📌 One-Sentence Summary
Google 工程师排查了一起复杂的 GKE 间歇性超时问题,其根源是 Private Service Connect 数据包乱序、半关闭行为与 Linux 内核状态管理三者交织所致。
📝 Summary
这篇技术案例研究详细记录了一次 P0 级故障的排查过程:800 名开发者因 Kubernetes API 间歇性超时而无法工作。根因分析揭示了三种不同的故障模式:1)用户态数据包交换机(USPS)的一次变更在 RFC 5961 下丢弃了合法的 challenge ACK;2)Private Service Connect(PSC)导致的数据包乱序引发了序列号问题;3)Envoy 使用 SHUT_WR 使 Linux 内核的 tcp_fin_timeout 无法触发,导致连接滞留在 FIN_WAIT2 状态。
💡 Main Points
USPS 更新丢弃了合法的 challenge ACK
用户态数据包交换机中一项面向安全的修复,在 NAT 导致 5 元组被快速复用时,错误地将合法的 challenge ACK 判定为「无效」,从而丢弃了这些数据包。
Private Service Connect(PSC)导致数据包乱序
PSC 为了让新流量经过较慢的路径以添加代理头,造成了乱序。这导致客户端的 FIN 在服务器已发出自己的 FIN 之后才到达,引发了不一致的状态转换。
Envoy 的半关闭阻止了内核级清理
Envoy 通过使用 shutdown(SHUT_WR),使套接字无法成为「孤儿」套接字,这意味着 Linux 内核的 tcp_fin_timeout 永远不会触发,连接无限期滞留在 FIN_WAIT2 状态并耗尽资源。
💬 Key Quotes
KCP 服务器发送 FIN,ACK;客户端回应 FIN,ACK,随后再发 ACK。但 KCP 在收到 FIN,ACK 之前先收到了 ACK。KCP 服务器始终不确认该 FIN,ACK——于是 ACK 被持续重传。
RFC 5961 规定:当你收到一个 SYN,且它与某个现存或最近关闭连接的已记录状态相匹配时,不要盲目接受。应发送 challenge ACK——一个携带旧连接最后已知序列号的确认。
但 tcp_fin_timeout 只适用于孤儿套接字——即当前没有任何进程持有并保持打开的套接字。
📊 Article Meta
AI Screening: 91
Featured: Yes
Source: Google Cloud Blog
Author: Akash Thakur
Category: 软件编程
Language: 英文
Read Time: 18 min
Word Count: 4267
Tags:
编程与工程 , Linux , 云原生 / DevOps , 深度长文 , GKE
很有价值的分享,感谢整理。
有没有更详细的教程,期待后续。
不错不错,已加入书签。
刚好最近在找这方面的资料,太及时了。
实话,说的不明不白
收藏了,以后慢慢研究。
支持作者,持续关注中。
写得挺用心的,支持一下。
支持作者,持续关注中。
这篇文章分析得很透彻,收藏了!
支持作者,持续关注中。
很有价值的分享,感谢整理。