CPU 都去哪了?Datadog 用持续性能剖析定位 OpenSSL 回归

📌 One-Sentence Summary
Nayef Ghattas 将一次代价高昂的 CPU 回归追溯到 OpenSSL,并展示工作负载级 eBPF 性能剖析如何推动 OpenTelemetry 剖析信号的演进。
📝 Summary
操作系统升级后,Datadog 多个服务的 CPU 消耗增加了 70%,可能每年多出 300 万美元计算成本。Nayef Ghattas 借这次调查介绍持续整机性能剖析:eBPF 接收器无需逐个应用埋点,就能观察应用、系统进程和第三方库;据讲者介绍,典型 CPU 开销低于 1%。为了按服务筛选数据,团队从整台主机共用一个资源对象,转为按工作负载划分剖析数据与资源对象。但属性和函数信息被重复携带,一度使数据量翻倍。引入共享字典后,增幅降至约 10%,说明真实使用需求也能反过来改进剖析信号的设计。对比升级前后的火焰图,团队发现 OpenSSL 部分函数的 CPU 消耗最高增至原来的 12 倍;切换到修复后的 OpenSSL 版本,资源消耗便恢复基线。实践启示是提前持续采集剖析数据,并同时设计遥测元数据和传输方式,让故障调查既好用,也承担得起。
💡 Main Points
观察整台主机,找出应用代码之外的成本
剖析范围包括数据库、系统进程和第三方库,因此能发现 OpenSSL 回归,而不会把增加的 CPU 消耗全归因于应用。
按工作负载归属资源元数据
整台主机共用资源对象无法表达容器或服务语境。按工作负载拆分后,才具备调查所需的筛选能力。
逻辑上分开剖析数据,共享部分只传一次
按工作负载拆分一度使传输数据翻倍;共享字典既保留了工作负载级筛选,也将增幅控制在约 10%。
围绕具体变更对比前后剖析结果
火焰图对比将操作系统升级与 OpenSSL 函数最高 12 倍的 CPU 增长联系起来,后续版本消除了回归。
💬 Key Quotes
CPU 开销通常低于 1%,因此我们可以让它一直在生产环境运行。
我们引入了共享字典,让各份剖析数据引用它,而不是复制属性。
不必等到发生 70% 的性能回归,才能学到有用的东西。
📊 Article Meta
AI Screening: 90
Featured: Yes
Source: CNCF [Cloud Native Computing Foundation]
Author: CNCF [Cloud Native Computing Foundation]
Category: 软件编程
Language: 英文
Read Time: 4 min
Word Count: 942
Tags:
编程与工程 , 可观测性 , 编程语言 , 视频 , 持续性能剖析
Play Full Video
楼主辛苦了,内容很有参考价值。
支持作者,持续关注中。
看完了,收获满满,期待更多更新。
讲解得很细致,新手也能看懂。
点赞,必须点赞
这个观点很中肯,深有同感。
看标题就点进来了,内容果然没让人失望。
点赞,必须点赞
内容翔实,正好需要,先收藏再看。
整理得太全面了,省了我不少时间。
内容翔实,正好需要,先收藏再看。
看完了,收获满满,期待更多更新。