CPU 都去哪了?Datadog 用持续性能剖析定位 OpenSSL 回归

清风徐来行业资讯📡 BestBlogs·全站精选⭐ 902026-10-25254 阅读💛 121 收藏
CPU 都去哪了?Datadog 用持续性能剖析定位 OpenSSL 回归

📌 One-Sentence Summary

Nayef Ghattas 将一次代价高昂的 CPU 回归追溯到 OpenSSL,并展示工作负载级 eBPF 性能剖析如何推动 OpenTelemetry 剖析信号的演进。

📝 Summary

操作系统升级后,Datadog 多个服务的 CPU 消耗增加了 70%,可能每年多出 300 万美元计算成本。Nayef Ghattas 借这次调查介绍持续整机性能剖析:eBPF 接收器无需逐个应用埋点,就能观察应用、系统进程和第三方库;据讲者介绍,典型 CPU 开销低于 1%。为了按服务筛选数据,团队从整台主机共用一个资源对象,转为按工作负载划分剖析数据与资源对象。但属性和函数信息被重复携带,一度使数据量翻倍。引入共享字典后,增幅降至约 10%,说明真实使用需求也能反过来改进剖析信号的设计。对比升级前后的火焰图,团队发现 OpenSSL 部分函数的 CPU 消耗最高增至原来的 12 倍;切换到修复后的 OpenSSL 版本,资源消耗便恢复基线。实践启示是提前持续采集剖析数据,并同时设计遥测元数据和传输方式,让故障调查既好用,也承担得起。

💡 Main Points

观察整台主机,找出应用代码之外的成本

剖析范围包括数据库、系统进程和第三方库,因此能发现 OpenSSL 回归,而不会把增加的 CPU 消耗全归因于应用。

按工作负载归属资源元数据

整台主机共用资源对象无法表达容器或服务语境。按工作负载拆分后,才具备调查所需的筛选能力。

逻辑上分开剖析数据,共享部分只传一次

按工作负载拆分一度使传输数据翻倍;共享字典既保留了工作负载级筛选,也将增幅控制在约 10%。

围绕具体变更对比前后剖析结果

火焰图对比将操作系统升级与 OpenSSL 函数最高 12 倍的 CPU 增长联系起来,后续版本消除了回归。

💬 Key Quotes

CPU 开销通常低于 1%,因此我们可以让它一直在生产环境运行。

我们引入了共享字典,让各份剖析数据引用它,而不是复制属性。

不必等到发生 70% 的性能回归,才能学到有用的东西。

📊 Article Meta

AI Screening: 90

Featured: Yes

Source: CNCF [Cloud Native Computing Foundation]

Author: CNCF [Cloud Native Computing Foundation]

Category: 软件编程

Language: 英文

Read Time: 4 min

Word Count: 942

Tags:

编程与工程 , 可观测性 , 编程语言 , 视频 , 持续性能剖析

Play Full Video

#编程与工程# 可观测性# 编程语言# 视频# 持续性能剖析

文章评论(12)

蓝问津21 天前

楼主辛苦了,内容很有参考价值。

回复
林观澜21 天前

支持作者,持续关注中。

回复
雪知秋21 天前

看完了,收获满满,期待更多更新。

回复
暮临风21 天前

讲解得很细致,新手也能看懂。

回复
雪知秋21 天前

点赞,必须点赞

回复
竹听风21 天前

这个观点很中肯,深有同感。

回复
墨向阳21 天前

看标题就点进来了,内容果然没让人失望。

回复
林拾贝21 天前

点赞,必须点赞

回复
月沐雨21 天前

内容翔实,正好需要,先收藏再看。

回复
空向阳21 天前

整理得太全面了,省了我不少时间。

回复
漾漾其华21 天前

内容翔实,正好需要,先收藏再看。

回复
三分糖去冰21 天前

看完了,收获满满,期待更多更新。

回复