本体驱动的可观测性：在 Netflix 规模下构建端到端知识图谱

📌 One-Sentence Summary

Netflix 工程师详细介绍了他们如何通过构建由操作本体驱动的端到端知识图谱，将可观测性从反应式监控转变为主动式洞察引擎，该图谱结合了确定性富集器、LLM 和采集管道，以应对复杂的运维挑战。

📝 Summary

来自 Netflix 的工程师 Prasanna Vijayanathan 和 Renzo Sanchez-Silva 在演讲中探讨了在极大规模下进行可观测性的核心挑战，需应对每日数十亿次请求以及每秒数千万个实时日志事件。演讲者指出，在此规模下，可观测性已不再是工具问题，而是一个被数据孤岛（指标、事件、日志、追踪）和碎片化告警所复杂化的数据工程挑战。为弥合这些鸿沟，Netflix 正在构建一个由操作本体驱动的端到端知识图谱。通过结合确定性提取器（正则、API、服务目录）与随机性 LLM 分类的采集管道，他们将混乱的 Slack 故障讨论和遥测数据转化为存储在 QuipuDB 中的机器可读 W3C 标准三元组。这种知识飞轮方法能够进行观测、富集、推断和自适应，将非确定性的运维故障转化为确定性的、可通过 SPARQL 查询的因果链，从而实现快速根本原因分析和自动化修复。

💡 Main Points

极大规模下的可观测性挑战

在 Netflix 的规模下（跨数千个微服务处理多达 6，500 万并发流、每天超过 20 亿次请求、每秒 3，800 万个实时日志事件），传统的反应式监控会导致数据孤岛、缺乏上下文的告警以及多团队调试瓶颈。

向端到端互联的转变

Netflix 的愿景是通过建立显式关系而非单纯的连接，将指标、事件、日志和追踪（MELT 层）统一起来，从而将反应式监控转变为主动式洞察引擎，确保所有可观测性工具使用统一的语言。

操作本体与知识三元组

为了编码语义，Netflix 利用 W3C 标准（RDF、OWL、SPARQL、SHACL）来构建操作本体。知识被结构化为基本三元组（主语、谓语、宾语），形式化地描述服务、基础设施和团队所有权。

采集管道与知识飞轮

系统摄取混乱的 Slack 故障线程和遥测数据，通过确定性富集器（正则、API 验证、服务目录检查）和 LLM 进行处理以提取实体、情感和因果链，将非确定性转化为 QuipuDB 中结构化的、可通过 SPARQL 查询的图数据。

💬 Key Quotes

在此规模下，将用户体验与系统性能关联起来是一个根本性的新挑战。这不再是一个工具挑战，而是一个数据工程挑战。

这里的悖论在于，我们使用随机工具来生成确定性的、可通过 SPARQL 查询的图谱。本体就是这座桥梁。它是我们保存所有数据的地方。

我们的目标是从非确定性中创造确定性。非确定性始于频道中的混乱，例如。

📊 Article Meta

AI Screening： 92

Featured： Yes

Source： InfoQ

Author： Prasanna Vijayanathan, Renzo Sanchez-Silva

Category： 人工智能

Language： 英文

Read Time： 26 min

Word Count： 6424

Tags：

编程与工程 , 可观测性 , 系统设计 , 数据工程 , AI Agent