AlloyDB 与 Cloud SQL 原生 BM25 搜索

📌 One-Sentence Summary Google Cloud 通过 pg_textsearch 扩展在 AlloyDB 和 Cloud SQL 中引入原生 BM25 全文搜索，实现向量与关键词检索相结合的混合搜索，无需独立后端。 📝 Summary 本文宣布 AlloyDB 和 Cloud SQL for PostgreSQL 17+ 原生 BM25 索引支持进入预览阶段，由 Tiger Data 的开源 pg_textsearch 扩展提供支持。这消除了对独立全文搜索后端的需求，降低了复杂性、数据孤岛和同步延迟。BM25 提供行业标准的关键词排序，具备逆文档频率、词频饱和和文档长度归一化，克服了 PostgreSQL 内置 ts_rank 的局限性。文章通过 SQL 示例演示了 BM25 全文搜索，并展示了混合搜索实现：AlloyDB 使用内置 UDF 配合倒数排名融合（RRF），而 Cloud SQL 使用 CTE 手动计算 RRF 分数。AlloyDB 还提供独有的 ScaNN 和 HNSW 向量索引，向量查询速度最高提升 6-10 倍。这一统一的混合搜索后端简化了构建稳健 RAG 和 AI 应用的过程，这些应用需要同时具备语义理解和精确关键词匹配能力。 💡 Main Points 通过 pg_textsearch 扩展实现原生 BM25 索引，无需独立的全文搜索后端。 开源 pg_textsearch 扩展将 C 语言优化的 BM25 评分直接引入 PostgreSQL 表，消除了维护独立向量和全文检索系统所带来的数据重复、ETL 管道和同步延迟。 BM25 相比 PostgreSQL 内置的 ts_rank 显著提升了排序质量。 BM25 实现了逆文档频率（越稀有的词越重要）、词频饱和（重复不会主导评分）和文档长度归一化，解决了 ts_rank 在大规模下性能退化以及缺乏 IDF 支持的问题。 混合搜索通过倒数排名融合（RRF）结合向量和关键词搜索，但 AlloyDB 和 Cloud SQL 的实现方式不同。 AlloyDB 提供开箱即用的 hybrid_search UDF 自动合并结果，而 Cloud SQL 需要手动使用 CTE 配合 ROW_NUMBER 和 RRF 评分构建。对于混合语义概念（如「比房子还高的树」）与精确关键词（如「California」）的查询，两者实现的结果排序完全相同。 AlloyDB 提供独有的 ScaNN 和 HNSW 向量索引以加速向量搜索。 AlloyDB 的 ScaNN 和 HNSW 索引类型相比标准 PostgreSQL 提供最高 6 倍和 10 倍的向量搜索查询速度，增强了混合搜索中面向 AI 工作负载的向量组件。 💬 Key Quotes 向量搜索是生成式 AI、检索增强生成（RAG）和数据智能体架构的关键组成部分，但有时仅靠向量搜索是不够的。 BM25 是信息检索的黄金标准，提供逆文档频率（越稀有的词越重要）、词频饱和（重复不会主导评分）和文档长度归一化。 通过融合两者，AlloyDB 帮助确保您的应用将高度具体、本地相关的结果（如「California Sycamore」）优先排在列表顶部。 📊 Article Meta AI Screening： 89 Source： Google Cloud Blog Author： Darshana Sivakumar, Nisa Meshal Category： 人工智能 Language： 英文 Read Time： 7 min Word Count： 1534 Tags： AI 与智能应用 , 数据库 , 后端开发 , 数据工程 , RAG / 检索增强 Read Full Article