使用 Python 和 PyTorch 在租用的 GPU 上构建并验证分块余弦搜索

📌 One-Sentence Summary
本教程演示如何使用 Python 和 PyTorch 在租用的 GPU 上构建并验证分块余弦相似度搜索,并通过全面的验证测试确保结果正确。
📝 Summary
本文逐步介绍如何使用 Python 和 PyTorch,在租用的 GPU 上实现分块余弦搜索算法。教程创建了一个合成检索任务,其中包含 8,192 个归一化向量和 32 个查询;每个查询都经过设计,使其对应的源向量恰好是排名第一的结果。实现会分块处理语料库以控制内存使用,合并各块的局部 top-k 候选结果,并将搜索结果与基于 CPU 的参考计算进行对照验证。教程涵盖环境配置、完整的搜索与验证脚本、运行说明,以及如何将此方法应用于真实业务数据。关键注意事项包括正确处理行偏移量、小块场景的边界情况,以及确保 GPU 计算具有确定性。
💡 Main Points
分块处理让 GPU 向量搜索更节省内存
实现会按可配置的块大小将语料库分批送入 GPU,并合并每个块产生的局部 top-k 候选结果,从而找到全局 top-k 结果,而无需构建完整的查询 × 语料库矩阵。
全面验证确保搜索结果正确
验证器会检查多项不变量:形状正确、分数均为有限值、结果已排序、ID 不重复、预设答案正确(首个匹配项等于源向量),并确认分数与 float64 CPU 参考计算的差异在明确的容差范围内。
确保可复现性需要设置确定性的 GPU 计算选项
脚本设置 CUBLAS_WORKSPACE_CONFIG、启用确定性算法,并使用最高精度的矩阵乘法,以确保多次运行的结果一致;不过,硬件差异仍可能影响浮点数的精确值。
必须处理块边界和小块场景
实现使用 min(K, len(block)) 处理块大小小于所需邻居数的情况,并正确加上行偏移量,将块内索引转换为语料库 ID。
💬 Key Quotes
向量搜索函数可能返回看似合理的文档 ID,结果却仍然错误:可能是漏加了块偏移量、沿着错误的轴对分数排序,或者 CPU 回退掩盖了有故障的 GPU 环境。
为什么只保留每个块的 top 5 就够了?被丢弃的项目所在块中,至少已有 5 个项目的分数不低于它。按分数排序时,它不可能成为全局 top 5 的必要候选项。
torch.topk 可能会为并列分数返回不同的索引。因此,验证器会比较 top-k 分数值,并检查选出的 ID 是否对应这些分数,而不是要求每个次要 ID 都与 CPU 选出的结果完全一致。
📊 Article Meta
AI Screening: 85
Source: DEV Community: machinelearning
Author: CloudGPU
Category: 人工智能
Language: 英文
Read Time: 8 min
Word Count: 1785
Tags:
AI 与智能应用 , AI 工程 , 机器学习 , RAG / 检索增强 , AI 硬件与芯片
刚好最近在找这方面的资料,太及时了。
内容翔实,正好需要,先收藏再看。
内容翔实,正好需要,先收藏再看。
讲解得很细致,新手也能看懂。
这个观点很中肯,深有同感。
楼主辛苦了,内容很有参考价值。
收藏了,以后慢慢研究。
收藏了,以后慢慢研究。
这个观点很中肯,深有同感。
写得挺用心的,支持一下。
实话,说的不明不白
实话,说的不明不白