GitHub - RayenMlayeh/jevcrawl：专为 AI 代理打造的网站抓取解决方案——比 Crawl4AI 更高效，比 Claude 抓取便宜 10 倍。

📌 One-Sentence Summary

jevcrawl 是一款专门针对 AI 代理的网页抓取器，它利用决策模型来选择性获取和分析页面，从而显著提高在线信息搜索的效率和成本效益。

📝 Summary

jevcrawl 通过实施选择性的、基于模型的抓取策略，解决了传统网页抓取在 AI 代理中的局限性。它不是获取所有页面，也不是依赖代理的 LLM 来挑选链接，而是使用一个小型决策模型来优先处理哪些页面将被访问以及哪些段落将被提取。这种方法使系统能够比竞争对手更频繁地找到正确的答案页面，以更低的成本运行，并提供与 AI 工作流程集成所需的全面接口。

💡 Main Points

基于决策模型的选择性抓取

与传统的广度优先抓取器或基于 LLM 驱动的链接选择不同，jevcrawl 采用专门的决策模型来评分和优先处理最可能包含答案的页面和段落。这使得抓取预算得到更为有效的利用，将注意力集中在有价值的内容上，而不是噪音。

显著的成本和性能改进

基准测试显示，与让 Claude 选择每一个链接相比，jevcrawl 的每个任务成本大约低 8 倍，每个正确答案的成本低 10 倍。此外，它比基于 LLM 的抓取快 2 倍，并且比 Crawl4AI 更容易找到答案页面，证明了它在速度和准确性上的优势。

强大的集成和安全保障

jevcrawl 无缝集成了模型上下文协议（MCP），可以兼容 Claude Code 和 Cursor 等流行的 AI 客户端。该系统在设计时考虑了安全性，确保页面文本被当作数据处理，而不是指令，从而有效防止了提示注入攻击。

💬 Key Quotes

专为 AI 代理打造的网页抓取器，寻找答案，而非仅仅是页面。

jevcrawl 既不是传统的广度优先抓取，也不是 AI 代理来选择链接。它找到了正确的答案页面，并且比基于 LLM 的抓取成本低 8 倍，速度快 2 倍。

页面文本是数据，永远不是指令。它只在问题的具体字段中传输，而问题本身由 jevcrawl 固定。

📊 Article Meta

AI Screening： 92

Featured： Yes

Source： Hacker News - Newest: "LLM"

Author： rayenmlayeh

Category： 人工智能

Language： 英文

Read Time： 6 min

Word Count： 1338

Tags：

AI 与智能应用 , AI 工程 , 自托管 , MCP协议 , 开源项目