fix(link-understanding):非 UTF-8 页面以乱码形式到达模型 by Yigtwxx · Pull Request #188766 · openclaw/openclaw

📌 One-Sentence Summary
该 PR 修复了非 UTF-8 编码网页(如 Shift_JIS)被错误地按 UTF-8 解码、导致 AI 智能体收到乱码文本的问题。它复用了 web fetch 模块中已有的字符集感知响应解码器,以正确处理不同的字符编码。
📝 Summary
当前的链接理解系统对所有抓取的页面使用简单的 UTF-8 解码器,无法正确解析以其他字符集(如 Shift_JIS 或 ISO-8859-1)编码的页面。这导致智能体收到并处理的是「垃圾」字符,而非实际内容。本次变更将硬编码的 UTF-8 解码器替换为 web fetch 模块中更健壮的响应解码器,后者能够根据页面元数据检测并处理各种字符编码。
💡 Main Points
当前的链接处理器错误地假设所有网页都是 UTF-8 编码。
代码使用了仅以 UTF-8 为默认编码的裸「TextDecoder」。当遇到使用不同编码的页面(如示例中的日文 Shift_JIS 页面)时,解码器无法正确映射字节,产生一串替换字符(�)而非实际的日文文本。
该修复复用了 web fetch 模块中已有的、能力更强的解码器。
该 PR 没有创建新的解码器,而是从 web fetch 模块导入并使用「responseDecoder」函数。该函数已能读取「Content-Type」响应头和页面的 meta 标签来确定正确的字符集,从而正确解码页面。
该变更提升了 AI 智能体输入的准确性。
通过正确解码页面内容,智能体收到的是网页的实际标题和正文文本。这确保了智能体的分析和回复基于准确的数据,而非对乱码输出的误读。
💬 Key Quotes
链接理解功能用裸 UTF-8 TextDecoder 解码每一个抓取的页面,因此声明为 Shift_JIS、ISO-8859-1 或其他字符集的页面到达处理器和模型时变成了替换字符。
📊 Article Meta
AI Screening: 85
Source: Hacker News - Newest: "AI Agent"
Author: Yigtwx
Category: 人工智能
Language: 英文
Read Time: 13 min
Word Count: 3115
Tags:
AI 与智能应用 , AI 工程 , OpenClaw , 网页抓取 , 字符编码
收藏了,以后慢慢研究。
讲解得很细致,新手也能看懂。
收藏了,以后慢慢研究。
楼主辛苦了,内容很有参考价值。
这个比较实用,已转发给同事。
赞同,实践出真知。
收藏了,以后慢慢研究。
有没有更详细的教程,期待后续。
整理得太全面了,省了我不少时间。
整理得太全面了,省了我不少时间。
作者写得真不错,学到了不少。
看标题就点进来了,内容果然没让人失望。