使用 Amazon Nova Act 构建意图驱动的 UI 测试 | Amazon Web Services

📌 One-Sentence Summary
Epsilon 借助 Amazon Nova Act 和 Bedrock AgentCore Browser Tool 打造了一个托管式、意图驱动的 UI 测试平台,缩短了编写时间,并消除了各团队自建浏览器基础设施的需求。
📝 Summary
Epsilon 的 Agentic Platform 团队构建了一个多租户 UI 测试服务,该服务构建在 Amazon Nova Act 和 Bedrock AgentCore Browser Tool 之上。平台对外提供一个标准智能体(`ui-test-agent`),具备录制器和执行器技能,使产品团队能够以自然语言编写测试步骤,且这些步骤对 UI 的外观变化具有韧性。架构将平台 API、后台任务运行器(运行在 ECS 上的 Celery)和托管浏览器会话分离,全部通过跨账户 IAM 角色进行编排以实现隔离。Nova Act 通过 Chrome DevTools Protocol 驱动浏览器,用纯英文处理条件逻辑和滚动操作。该服务会截取屏幕截图、记录每一步的通过/失败状态,并将结果存储在 S3 中,提供完整的可观测性。Epsilon 报告称测试编写速度提升 4–6 倍,轨迹回放通过率达到 100%,且各团队无需承担任何基础设施开销。最佳实践指南包括:编写基于意图的步骤、隔离 Nova Act、复用轨迹、面向多租户设计、利用内置可观测性,以及考虑视口行为。
💡 Main Points
Epsilon 的平台利用 Nova Act 和 Bedrock AgentCore Browser Tool,以托管服务的形式提供意图驱动的 UI 测试。
平台对外提供一个标准智能体,具备录制器和执行器技能,使团队能够编写自然语言步骤,这些步骤在 UI 变化后依然有效,并在 AWS 托管的浏览器上运行。
采用跨账户 IAM 角色的多租户架构,消除了各团队自建浏览器基础设施的需求。
每个团队在自己的账户下以各自的 IAM 角色运行测试,从而实现隔离、可审计性,且无需额外设置。
Nova Act 通过纯英文指令处理条件逻辑和滚动操作。
诸如「如果出现导览框,就跳过它」或「滚动直到目标声明可见」这样的步骤都用自然语言表达,避免了显式选择器。
轨迹会被回放,以减少 LLM 思考、延迟和成本。
Epsilon 保存成功的轨迹,并在活跃状态下回放它们,实现了 100% 的通过率和更低的成本。
实测结果显示编写速度提升 4–6 倍,且各团队无需承担基础设施开销。
一个 18 步的工作流编写耗时 5–10 分钟,而 Playwright 需要 30–90 分钟,并且该服务运行在托管浏览器上,内置可观测性。
💬 Key Quotes
Nova Act 让我们将 UI 测试从一项脆弱、追逐选择器的苦差事,转变为一项托管式的平台能力。
Epsilon 的 UI 测试能力已在多个团队中投入运营,多租户架构已在生产环境中得到验证。
Playwright 脚本中的每个交互步骤都需要检查 DOM、选择稳定的选择器,并为条件情况编写显式等待、断言和分支逻辑。
系统会为每一步截取屏幕截图,跟踪每一步的通过/失败状态,计算整体通过率,并存储所有内容(结果 JSON、Amazon S3 中的截图、会话 ID)。
📊 Article Meta
AI Screening: 85
Source: AWS Artificial Intelligence
Author: Sakthi Chellapparimanam
Category: 人工智能
Language: 英文
Read Time: 10 min
Word Count: 2455
Tags:
AI 与智能应用 , AI 工作流 , AI 产品与应用 , AI Agent , 提示工程
内容翔实,正好需要,先收藏再看。
实话,说的不明不白
点赞,必须点赞
支持作者,持续关注中。
很有价值的分享,感谢整理。
看完了,收获满满,期待更多更新。
这个比较实用,已转发给同事。
这篇文章分析得很透彻,收藏了!
这篇文章分析得很透彻,收藏了!
写得挺用心的,支持一下。
实测过类似工具,作者说的基本属实。
刚好最近在找这方面的资料,太及时了。