使用 Amazon Nova Act 构建意图驱动的 UI 测试 | Amazon Web Services

王者归来已是老翁AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-10-30961 阅读💛 38 收藏
使用 Amazon Nova Act 构建意图驱动的 UI 测试 | Amazon Web Services

📌 One-Sentence Summary

Epsilon 借助 Amazon Nova Act 和 Bedrock AgentCore Browser Tool 打造了一个托管式、意图驱动的 UI 测试平台,缩短了编写时间,并消除了各团队自建浏览器基础设施的需求。

📝 Summary

Epsilon 的 Agentic Platform 团队构建了一个多租户 UI 测试服务,该服务构建在 Amazon Nova Act 和 Bedrock AgentCore Browser Tool 之上。平台对外提供一个标准智能体(`ui-test-agent`),具备录制器和执行器技能,使产品团队能够以自然语言编写测试步骤,且这些步骤对 UI 的外观变化具有韧性。架构将平台 API、后台任务运行器(运行在 ECS 上的 Celery)和托管浏览器会话分离,全部通过跨账户 IAM 角色进行编排以实现隔离。Nova Act 通过 Chrome DevTools Protocol 驱动浏览器,用纯英文处理条件逻辑和滚动操作。该服务会截取屏幕截图、记录每一步的通过/失败状态,并将结果存储在 S3 中,提供完整的可观测性。Epsilon 报告称测试编写速度提升 4–6 倍,轨迹回放通过率达到 100%,且各团队无需承担任何基础设施开销。最佳实践指南包括:编写基于意图的步骤、隔离 Nova Act、复用轨迹、面向多租户设计、利用内置可观测性,以及考虑视口行为。

💡 Main Points

Epsilon 的平台利用 Nova Act 和 Bedrock AgentCore Browser Tool,以托管服务的形式提供意图驱动的 UI 测试。

平台对外提供一个标准智能体,具备录制器和执行器技能,使团队能够编写自然语言步骤,这些步骤在 UI 变化后依然有效,并在 AWS 托管的浏览器上运行。

采用跨账户 IAM 角色的多租户架构,消除了各团队自建浏览器基础设施的需求。

每个团队在自己的账户下以各自的 IAM 角色运行测试,从而实现隔离、可审计性,且无需额外设置。

Nova Act 通过纯英文指令处理条件逻辑和滚动操作。

诸如「如果出现导览框,就跳过它」或「滚动直到目标声明可见」这样的步骤都用自然语言表达,避免了显式选择器。

轨迹会被回放,以减少 LLM 思考、延迟和成本。

Epsilon 保存成功的轨迹,并在活跃状态下回放它们,实现了 100% 的通过率和更低的成本。

实测结果显示编写速度提升 4–6 倍,且各团队无需承担基础设施开销。

一个 18 步的工作流编写耗时 5–10 分钟,而 Playwright 需要 30–90 分钟,并且该服务运行在托管浏览器上,内置可观测性。

💬 Key Quotes

Nova Act 让我们将 UI 测试从一项脆弱、追逐选择器的苦差事,转变为一项托管式的平台能力。

Epsilon 的 UI 测试能力已在多个团队中投入运营,多租户架构已在生产环境中得到验证。

Playwright 脚本中的每个交互步骤都需要检查 DOM、选择稳定的选择器,并为条件情况编写显式等待、断言和分支逻辑。

系统会为每一步截取屏幕截图,跟踪每一步的通过/失败状态,计算整体通过率,并存储所有内容(结果 JSON、Amazon S3 中的截图、会话 ID)。

📊 Article Meta

AI Screening: 85

Source: AWS Artificial Intelligence

Author: Sakthi Chellapparimanam

Category: 人工智能

Language: 英文

Read Time: 10 min

Word Count: 2455

Tags:

AI 与智能应用 , AI 工作流 , AI 产品与应用 , AI Agent , 提示工程

#AI 与智能应用# AI 工作流# AI 产品与应用# AI Agent# 提示工程

文章评论(12)

一叶知秋16 天前

内容翔实,正好需要,先收藏再看。

回复
陈皮话梅糖16 天前

实话,说的不明不白

回复
蓝临风16 天前

点赞,必须点赞

回复
林拾贝16 天前

支持作者,持续关注中。

回复
林拾贝16 天前

很有价值的分享,感谢整理。

回复
石佳琪16 天前

看完了,收获满满,期待更多更新。

回复
龙文博16 天前

这个比较实用,已转发给同事。

回复
陈皮话梅糖16 天前

这篇文章分析得很透彻,收藏了!

回复
林拾贝16 天前

这篇文章分析得很透彻,收藏了!

回复
林拾贝16 天前

写得挺用心的,支持一下。

回复
星寻梦16 天前

实测过类似工具,作者说的基本属实。

回复
黄小刚16 天前

刚好最近在找这方面的资料,太及时了。

回复