AWS 引入技能装备代理人与 Strands Evals 和 Amazon Bedrock AgentCore | Amazon Web Services

📌 One-Sentence Summary AWS 引入技能装备代理人与 Strands Evals 和 Amazon Bedrock AgentCore，支持技能选择和指令遵循的评估。 📝 Summary AWS 引入技能装备代理人与 Strands Evals 和 Amazon Bedrock AgentCore，支持技能选择和指令遵循的评估。代理人可以评估其选择正确技能和遵循该技能指令的能力。评估过程涉及记录代理人轨迹，然后使用 Strands Evals 或 AgentCore Evaluations 来评估技能选择和指令遵循。评估人员可以使用评估人员来识别代理人未能选择正确技能或遵循该技能指令的区域。 💡 Main Points 技能选择准确性确定每个调用技能是否是任务的合适选择。 技能选择准确性返回每个调用技能的二进制结果，指示技能是否是任务的合适选择。 技能指令遵循确定代理人遵循调用技能指令的程度。 技能指令遵循返回五级评分，基于证据，对每个规定步骤进行评估，指示代理人遵循技能指令的程度。 技能调用是确定指定技能是否成功加载的确定性检查。 技能调用返回二进制结果，指示是否成功加载了指定技能。 💬 Key Quotes 一个 GPU 故障触发了一个级联：NVIDIA Collective Communication Library (NCCL) 超时传播到健康的工作者，容器崩溃并重新启动不一致，集群消耗了大量昂贵的 GPU 时间，而没有进行任何训练进展。 异步检查点维持了 99%+ 的训练效率在每个规模...... 同步检查点保持在 57-61%，无论节点数量多少，丢失 ~40% 的墙壁时间阻塞 I/O。 层次独立。选择一个范围与故障模式匹配的层。 📊 Article Meta AI Screening： 86 Source： AWS Artificial Intelligence Author： Sangmin Woo Category： 人工智能 Language： 英文 Read Time： 12 min Word Count： 2885 Tags： AI 与智能应用 , 模型训练与推理 , 知识管理 , 云原生 / DevOps , 测试与质量 Read Full Article