借助 Model Explorer 为自定义边缘编译器带来可视化图调试

邱宇AI 前沿📡 BestBlogs·AI高分精选⭐ 872026-10-21234 阅读💛 97 收藏
借助 Model Explorer 为自定义边缘编译器带来可视化图调试

📌 One-Sentence Summary

Google AI Edge Model Explorer 支持对自定义边缘编译器 IR 进行可视化调试,帮助 Arm 工程师发现导出回归、验证 NPU 委派,并精准定位边缘设备上的周期级瓶颈。

📝 Summary

本文展示了 Arm 如何利用 Google AI Edge Model Explorer 的插件架构,为 TOSA、VGF 和 PTE 模型格式构建开源适配器。文章介绍了 3 种实际工作流:检测通过 ExecuTorch 导出的 Neural Super Sampling 模型中意外出现的 TRANSPOSE 算子;使用分屏视图对比 Ethos-U85 上 YOLO 模型的 CPU 与 NPU 委派计算图,以确认委派是否完整;将 Arm Fixed Virtual Platform 模拟器生成的周期精确剖析轨迹叠加到执行图上,从而发现 TRANSPOSE 节点是主要延迟瓶颈。文章还提供了安装步骤,以及所有适配器的 GitHub 链接。

💡 Main Points

Model Explorer 的插件架构支持为边缘部署可视化自定义编译器 IR。

Arm 为 TOSA、VGF 和 PTE 格式构建了开源适配器,让工程师无需解析原始 flatbuffers 或日志,就能检查层级图结构、算子属性和张量连接。

通过并排对比 CPU 与 NPU 计算图,分屏视图可验证硬件委派情况。

在 Ethos-U85 上运行 YOLO 模型时,视图清晰显示 NPU 计算图将多个层折叠为一个位于量化与反量化节点之间的 EthosUBackend 模块,而 CPU 计算图则逐层展示网络,因此能立即发现部分委派和回退子图。

逐节点轨迹叠加可将周期级剖析数据直接映射到执行图上。

在 Arm Fixed Virtual Platform 模拟器上运行模型可生成周期精确的轨迹;Model Explorer 的节点数据插件会将其渲染为颜色编码热力图。在示例中,这帮助定位到一个 TRANSPOSE 算子,它是主要延迟瓶颈。

💬 Key Quotes

Model Explorer 不止能展示高层模型图。看看 Arm 如何接入自定义编译器 IR、并排验证 NPU 委派情况,并将周期级剖析轨迹直接映射到执行图上。

分屏视图展示了两者在结构上的差异:CPU 计算图逐层显示各个网络层,而 NPU 计算图则将整个网络归为一个位于量化与反量化节点之间的 EthosUBackend 模块。

颜色编码热力图显示,一个 TRANSPOSE 节点就是主要延迟瓶颈。

📊 Article Meta

AI Screening: 87

Source: Google Developers Blog

Author: Eric Yang, Alan Ma

Category: 人工智能

Language: 英文

Read Time: 4 min

Word Count: 792

Tags:

AI 与智能应用 , AI 硬件与芯片 , 本地与端侧 AI , 机器学习 , 模型训练与推理

#AI 与智能应用# AI 硬件与芯片# 本地与端侧 AI# 机器学习# 模型训练与推理

文章评论(12)

蓝问津26 天前

赞同,实践出真知。

回复
星观澜26 天前

作者写得真不错,学到了不少。

回复
崔欣怡26 天前

楼主辛苦了,内容很有参考价值。

回复
风倚栏26 天前

有没有更详细的教程,期待后续。

回复
蓝归舟26 天前

作者写得真不错,学到了不少。

回复
星知秋26 天前

内容翔实,正好需要,先收藏再看。

回复
山问津26 天前

作者写得真不错,学到了不少。

回复
杨丽华26 天前

这个比较实用,已转发给同事。

回复
杨丽华26 天前

刚好最近在找这方面的资料,太及时了。

回复
星知秋26 天前

思路清晰,干货满满。

回复
陈皮话梅糖26 天前

刚好最近在找这方面的资料,太及时了。

回复
一叶知秋26 天前

路过

回复