借助 LiteRT Tensor API 在边缘设备上原生构建模型

星海拾光AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-10-20772 阅读💛 20 收藏
借助 LiteRT Tensor API 在边缘设备上原生构建模型

📌 One-Sentence Summary

Google 推出 LiteRT Tensor API,这是一个原生 C++ 层,可支持跨平台、零拷贝的设备端 AI 模型开发,并兼容 AI 编程智能体。

📝 Summary

Google 最新推出的 LiteRT Tensor API 是一个轻量级模型构建层,开发者可以用原生 C++ 逐个算子构建神经网络计算图,同时让整个流程都在加速器上运行。该 API 可全面控制计算图结构,直接从 Hugging Face 的 .safetensors 文件载入权重,并通过以张量为中心的缓冲区互操作消除 CPU 往返传输。它无需模型文件即可运行于 CPU、GPU(通过 Metal、OpenCL 或 WebGPU)、NPU 或 XNNPACK,因而具有很强的可移植性。其一大亮点是可作为 AI 编程智能体的基础:智能体能够自动生成、重连并调优模型计算图。一个编程智能体就曾重写 SAM 2 分割模型,使其在 WebGPU 上达到 >30 fps。文章还展示了该 API 在 macOS、iOS 和 Android 上的跨平台性能,并介绍了未来计划,包括直接支持 ML Drift 后端、适配 NPU 的算子、自动量化和 Python 构建接口。

💡 Main Points

LiteRT Tensor API 让开发者能够全面控制模型计算图结构,同时保持跨平台可移植性。

通过用 C++ 编写每个算子,并让同一份代码运行于 CPU、GPU、NPU 或 XNNPACK,开发者无需针对新硬件平台重写代码。

该 API 以张量为中心的缓冲区互操作方式让数据留在加速器上,避免了代价高昂的 CPU 拷贝。

预处理、推理和后处理共享加速器缓冲区,因此整个流程只增加约 0.34 ms 的开销。

该 API 专为作为 AI 编程智能体的程序化基础而设计。

智能体可以自动生成、重连并调优模型计算图;一个编程智能体已展示了如何针对 WebGPU 优化 SAM 2。

实际基准测试显示,macOS 上的速度提升了 1.5×,而 WebGPU 上也能达到较高的 FPS。

SAM 2 的同一份 C++ 代码可运行于 Metal、OpenCL 和 WebGPU,达到 >30 fps,并生成与 Meta 参考掩码相匹配的结果。

未来的扩展将使该 API 适用于更多设备和使用场景。

未来计划包括直接支持 ML Drift 后端、适配 NPU 的算子、自动量化和 Python 构建接口。

💬 Key Quotes

LiteRT Tensor API 也是 AI 编程智能体的理想程序化基础,提供结构化原语,以便自动生成、重连并调优模型计算图。

各步骤之间没有数据返回 CPU:全部 522 个编码器操作和 269 个解码器操作都在 GPU 上运行,每帧的预处理和后处理总共只增加约 0.34 ms。

由于计算图是纯 C++,你或你的编程智能体都可以针对每种后端重写它。

我们正在开发直接支持 ML Drift 的后端、适配 NPU 的操作,以及自动的全计算图量化。

SAM 2 模型的同一份 C++ 代码运行在三台设备的 GPU 上:一台 macOS 笔记本电脑(Metal)、一部 iOS 手机(Metal)和一部 Android 手机(OpenCL)。

📊 Article Meta

AI Screening: 85

Source: Google Developers Blog

Author: Ping Yu, Quentin Khan, Chintan Parikh, Lu Wang

Category: 人工智能

Language: 英文

Read Time: 8 min

Word Count: 1903

Tags:

AI 与智能应用 , AI 编程 , 后端开发 , 编程语言 , AI 工作流

#AI 与智能应用# AI 编程# 后端开发# 编程语言# AI 工作流

文章评论(12)

星知秋27 天前

实测过类似工具,作者说的基本属实。

回复
曹浩27 天前

实测过类似工具,作者说的基本属实。

回复
林观澜27 天前

这个观点很中肯,深有同感。

回复
空向阳27 天前

实测过类似工具,作者说的基本属实。

回复
雪影27 天前

这篇文章分析得很透彻,收藏了!

回复
武磊27 天前

点赞,必须点赞

回复
雪影27 天前

楼主辛苦了,内容很有参考价值。

回复
曹浩27 天前

收藏了,以后慢慢研究。

回复
星寻梦27 天前

刚好最近在找这方面的资料,太及时了。

回复
星寻梦27 天前

整理得太全面了,省了我不少时间。

回复
拾贝者27 天前

路过

回复
黄小刚26 天前

这篇文章分析得很透彻,收藏了!

回复