借助 LiteRT Tensor API 在边缘设备上原生构建模型

📌 One-Sentence Summary
Google 推出 LiteRT Tensor API,这是一个原生 C++ 层,可支持跨平台、零拷贝的设备端 AI 模型开发,并兼容 AI 编程智能体。
📝 Summary
Google 最新推出的 LiteRT Tensor API 是一个轻量级模型构建层,开发者可以用原生 C++ 逐个算子构建神经网络计算图,同时让整个流程都在加速器上运行。该 API 可全面控制计算图结构,直接从 Hugging Face 的 .safetensors 文件载入权重,并通过以张量为中心的缓冲区互操作消除 CPU 往返传输。它无需模型文件即可运行于 CPU、GPU(通过 Metal、OpenCL 或 WebGPU)、NPU 或 XNNPACK,因而具有很强的可移植性。其一大亮点是可作为 AI 编程智能体的基础:智能体能够自动生成、重连并调优模型计算图。一个编程智能体就曾重写 SAM 2 分割模型,使其在 WebGPU 上达到 >30 fps。文章还展示了该 API 在 macOS、iOS 和 Android 上的跨平台性能,并介绍了未来计划,包括直接支持 ML Drift 后端、适配 NPU 的算子、自动量化和 Python 构建接口。
💡 Main Points
LiteRT Tensor API 让开发者能够全面控制模型计算图结构,同时保持跨平台可移植性。
通过用 C++ 编写每个算子,并让同一份代码运行于 CPU、GPU、NPU 或 XNNPACK,开发者无需针对新硬件平台重写代码。
该 API 以张量为中心的缓冲区互操作方式让数据留在加速器上,避免了代价高昂的 CPU 拷贝。
预处理、推理和后处理共享加速器缓冲区,因此整个流程只增加约 0.34 ms 的开销。
该 API 专为作为 AI 编程智能体的程序化基础而设计。
智能体可以自动生成、重连并调优模型计算图;一个编程智能体已展示了如何针对 WebGPU 优化 SAM 2。
实际基准测试显示,macOS 上的速度提升了 1.5×,而 WebGPU 上也能达到较高的 FPS。
SAM 2 的同一份 C++ 代码可运行于 Metal、OpenCL 和 WebGPU,达到 >30 fps,并生成与 Meta 参考掩码相匹配的结果。
未来的扩展将使该 API 适用于更多设备和使用场景。
未来计划包括直接支持 ML Drift 后端、适配 NPU 的算子、自动量化和 Python 构建接口。
💬 Key Quotes
LiteRT Tensor API 也是 AI 编程智能体的理想程序化基础,提供结构化原语,以便自动生成、重连并调优模型计算图。
各步骤之间没有数据返回 CPU:全部 522 个编码器操作和 269 个解码器操作都在 GPU 上运行,每帧的预处理和后处理总共只增加约 0.34 ms。
由于计算图是纯 C++,你或你的编程智能体都可以针对每种后端重写它。
我们正在开发直接支持 ML Drift 的后端、适配 NPU 的操作,以及自动的全计算图量化。
SAM 2 模型的同一份 C++ 代码运行在三台设备的 GPU 上:一台 macOS 笔记本电脑(Metal)、一部 iOS 手机(Metal)和一部 Android 手机(OpenCL)。
📊 Article Meta
AI Screening: 85
Source: Google Developers Blog
Author: Ping Yu, Quentin Khan, Chintan Parikh, Lu Wang
Category: 人工智能
Language: 英文
Read Time: 8 min
Word Count: 1903
Tags:
AI 与智能应用 , AI 编程 , 后端开发 , 编程语言 , AI 工作流
实测过类似工具,作者说的基本属实。
实测过类似工具,作者说的基本属实。
这个观点很中肯,深有同感。
实测过类似工具,作者说的基本属实。
这篇文章分析得很透彻,收藏了!
点赞,必须点赞
楼主辛苦了,内容很有参考价值。
收藏了,以后慢慢研究。
刚好最近在找这方面的资料,太及时了。
整理得太全面了,省了我不少时间。
路过
这篇文章分析得很透彻,收藏了!