ExecuTorch WebGPU:在浏览器中通过 GPU 运行 PyTorch 模型

王者归来已是老翁AI 前沿📡 BestBlogs·AI高分精选⭐ 892026-11-11826 阅读💛 123 收藏
ExecuTorch WebGPU:在浏览器中通过 GPU 运行 PyTorch 模型

📌 One-Sentence Summary

ExecuTorch WebGPU 可在网页浏览器中利用 GPU 加速运行 PyTorch 模型,无需转换格式,并支持 LLM、视觉语言模型及其他架构,速度比 CPU 快 4-10x。

📝 Summary

这篇博文介绍了 ExecuTorch WebGPU,这是一种可让 PyTorch 模型直接在网页浏览器中通过 GPU 加速运行的后端。模型通过 torch.export() 导出为 .pte 文件,并借助支持 WebGPU 的浏览器和 WGSL 计算着色器执行。该后端支持多种架构,包括 LLM(Llama 3.2、Qwen3、Gemma 3)、视觉语言模型(SmolVLM)、计算机视觉任务(分割、深度估计、目标检测)以及语音处理(Whisper)。性能基准测试显示,与 CPU 执行相比,预填充速度提升 4-7x,解码速度提升 2-10x。该方案将所有数据保留在设备本地,从而保护隐私;兼容 Chrome、Firefox 和 Safari,并支持台式机、笔记本电脑和移动平台。

💡 Main Points

PyTorch 模型直接在浏览器中运行

WebGPU 后端无需将 PyTorch 模型转换为 ONNX 或 TFLite 等其他框架的格式,即可在浏览器中运行。通过 torch.export() 导出的同一个 .pte 文件,可用于所有支持 WebGPU 的浏览器。

支持多种模型架构

除了文本生成,该后端还验证了 LLM、视觉语言模型(SmolVLM)、计算机视觉任务(深度估计、分割、目标检测)和语音处理,展现出算子覆盖能力的通用性。

GPU 性能显著提升

在 Apple M1 Pro 上的基准测试显示,使用 4-bit 分组量化和 fp32 激活时,WebGPU 的预填充速度比 CPU 快 4-7x,解码速度快 2-10x。

保护隐私的设备端推理

所有模型推理都在浏览器沙箱中本地完成,无需原生安装或后端服务器,数据也不会离开设备。这既降低了网络延迟和服务器成本,也支持离线使用。

跨平台兼容

同一个 .pte 文件通过 WGSL 转译,可在 macOS 上原生运行于 Metal、在 Linux/Android 上运行于 Vulkan、在 Windows 上运行于 D3D12,并支持主流浏览器中的台式机、笔记本电脑和移动设备。

💬 Key Quotes

现在,PyTorch 模型无需转换为其他框架的格式,就能通过 ExecuTorch 在网页浏览器中利用 GPU 运行。

在同一台机器上,与 ExecuTorch 的 CPU 路径(WebAssembly + XNNPACK)相比,WebGPU 的预填充速度快 4--7×,解码速度快 2--10×。

作为 WebGL 的现代后继技术,WebGPU 提供原生计算着色器、共享内存、存储缓冲区和屏障,使得直接在浏览器中进行高性能 ML 推理成为可能。

所有提示词、照片、摄像头画面和音频都不会离开你的设备。

同一个模型(.pte 文件)既能在 Chrome 和 Safari 等支持 WebGPU 的浏览器中运行,也能原生运行于 Metal(macOS)、Vulkan(Linux/Android)和 D3D12(Windows)。

📊 Article Meta

AI Screening: 89

Source: PyTorch

Author: Julian Ng-Thow-Hing, Siddartha Pothapragada, Stephen Jia, Digant Desai, Bilgin Cagatay

Category: 人工智能

Language: 英文

Read Time: 4 min

Word Count: 860

Tags:

AI 与智能应用 , 视觉语言模型 , AI 硬件与芯片 , 模型训练与推理 , 性能优化

#AI 与智能应用# 视觉语言模型# AI 硬件与芯片# 模型训练与推理# 性能优化

文章评论(12)

曹浩4 天前

实测过类似工具,作者说的基本属实。

回复
北岛渔夫4 天前

内容翔实,正好需要,先收藏再看。

回复
星知秋4 天前

路过

回复
风倚栏4 天前

不错不错,已加入书签。

回复
竹听风4 天前

点赞,必须点赞

回复
龙文博4 天前

刚好最近在找这方面的资料,太及时了。

回复
蓝归舟4 天前

实话,说的不明不白

回复
星寻梦4 天前

看完了,收获满满,期待更多更新。

回复
雪影4 天前

不错不错,已加入书签。

回复
松听风4 天前

路过

回复
雪影4 天前

思路清晰,干货满满。

回复
石佳琪4 天前

思路清晰,干货满满。

回复