ExecuTorch WebGPU:在浏览器中通过 GPU 运行 PyTorch 模型

📌 One-Sentence Summary
ExecuTorch WebGPU 可在网页浏览器中利用 GPU 加速运行 PyTorch 模型,无需转换格式,并支持 LLM、视觉语言模型及其他架构,速度比 CPU 快 4-10x。
📝 Summary
这篇博文介绍了 ExecuTorch WebGPU,这是一种可让 PyTorch 模型直接在网页浏览器中通过 GPU 加速运行的后端。模型通过 torch.export() 导出为 .pte 文件,并借助支持 WebGPU 的浏览器和 WGSL 计算着色器执行。该后端支持多种架构,包括 LLM(Llama 3.2、Qwen3、Gemma 3)、视觉语言模型(SmolVLM)、计算机视觉任务(分割、深度估计、目标检测)以及语音处理(Whisper)。性能基准测试显示,与 CPU 执行相比,预填充速度提升 4-7x,解码速度提升 2-10x。该方案将所有数据保留在设备本地,从而保护隐私;兼容 Chrome、Firefox 和 Safari,并支持台式机、笔记本电脑和移动平台。
💡 Main Points
PyTorch 模型直接在浏览器中运行
WebGPU 后端无需将 PyTorch 模型转换为 ONNX 或 TFLite 等其他框架的格式,即可在浏览器中运行。通过 torch.export() 导出的同一个 .pte 文件,可用于所有支持 WebGPU 的浏览器。
支持多种模型架构
除了文本生成,该后端还验证了 LLM、视觉语言模型(SmolVLM)、计算机视觉任务(深度估计、分割、目标检测)和语音处理,展现出算子覆盖能力的通用性。
GPU 性能显著提升
在 Apple M1 Pro 上的基准测试显示,使用 4-bit 分组量化和 fp32 激活时,WebGPU 的预填充速度比 CPU 快 4-7x,解码速度快 2-10x。
保护隐私的设备端推理
所有模型推理都在浏览器沙箱中本地完成,无需原生安装或后端服务器,数据也不会离开设备。这既降低了网络延迟和服务器成本,也支持离线使用。
跨平台兼容
同一个 .pte 文件通过 WGSL 转译,可在 macOS 上原生运行于 Metal、在 Linux/Android 上运行于 Vulkan、在 Windows 上运行于 D3D12,并支持主流浏览器中的台式机、笔记本电脑和移动设备。
💬 Key Quotes
现在,PyTorch 模型无需转换为其他框架的格式,就能通过 ExecuTorch 在网页浏览器中利用 GPU 运行。
在同一台机器上,与 ExecuTorch 的 CPU 路径(WebAssembly + XNNPACK)相比,WebGPU 的预填充速度快 4--7×,解码速度快 2--10×。
作为 WebGL 的现代后继技术,WebGPU 提供原生计算着色器、共享内存、存储缓冲区和屏障,使得直接在浏览器中进行高性能 ML 推理成为可能。
所有提示词、照片、摄像头画面和音频都不会离开你的设备。
同一个模型(.pte 文件)既能在 Chrome 和 Safari 等支持 WebGPU 的浏览器中运行,也能原生运行于 Metal(macOS)、Vulkan(Linux/Android)和 D3D12(Windows)。
📊 Article Meta
AI Screening: 89
Source: PyTorch
Author: Julian Ng-Thow-Hing, Siddartha Pothapragada, Stephen Jia, Digant Desai, Bilgin Cagatay
Category: 人工智能
Language: 英文
Read Time: 4 min
Word Count: 860
Tags:
AI 与智能应用 , 视觉语言模型 , AI 硬件与芯片 , 模型训练与推理 , 性能优化
实测过类似工具,作者说的基本属实。
内容翔实,正好需要,先收藏再看。
路过
不错不错,已加入书签。
点赞,必须点赞
刚好最近在找这方面的资料,太及时了。
实话,说的不明不白
看完了,收获满满,期待更多更新。
不错不错,已加入书签。
路过
思路清晰,干货满满。
思路清晰,干货满满。