在浏览器中运行 LaMa 图像补全与 Real-ESRGAN：切片、内存墙以及我们舍弃的优化方案

📌 One-Sentence Summary

这篇工程深度解析探讨了 ClearPix 如何通过关注内存限制、切片推理和可靠性（而非单纯追求速度）来优化基于浏览器的视频补全与超分辨率技术。

📝 Summary

作者详细介绍了完全在浏览器中运行 LaMa 和 Real-ESRGAN 等重型 AI 模型的术语挑战。主要瓶颈被确定为内存带宽和堆栈限制，而非原始计算能力。关键策略包括使用 WASM 以确保稳定性、通过切片推理处理大图以避免标签页崩溃，以及在小区域使用 MI-GAN、在大面积结构重建中使用 LaMa 的战略决策。文章还记录了在基准测试显示无益后被舍弃的「显而易见」的优化手段，强调了在开发前进行性能分析的重要性。

💡 Main Points

浏览器的首要限制是内存，而非 FLOPS

在浏览器环境中，权重、WASM 内存和图像张量共享同一个渲染进程。如果内存占用超出限制，Chrome 会直接关闭标签页，大尺寸图像或模型极易触发此问题。

切片推理对于处理高分辨率内容至关重要

通过将图像分解为较小的切片（如 256x256）并使用重叠裁剪，系统可以将峰值内存占用保持在恒定水平，而与原始图像的尺寸无关。

可靠性重于速度：WASM 与 WebGPU 的权衡

虽然 WebGPU 速度更快，但在某些显卡驱动组合下容易出现死锁和崩溃。团队将 LaMa 模型固定在 WASM 上运行，以确保其在所有设备上的兼容性。

基于特定用例的模型选择策略

MI-GAN 因速度优势被用于小型、孤立区域，而 LaMa 则被用于大面积空洞补全，因为其快速傅里叶卷积提供了结构重建所需的全局感受野。

💬 Key Quotes

「真正的限制是内存，而不是 FLOPS。」

「在浏览器中，你的内存预算是一个时间轴，而不是一个数字。」

「在动手之前先进行性能分析。」

「浏览器的速度快是架构的属性，而非运行时的属性。」

📊 Article Meta

AI Screening： 87

Source： DEV Community: machinelearning

Author： Umasou

Category： 人工智能

Language： 英文

Read Time： 7 min

Word Count： 1676

Tags：

AI 与智能应用 , 性能优化 , 计算机视觉 , 机器学习 , WebAssembly