从零开始迈向边缘 AI:从头构建 TinyTB-Net

📌 One-Sentence Summary
本文详细介绍了 TinyTB-Net 的工程实现:这是一款拥有 280K 个参数、用于检测 TB 的 CNN,通过 INT8 量化和 Squeeze-and-Excitation 注意力机制,可在一款售价 $2.50 的 ESP32 微控制器上运行。
📝 Summary
本文展示了如何将医学影像模型部署到资源极其受限的边缘硬件上的完整工程流程。作者从临床需求出发:在缺少放射科医生的低资源诊所进行 TB 筛查,并从头构建了 TinyTB-Net。该模型采用包含 Squeeze-and-Excitation 注意力模块的 4 阶段 ResNet 架构,使用来自 3 个数据集的 1,108 张胸部 X 光图像进行训练。主要技术挑战包括:应对医学分诊中不对称的错误代价(优先考虑灵敏度而非准确率)、满足 ESP32 的 SRAM 限制(320-512KB),以及实现 INT8 训练后量化。第一阶段的灵敏度为 59.3%(不可接受),第二阶段加入 SE 注意力后,模型表现有所提升。文章还介绍了加权交叉熵损失、ROC-AUC 评估、内存预算,以及如何直接从微控制器闪存提供 Web 界面。
💡 Main Points
由于错误代价不对称,临床分诊必须优先考虑灵敏度,而非准确率
在 TB 筛查中,假阴性(漏掉活动性感染)远比假阳性(不必要的后续检查)危险。文章展示了如何使用 pos_weight > 1.0 的加权交叉熵损失,对漏诊病例施加更大的惩罚;评估时则采用 ROC-AUC 和灵敏度指标,而非整体准确率。
ESP32 的 SRAM 限制(320-512KB)决定了激活值内存的架构设计
单个 224x224x16 的 float32 激活图需要约 803KB,超出了 ESP32 的 SRAM 容量。INT8 量化可将其缩减至约 196KB,使推理成为可能。架构必须经过仔细设计,将激活值峰值内存控制在 320KB 限制以内,同时还要考虑残差连接和池化层的影响。
Squeeze-and-Excitation 注意力机制有助于改进医学影像中的特征选择
标准卷积会浪费容量去建模骨骼结构,而非细微的浸润影。SE 模块可动态重新校准各通道的特征响应,帮助模型聚焦于肺组织模式,而不是肋骨阴影。这项架构改进对于达到临床可用的灵敏度至关重要。
通过适当的正则化和数据增强,可以从零开始使用 1,108 张 X 光图像进行训练
扩充后的数据集(Montgomery、Shenzhen、Belarus),结合水平翻转、旋转和仿射缩放,使得无需使用 ImageNet 预训练,也能训练出拥有 280K 个参数的模型。由于数据集较小,训练需要仔细调整超参数,并使用残差连接确保梯度稳定流动。
💬 Key Quotes
「你能否直接使用原始医学像素从头训练一个视觉模型来检测结核病,将其量化到 8 位,并在一台内存比老式数字手表还少、售价仅 $2.50 的微控制器上运行推理?」
「在临床筛查中,漏掉一例感染的危害远大于多安排一次额外的拭子检测。」
「真正的限制在于 SRAM……推理过程中,运行时需要使用暂存内存来存放中间激活图。」
「59.3% 的灵敏度意味着大约每 10 例活动性病例中就会漏掉 4 例。对于临床分诊来说,这是不可接受的。」
📊 Article Meta
AI Screening: 88
Source: DEV Community: machinelearning
Author: Shalev Oren
Category: 人工智能
Language: 英文
Read Time: 12 min
Word Count: 2752
Tags:
AI 与智能应用 , 计算机视觉 , 本地与端侧 AI , 边缘 AI , 模型量化
这篇文章分析得很透彻,收藏了!
支持作者,持续关注中。
点赞,必须点赞
支持作者,持续关注中。
点赞,必须点赞
楼主辛苦了,内容很有参考价值。
这个比较实用,已转发给同事。
这个观点很中肯,深有同感。
写得挺用心的,支持一下。
这个观点很中肯,深有同感。
点赞,必须点赞
思路清晰,干货满满。