CBAM 论文精读：双重注意力机制

📌 One-Sentence Summary 本文详细解读了 CBAM 论文，阐述了通道注意力模块与空间注意力模块的原理，回顾了消融实验为何两种池化方式与先 CAM 后 SAM 的顺序排列效果最佳，并提供了从零实现并集成到 ResNeXt 的 PyTorch 代码。 📝 Summary 本文是对 Woo 等人于 2018 年发表的 CBAM（卷积块注意力模块）论文的精读，该工作是对 SENet 的改进。作者解释了 CBAM 沿两个维度施加注意力：通道注意力模块（CAM）和空间注意力模块（SAM）。CAM 同时使用全局平均池化和全局最大池化，再通过共享 MLP 生成通道权重；SAM 则在通道维度上池化，并施加 7x7 卷积生成空间权重。文章回顾了论文的消融实验，结果表明在 CAM 中同时使用两种池化可将 top-1 错误率降至 22.80%，SAM 中 7x7 卷积配置最优，而先 CAM 后 SAM 的顺序排列取得最佳结果（错误率 22.66%）。跨骨干网络的对比显示，CBAM 通常优于普通模型和 SE 增强模型，尤其值得注意的是，带 CBAM 的 ResNet50 以更少的参数和 FLOPs 超越了普通 ResNet101。Grad-CAM 热力图表明 CBAM 帮助模型关注完整物体并提升置信度。文章最后提供了 CBAM 的逐步 PyTorch 实现及其集成到 ResNeXt 骨干网络的代码，包括 CAM 和 SAM 模块的代码。 💡 Main Points CBAM 结合通道注意力与空间注意力来精炼 CNN 特征，其输出形状与输入一致，可作为即插即用模块用于任意骨干网络。 该模块由通道注意力模块（CAM）和空间注意力模块（SAM）组成。CAM 在空间维度上施加全局平均池化和最大池化，通过共享 MLP 处理后将结果相加生成通道权重。SAM 在通道维度上池化，将两个池化张量拼接后施加 7x7 卷积生成空间权重。两种权重均通过乘法施加，保持张量维度不变。 在 CAM 中同时使用平均池化和最大池化至关重要，二者捕获互补信息，联合使用比单独使用更能降低 top-1 错误率。 消融实验结果显示，单独使用任一种池化已优于普通 ResNet50 骨干网络，但两者结合取得了最低的 top-1 错误率 22.80%。最大池化捕获每个通道中最显著的像素值，而平均池化捕获通道的总体信息，二者形成互补。 SAM 的最优配置是同时使用两种池化操作后接 7x7 卷积，优于 1x1 卷积或单一池化等替代方案。 论文对 SAM 配置的消融实验表明，最大池化与平均池化结合 7x7 卷积的分类性能最佳。用 1x1 卷积（含可学习参数）替代池化则性能欠佳。 先 CAM 后 SAM 的顺序排列性能最佳，而并行排列或颠倒顺序会降低准确率。 消融结果显示，先 CAM 后 SAM 的顺序排列取得了最低的 top-1 错误率 22.66%。交换顺序会增加错误率，并行化模块表现更差，但仍优于仅含 SE 模块的 ResNet50。 CBAM 使较浅的网络以更少的参数和 FLOPs 超越更深的网络，适合低功耗设备部署。 跨骨干网络对比中，带 CBAM 的 ResNet50 错误率低于普通 ResNet101，尽管其参数和 GFLOPs 显著更少。这证明了 CBAM 的高效性及其在资源受限硬件上部署的潜力。 Grad-CAM 可视化显示 CBAM 帮助模型关注更完整的物体区域并提升预测置信度。 针对 Croquet ball、Eskimo dog 和 Snow leopard 等类别的热力图显示，CBAM 将注意力锐化至目标物体并扩展覆盖至整个相关区域（例如整张脸）。对于校车偏离中心的 School bus 图像，CBAM 将置信度从普通 ResNet50 的 0.07 提升至 0.98。 💬 Key Quotes 尽管名为注意力，它与 ViT（视觉 Transformer）架构中的注意力完全不同。 CBAM 不仅为每个通道分配权重，还为图像空间维度上的每个像素赋予权重。 从理论上讲，最大池化和平均池化产生的特征确实应该互补，因为前者捕获通道内最显著的像素值，而后者提取通道的总体信息。 这些事实表明，CBAM 使较浅的网络能够超越更深的网络，同时显著节省计算资源，非常适合在低端设备上部署。 而这正是注意力模块所做的。你可以看到，使用 CBAM 时，注意力热力图中的红色区域覆盖了整张脸，表明模型现在将该面部区域纳入预测考量。 📊 Article Meta AI Screening： 86 Source： Towards Data Science Author： Muhammad Ardi Putra Category： 人工智能 Language： 英文 Read Time： 21 min Word Count： 5224 Tags： AI 与智能应用 , 计算机视觉 , 注意力机制 , 机器学习 , 模型训练与推理 Read Full Article