Leveraging Saliency in Single-Stage Multi-Label Concrete Defect Detection Using Unmanned Aerial Vehicle Imagery

利用无人机图像进行单阶段多标签混凝土缺陷检测

摘要：
摘要：使用无人机图像对混凝土结构进行目视检查是一种由于缺陷尺寸和外观的可变性，这项任务具有挑战性。本文提出了一种利用无人机自动快速检测桥梁混凝土缺陷的高性能模型图像。我们创造了基于显著性的多标签缺陷检测器（SMDD-Net），结合通过一阶段的混凝土缺陷检测模型进行金字塔特征提取和注意。注意力模块提取局部和全局显著性特征，这些特征与最大池化、乘法和剩余跳过连接操作。这有助于加强小型和低对比度缺陷以及在变化的图像采集范围中检测的总体精度。最后，使用多标签损失函数检测来识别和定位重叠缺陷。这个在标准数据集和真实世界图像上的实验结果证明了关于最先进技术的SMDD-Net的准确性和计算效率SMDD-Net使其成为一种适用于无人机桥梁结构检测的方法。

网络主题代码使用Retina-Net，优化了主干网络和Loss

1. Introduction
略
在本文中，我们研究了在基于无人机的检查中通常出现的上述具有挑战性的情况下，使用注意力来增强具体缺陷检测。我们提出了一种快速准确的模型，即基于显著性的多标签缺陷检测器（SMDD-Net），它利用显著性和金字塔特征提取来更好地检测和定位混凝土缺陷。SMDD Net将两个模块集成在一个单级管道中：（1） 注意力模块，其提取全局和局部显著性以突出图像中的感兴趣区域，以及（2）检测模块，其使用受RetinaNet模型启发的特征金字塔网络（FPN）来定位多个和潜在重叠的缺陷。选择RetinaNet是因为它能够在不同规模和存在的情况下检测缺陷由于使用了FPN和FL损失，训练数据集不平衡。这两个模块通过残差跳跃连接进行集成，以突出金字塔特征的空间表示中的感兴趣区域。换句话说，注意力模块使将检测更多地集中在表征一般混凝土缺陷的局部对比区域上。SMDD-Net能够检测小的和低对比度的缺陷，以及在杂乱的背景，使其成为基于无人机的检查的合适方法。

图1（顶部）显示了SMDD-Net体系结构的流水线，包括注意力和检测模块。第一个模块提取显著性特征，而第二个模块优化用于检测重叠缺陷的多标签丢失函数。我们在本文中的主要贡献可以列出如下：

1）我们提出了SMDD-Net架构，它将注意力集中在单级混凝土缺陷检测中。注意力模块提取全局和局部显著性图，其突出显示局部特征，以便在存在背景杂波（例如，伪影、桥接结构元素等）的情况下更好地检测多个缺陷类别。与针对均匀背景的单个缺陷定位的检测方法相反，SMDD-Net能够定位以可变形状、小尺寸、低对比度和重叠为特征的复杂缺陷。

2）我们提出了一个基于显著性提取的注意力模块，通过对我们的特征提取网络进行基于梯度的反向传播。反向传播通过两个路径形成：全局路径，其突出大尺寸缺陷结构，局部路径，其高亮包含小对比度和低对比度缺陷的局部图像特征。使用通道间最大池化将两条路径融合，并通过剩余跳过连接将输出添加到金字塔特征中。

3）我们在著名的CODEBRIM数据集上演示了SMDD-Net模型的性能，该数据集包含五类缺陷和几个具有小、低对比度和重叠缺陷的图像示例。我们的模型利用了两种检测范式的优势：两阶段检测的高精度和一阶段检测的高速。我们还使用真实世界无人机图像的几个例子，将我们的模型的性能与最先进的方法进行了比较。

2. Literature Review
略
3. Proposed Method
本文的核心思想是通过利用具有显著性的对象检测来改进缺陷检测和定位。这是因为缺陷通常以其相对于无缺陷背景表面的局部对比度为特征。将显著性和对象检测相结合，直观地吸引人们将注意力集中在具有最高局部对比度的零件上，用于可以定位潜在缺陷的区域建议。显著性还可以增强低对比度缺陷（例如，裂纹、风化）的特征表示，这将增强其用于检测的区域建议分数。SMDD-Net方法的流水线如图2所示，它由两个主要模块组成：（a）注意力模块和（b）多标签一阶段混凝土缺陷检测模块。注意力模块旨在通过更加强调图像中包含局部不连续性的部分来增强特征表示。换句话说，显著性图将精确定位图像的部分，从而能够在具有最高缺陷可能性的混凝土表面上生成区域建议。第二个模块扫描区域建议，通过边界框回归和分类来确定缺陷。后者使用CODEBRIM数据集对多标签缺陷检测进行了微调。在下文中，我们通过给出每个模块的实现示例来分别描述每个模块，如图2所示，其中Grad CAM和RetinaNet被用作实现我们的架构的基线。


用于缺陷检测的增强区域特征表示的注意力模块

多标签单阶段缺陷检测模块使用RetinaNet模型

3.1. Saliency for Defect Region Proposals
3.1. 缺陷候选区的显著性
显著性的目的是基于视觉感知的认知研究，能够识别与周围环境表现出局部对比的区域。
这个问题与混凝土缺陷检测问题非常一致，即缺陷通常表现出与直接无缺陷混凝土表面的一些对比。虽然不是每个显著区域都构成缺陷，但大多数缺陷都表现出一定程度的局部显著性。因此，计算显著性并使用它来引起对缺陷区域的关注可以非常有用地减少假阴性（例如，由于尺寸小和对比度低缺陷），这是混凝土缺陷检测中的一个常见问题。

早期的显著性检测方法是基于手工制作的特征，如局部直方图，在区域支持（如超级像素）上计算，并使用对比度在特征的局部统计或图形排名之间分配显著性得分到像素。这些方法在区分紧凑的显著区域方面取得了成功不需要广泛的训练，但它们不能很容易地用于区分缺陷。首先，一些缺陷，如裂纹，很难用局部统计数据来描述。第二缺陷并不总是占据紧凑的区域，而是具有不同的尺寸和形状，有时甚至被分割成不同的部分。
通过使用深度学习，表征显著性的局部对比度模式可以通过训练适当的模型例如，Hou等人引入了CNN架构的短连接具有提取整体局部不连续性的作用。Selvaraju等人提出梯度加权类激活图（Grad-CAM）方法，旨在产生粗定位图，突出显示图像的重要区域，导致概念的预测。梯度CAM可以应用于各种CNN模型族并且正确地识别由模型预测的对象的一般区域。

为了在输入图像中搜索可能包含缺陷的区域，SMDD-Net方法将Grad-CAM
(本质是前向传播过程中的梯度图，通过注意力机制的方式将算力集中过来，热力图只是用来可视化)
的结果集成到原始图像中，以突出显示负责缺陷类激活的图像。为此，输入图像被细分为几个重叠的部分，其中每个部分的显著性图被单独计算（见图3b）。为了最大限度地提高缺陷检测率，在分割的每个部分保留最大显著性，以产生输入图像的最终显著性图

这里的公式和代码来自Grad-CAM热力图生成部分

每个分块图像的热力图激活函数

多张图像汇集一起时，有些分块会有多分类的现象，用max处理

最后，通过合并为部分图成的局部显著性图，为整个图构建了完整的局部显著度图。对于两个补丁之间的重叠部分，最大化处理。此外，为了确保整体显著性对特征的增强，对整个图像通过CAM来单独生成一个显著性图。
图3说明了显著性提取模块，该模块在图像上包含分布在整个图像上的多个缺陷。全局显著性确定了右侧最显著的缺陷（暴露棒+剥落），局部显著性识别出风化占据了图像的大部分以及左边的剥落。
通过推理的梯度图与原图的concat，构造了局部与全局两个分支，并最终融合在一起，这样更加全面。

3.2. Multi-Label One-Stage Defect Detection
3.2.多标签一阶段缺陷检测
缺陷检测不仅要对缺陷进行分类，还要将它们定位在边界框内。请注意，单阶段检测模型主要关注计算效率，这使得能够以有限的准确性为代价进行快速检测。在这里，我们试图通过简单地缩小一级检测器的搜索区域来获得两个世界的好处，从而实现快速准确的缺陷检测。使用计算的显著性图，我们在显著部分周围生成候选区域，以缩小缺陷的搜索空间，类似于使用深度学习的两阶段对象检测。

在大多数对象检测方法（如RetinaNet）中，边界框被分配一个标签。然而，对于混凝土缺陷检测，几个缺陷可能同时出现在同一位置。例如，裸露的钢筋通常与腐蚀或剥落缺陷有关。同样，裂纹也可能与风化缺陷有关。为了考虑到这一现实，我们重新审视了RetinaNet的FL损失，通过为每个边界框分配多个标签来实现多标签版本。RetinaNet的原始焦点损失（FL）是交叉熵损失（CE）的增强，由于anchor盒的密集采样，交叉熵损失存在极端的前景-背景类不平衡问题。由于每个金字塔层中有数百个锚框，因此只有少数锚框会被分配给地面实况对象，而绝大多数锚框将是背景类，这可能会共同压倒模型。为了缓解这个问题，FL减少了简单示例的损失贡献，并增加了纠正错误分类示例的重要性。

为了考虑缺陷检测的多标签方面，我们通过创建包含多个缺陷标签的边界框的副本来增强基本事实。这将使该地区提案中的不同候选人能够回归，以针对相同的基本事实边界框。这样做的最终效果是生成紧密重叠的边界框，这些边界框可以以不同的方式进行标记。更正式地说，具有一组L={c1…cn}标签的给定边界框位置的FL由下式给出

4. Experiments
4 实验




5.结论
本文提出了一种新的一阶段混凝土缺陷检测方法。该方法利用显著性形式的注意力将检测集中在图像的最重要部分。这具有提高整体检测精度的优点，而且还可以检测大多数一阶段和两阶段检测方法所遗漏的非对比度和小缺陷。我们的注意力模块是通过融合实现的使用反向传播提取的局部和全局显著性图。要改进功能对于缺陷检测，将显著性特征与锥体相结合特征。实验结果表明，所提出的方法优于在检测精度方面的其他方法，同时在计算上是有效的。它还能够更好地识别和定位重叠缺陷。虽然结果表明，SMDD-Net可以很容易地应用于混凝土桥梁缺陷检测而不需要对任何其他混凝土结构缺陷检测任务进行重大修改。