遥感卫星图像与深度学习相结合?

遥感卫星图像与深度学习相结合?

**Domain Adaptive Object Detection (DAOD)**通过将从标记的源域转移到未标记的目标域中学到的知识,减轻了对标记数据的依赖。最近的DAOD方法主要基于地面图像进行建模。与地面图像相比,航拍图像受到尺度变化和视角多样性的影响。这意味着在航拍图像中进行域自适应目标检测是一个更具挑战性的任务。在这项工作中,我们从两个层面解决了航拍图像中的域漂移问题:

具体来说

在VisDrone、UAVDT、DIOR和DOTA数据集上进行的大量实验结果表明,与其他最先进的方法相比,本文的方法在四个域自适应场景中实现了最佳的检测性能,例如在白天→夜晚(VisDrone)中,mAP50为23.5%;在VisDrone→UAVDT、DIOR→UAVDT和DOTA→VisDrone中,汽车的AP50分别为63.1%、46.6%和44.8%。

图1中展示了航拍图像和地面图像。航拍图像中领域自适应目标检测的主要挑战源自两个方面:

在一个加权多层特征对齐模块,它由多个对抗性域分类器组成。通过在域分类器D和主干网络G之间构建一个max-min博弈,实现了跨域特征对齐。具体而言,域分类器D的目标是区分来自源域/目标域的特征,而主干网络G的任务是混淆域分类器。通过在D和G之间插入一个梯度反转层(GRL)来实现对抗学习。

基于从不同的特征层中提取的特征具有特定的属性,即它们对场景具有不同的适应性(如照明、视点等),本文引入了一种加权机制来突出不同域分类器的不平衡特征混淆能力。实施过程的细节包括3个步骤。

本文提出了原型图对齐(PGA)模块。PGA不直接训练域分类器,而是通过约束两个域之间的原型关系图的一致性来实现特征对齐。PGA包括3个步骤。

为了减少噪声伪标签,本文提出了一种基于软置信度的伪标签方法。实施该方法的过程包括:

提出了一种动态平滑方法用于原型更新,进一步抑制噪声伪标签的负面影响。

其中 α 为动态平滑因子,cos() 表示余弦相似度,P 表示第 i 次迭代中 k 类的局部原型。

地面图像的尺度变化有限,因此对所有尺度对象进行统一特征对齐是可行的。尺度感知损失包括多个特征层的加权原型图对齐损失,定义如下:

框架的训练过程包括:

算法流程如下:

为了量化每个模块对模型性能的影响,设计了广泛的烧蚀实验。实验结果见表5。考虑了4种不同的变体:

与现有的多层特征对齐(MFA)方法相比,WMFA考虑了特征层传递能力的差异。在表6中的三组比较实验中,WMFA在性能上分别比MFA提高了1.1%、1.9%和1.6%。这表明,专注于具有较高传递能力的特征的知识传递对学习域不变表示更有益。

为了证明SA损失的适用性,将SA损失分别添加到SWDA和MAF中,以评估跨摄像机自适应任务(VisDrone→UAVDT)的性能。实验结果见表7。可以看出,在三组实验中引入SA损失后,汽车的AP50平均提高了3.3 %。这表明SA损失可以改善模型规模的尺度自适应范围。

图3显示了WMFA中不同特征的权重。较高的权重表示较高的传递能力,反之亦然。从图中可以看出,特征的传递能力具有两个特点:

为了进一步证明WMFA的有效性,比较了三种不同的图像级对齐方法,即单层特征对齐(SFA)、MFA和WMFA。实验结果见表8。

在PGA算法中提出了一种新的伪标签方法来为边界盒生成可靠的类标签。两种不同的跨时间适应任务的结果如表9所示。该方法的优点有两个方面:

为了减轻噪声伪标签的干扰,使用动态平滑因子更新原型。交叉时域适应任务中不同类别的平滑因子α如图4所示。可以看出

尺度感知损失中不同特征的权重如图5所示。浅层特征的权重高于深层特征的权重。一个合理的解释是,航空图像中的小物体占主导地位,并被浅层特征探测到。

我们研究了在交叉摄像机适应任务中权衡参数 λ1 ∈ {0.01, 0.1, 0.5, 1, 5} 和 λ2 ∈ {0.01, 0.1, 0.5, 1, 5} 的敏感性。参数对检测性能的影响如图6所示。

可以看出,当 λ1 = 1 且 λ2 = 0.1 时,获得了最佳检测结果。与 λ1 相比,模型的AP50更容易受到 λ2 变化的影响。这是合理的,因为 λ2 与目标域原型的可靠性直接相关。

如图7所示,与 SWDA 和 MAF 相比,正确百分比分别增加了**10.6%和4.7%**,同时减少了误报样本的数量。本文方法的优势主要来源于两个方面:

在跨域自适应前后,目标检测器中不同类别的原型之间的相似性如图11所示。

从图中可以看出,域适应后目标域原型之间的相似性显著低于域适应前,这说明本文的方法可以扩大类之间的距离。

例如,图11(a)中行人和人之间的高度相似性,说明使用预先训练的源模型提取的这两类特征存在严重混淆。相反,在对我们的方法进行跨域自适应后,两类之间的相似性降低,这意味着混淆水平降低。

四个自适应任务的广泛实验证明了方法的有效性和适应性。未来的工作重点将放在航拍图像中的多源域自适应目标检测上