跨域泛化无人机检测新基准 — M3D 数据集与噪声抑制网络
论文发表截图 — IEEE T-ASE
- 首个跨域无人机检测新基准
- 首个跨域无人机数据集 M3D
- 噪声抑制网络提升泛化精度
- 发表于 IEEE T-ASE 期刊
无人机检测可以分为基于外观和运动信息的两类视觉检测方法。在基于外观的无人机检测中我们经常遇到一个问题是，当遇到新的环境或者新的无人机时，已经训练好的无人机检测网络的性能通常会有明显的下降。因此，我们提出了一种基于无监督的跨域无人机检测算法来解决这个问题。相关的研究成果已经被期刊 IEEE Transactions on Automation Science and Engineering 接收。
跨域无人机检测新基准 — M3D 数据集
作为第一个关注于跨域无人机检测的工作，我们亟需建立一个新基准来研究这个问题。我们提出一个新的无人机检测数据集 M3D（Multi-MAV-Multi-Domain）来构建相应的跨域无人机检测任务。该数据集包含了丰富的场景、无人机类型和图像类型，同时拍摄的视角也多种多样，非常有利于推进无人机检测领域的发展。
图1，M3D 数据集
M3D 数据集共包含两种类型的无人机数据，即真实数据（M3D-Real）和仿真数据（M3D-Sim），真实数据包含图片 55,259 张，仿真数据包含图片 28,740 张。为了研究从仿真到现实的跨域问题，我们将仿真数据集分为两个子集，分别包含正常的仿真数据（M3D-Sim-Normal）和经过纹理随机化处理后的仿真数据（M3D-Sim-Texture）。为了研究跨场景的问题，我们根据场景的不同将真实数据集分为两部分，即源域数据集（M3D-Real-Source）和目标域数据集（M3D-Real-Target）。
最终，我们利用 M3D 数据集构建了三种类型的跨域任务，分别是从仿真到现实的跨域检测、跨场景的检测以及跨数据集的检测：
表1，跨域无人机检测任务新基准
表2，各无人机检测数据集对比
噪声抑制网络（Noise Suppression Network）
无人机跨域检测任务和传统的跨域目标检测任务的区别在于：更加复杂多变的背景、占比较小的目标无人机以及对实时性检测的要求。这些差异导致了伪标签的噪声变得更加复杂。为了更好地抑制伪标签的噪声，我们提出了一种新的噪声抑制网络来提高跨域无人机检测的精度。
图2，噪声抑制网络示意图
该噪声抑制网络主要包含三大模块：
第一，大模型到小模型的训练过程：充分利用大模型的优势，同时满足无人机检测对于实时性的要求。
第二，基于先验知识的课程学习模块：将伪标签划分为不同检测难度，并自动赋予不同难度的伪标签不同的阈值大小，进而提高伪标签的精度。
图3，四种检测难度的无人机目标
第三，基于掩码（Mask）的数据增强模块：帮助网络逐渐适应到新的目标域环境上。与传统 CutMix 算法相比，我们利用了目标的掩码信息来帮助无人机检测网络更好地适应到新的背景上，进而提高检测精度。
图4，(a) 所提数据增强算法效果 | (b) CutMix 数据增强算法效果
实验
我们在所提新基准的三个任务上进行了实验。所提噪声抑制网络在三个任务上都表现出优异的性能。
图5，不同算法检测结果对比（最右为所提算法）
小结
这项工作是第一个将跨域目标检测引入到无人机领域中的工作，重点研究了相关的任务搭建和算法设计。所提数据集可以极大地推进该领域的发展，所提算法较已有算法已经有了较大的性能提升，同时给后续研究留有很大的提升空间。
📄 论文信息
Y. Zhang, J. Deng, P. Liu, W. Li, and S. Zhao*,
"Domain Adaptive Detection of MAVs: A Benchmark and Noise Suppression Network",
IEEE Transactions on Automation Science and Engineering (T-ASE), accepted, February 2024.