核心技术 | 无人机探测

Real-to-Sim-to-Real 全自动数据集生成，助力无人机追捕

2024年4月 · 宁子安

  • 全自动数据集生成，无需人工拍摄与标注
  • 仿真环境由真实照片构建，跨越仿真-现实鸿沟
  • 八种无人机型号随机渲染，高泛化能力
  • 所有算法集成于机载计算机，户外实证成功

全自动数据集收集效果演示

实时检测效果演示

近年来，低小慢旋翼无人机的不当飞行已经对许多基础设施和公共安全造成了威胁。如何能够有效反制低小慢恶意无人机已经成为了一个重要的研究方向。我们长期研究基于视觉的"空对空"无人机自主追捕系统，该系统为无人机反制提供了潜在有效的物理接触式反制手段，在许多场景中具有独特的优势。

然而，想要通过视觉"空对空"稳定识别微小无人机面临多重挑战。例如，由于目标无人机是非合作的，我们无法提前收集包含目标无人机的数据集。更为重要的是，由于目标背景复杂且动态变化，给稳定探测无人机带来诸多挑战。

近期，我们提出一种新型 Real-to-Sim-to-Real 的方案。该方案基于一个合理的前提条件，即无人机追捕系统是部署于一个特定区域，通过收集该特定区域的大量图片，进而构建该区域的 3D 场景模型，再结合 AirSim 平台实现大规模、高质量、多类型无人机数据集的快速生成和训练。该方法能够充分利用特定场景下的视觉特征，而并非要实现在任意场景下的无人机识别，从而提高了针对性和有效性。

Real-to-Sim-to-Real方法示意图 Real-to-Sim-to-Real方法示意图

图1，Real-to-Sim-to-Real 方法示意图

方案流程

算法流程图

图2，"空对空"自主无人机追捕系统算法流程图

整个抓捕系统的算法流程分为 7 个步骤：

1. 采集环境图像 — 针对部署的特定区域，使用倾斜摄影的方式拍摄大量真实环境照片，并记录每张照片的拍摄位置。

拍摄位置

图3，白色圆圈表示 535 张真实照片拍摄的位置标识

2. 构建 3D 场景 — 基于拍摄的真实环境照片，使用三维建图软件构建出环境的三维模型，并将其导入到虚幻引擎中。仿真环境模型由真实环境照片构建，弥补了仿真域和现实域之间的差距。

三维渲染效果

图4，虚幻引擎中，所构建场景三维模型的渲染效果

3. 添加虚拟无人机 — 为增加数据集在无人机型号方面的泛化性，选择八种不同型号的无人机模型，与环境模型一起导入虚幻引擎。

无人机模型 渲染效果

图5，导入虚幻引擎中的无人机模型  |  图6，无人机模型和环境模型同时渲染的效果

4. 自动数据集收集 — 利用虚幻引擎强大的视觉渲染能力，使用 AirSim 接口实现全自动数据集收集和标注。泛化性体现在随机选择无人机型号、随机设置位置和姿态、随机设置拍摄角度、随机设置光照条件。

数据集示例

图7，使用 Real-to-Sim-to-Real 方法收集的数据集（Train-Real2Sim）示例

5. 训练 Yolo 网络 — 使用仿真平台自动收集的数据集，训练一个 tiny-Yolo v4 视觉检测网络。

t-SNE域分析

图8，t-SNE 域分析结果

6. AirSim 仿真实验 — AirSim 仿真平台不仅具有高质量的图像渲染能力，同时还包含了无人机的非线性动力学模型。仿真实验结果表明，抓捕无人机可仅使用机载相机来识别、估计和跟踪目标无人机。

AirSim仿真1 AirSim仿真2

图9，AirSim 仿真实验结果展示

7. 户外追捕实验 — 搭建基于大疆 M300 四旋翼平台的硬件系统，所有算法集成到机载计算机中。在真实户外飞行实验中，抓捕无人机仅利用其机载相机全自主识别、估计和跟踪目标，最终发射网枪，成功捕获目标无人机。

硬件平台 抓捕条件 地面站

图10，"空对空"无人机自主追捕系统硬件平台展示  |  图11，抓捕条件示意图  |  图12，遥控端地面站示意图

测试结果

研究收集了三个测试集 Test-OneMAV、Test-MultiMAV、Test-Lowlight，分别用于测试方法在真实场景中的有效性、识别不同型号无人机的泛化能力、以及在不同光照条件下的泛化能力。

训练数据集Test-OneMAVTest-MultiMAVTest-Lowlight
Train-Real99.88%92.1%89.32%
Train-Real2Sim97.12%97.67%96.43%
Train-Sim76.35%55.99%37.18%

测试结果表明：（1）使用 Real-to-Sim-to-Real 方法训练的视觉检测网络可以直接部署到真实环境中；（2）该方法能够显著提高视觉检测网络在不同光照条件下检测不同型号无人机的泛化能力。此外，t-SNE 域分析结果证明了在仿真环境中收集数据集的方法可以充分覆盖场景中的各个角落，泛化能力更强。

主要优势

快速规模化：可在短时间内收集大量泛化的数据集。由于是全自动收集数据集，不需要实际拍摄和人工标注，极大缩短时间、降低成本。

跨越仿真-现实鸿沟：由于仿真环境模型是由真实环境照片构建的，使用该方法训练的视觉检测网络可以直接应用到真实场景中。

场景专用优化：由于追捕系统需要部署在特定区域，可以充分利用已知的环境，增强从仿真到现实的迁移效率。

📄 论文信息

Z. Ning, Y. Zhang, X. Lin, and S. Zhao*,
"A Real-to-Sim-to-Real Approach for Vision-Based Autonomous MAV-Catching-MAV",
Unmanned Systems, pp. 1–11, April 2024.
DOI: 10.1142/S2301385025500360

查看完整论文 → PDF 下载