核心技术 | 目标运动预测

Bearing-Angle 利用被忽视的视觉信息大幅提升目标定位可观性

  • 消除横向高机动约束,允许径直朝向目标运动
  • 无需额外传感器,仅利用检测框大小信息
  • 同时估计目标运动状态与尺寸
  • 发表于 IJRR 顶刊,多场景验证
bearing-angle方法示意图 bearing-angle算法流程图

图1-2,bearing-angle 方法示意图与算法流程图

研究背景

基于视觉的目标运动估计是许多实际任务中的基础问题,例如自动驾驶场景。通常,该问题会被看作基于 bearing-only 的目标运动估计问题。为了满足可观性的要求,基于 bearing-only 的目标运动估计算法存在一个重要的限制条件:观测者的运动必须包含横向高机动。但是在很多场景中,横向高机动是与期望的运动方向相冲突的。

是否能够在保证系统满足可观性的条件下去掉横向运动的约束条件?答案是肯定的。我们提出了一种新型的 bearing-angle 目标运动估计方法。该工作于近期发表于 International Journal of Robotics Research(IJRR)。

IJRR 期刊介绍

The International Journal of Robotics Research(IJRR)是机器人领域的高水平学术期刊,专注于发布关于机器人技术和相关领域的最新研究成果。IJRR 创刊于 1982 年,是该领域的第一本学术刊物,2022–2023 最新影响因子 9.2。自其创刊以来,IJRR 一直以其卓越的学术质量和广泛的学术影响力在国际学术界内享有良好的声誉。该期刊致力于发表原创性、深入思考和引人入胜的论文、评论和社论,涵盖了机器人学科的各种主题。

IJRR 对于许多国内研究人员来说可能比较陌生,它每年发表论文的数量很少——近三年中国大陆及港澳台地区每年发文量不超过 5 篇。此次在 IJRR 上发表论文,是对我们研究工作学术价值的高度认可。

算法介绍

从视觉检测算法可以得到一个检测框,通过检测框在图像中的位置,我们能够计算出目标的方向信息(bearing)。传统的 bearing-only 算法就是基于此 bearing 信息来估计目标的运动状态。

然而,检测框的大小也是一个重要的信息源——通过近大远小的原理,这里面包含了一部分的距离信息。我们将此检测框的大小转换为张开角(angle),并综合利用 bearing 和 angle 信息来估计目标的运动状态。引入这一 angle 观测量可以显著提高系统的可观性,使得观测者不再需要具备横向高机动。由于方向和张开角都是目标运动状态的非线性函数,我们设计了伪线性卡尔曼滤波估计器来解决非线性的问题。

算法优势

我们从可观性矩阵和线性方程组两个角度来分析 bearing-angle 算法的可观性。最终的可观性条件是:观测者的运动阶数必须高于目标的运动阶数。关键之处在于:和 bearing-only 的可观性条件相比,我们成功消除了观测者对横向运动的依赖。也就是说,即使观测者朝向目标运动,也能满足 bearing-angle 的可观性条件。

bearing-angle 算法消除了观测者对横向运动的要求,这在很多应用场景中都具有重要的积极意义。以无人机抓捕场景为例,观测者无需横向运动,只需径直朝向目标运动即可——这有助于减少追捕所需的时间,提高追捕的成功率。

数值仿真验证

下面展示一些 MATLAB 仿真结果。图3展示的是制导场景下的仿真结果。由于制导轨迹中仅包含了少量的横向运动,所以 bearing-only 失效,但是 bearing-angle 算法成功估计出了目标的运动状态和尺寸信息。

制导场景仿真

图3,制导场景下的 MATLAB 仿真结果

对于四旋翼无人机来说,其形状可能不符合标准的圆柱体。为了验证目标物体是四旋翼无人机时算法的有效性,我们将目标物体设置为正方形,并做了仿真实验(如图4所示)。在正方形目标高速自旋的场景下,bearing-angle 算法同样可以收敛。

正方形目标仿真

图4,正方形目标高速自旋场景的仿真结果

AirSim 仿真验证

MATLAB 仿真实验无法包含视觉模块,我们使用 AirSim 软件来进一步测试算法的有效性。AirSim 仿真平台以其强大的视觉渲染效果而著称。在 AirSim 中,我们成功部署了 tiny-Yolo v4 网络用于有效地检测目标无人机。

AirSim仿真示意图

图5,AirSim 仿真实验示意图

训练数据集

图6,用于训练 tiny-Yolo v4 的部分数据集

无人机跟踪仿真结果

图7,无人机跟踪场景下的 AirSim 仿真结果

室内实验验证

我们还进行了真实实验,以验证算法在实际场景中的有效性。在室内手持相机实验中,我们使用一个 USB 单目相机来观测在地面上自由移动的小车。此实验同样使用 tiny-Yolo v4 网络来检测目标。

室内实验示意图

图8,室内手持相机实验示意图

室内实验数据集

图9,用于训练 tiny-Yolo v4 的部分数据集

室内实验结果

图10,室内手持相机实验结果

户外无人机飞行实验验证

对于无人机跟踪场景,我们进行了户外飞行实验。采用的飞行实验平台为 DJI M300 四旋翼无人机,搭载 H20 系列云台相机。在无人机上安装了妙算2 机载计算机,并在其中部署了 tiny-Yolo v4 网络,使其能够以 15Hz 的速度处理图像。

户外实验平台

图11,户外实验平台示意图与通信架构

户外实验数据集

图12,用于训练 tiny-Yolo v4 的部分数据集

户外实验结果

图13,户外无人机跟踪实验结果

总结

总的来说,我们所提出的 bearing-angle 算法能够充分利用以前未研究过的检测框的大小信息,与传统的 bearing-only 算法相比,增强了可观性。其最显著优势在于,成功消除了观测者必须具有横向高机动的限制条件,这使得算法能够应用到许多常见的但 bearing-only 失效的场景中。在无人机跟踪场景下,bearing-angle 算法可以有效估计出目标的运动状态和尺寸信息,而 bearing-only 算法失效。


📄 论文信息

Z. Ning, Y. Zhang, J. Li, Z. Chen, and S. Zhao*,
"A Bearing-Angle Approach for Unknown Target Motion Analysis Based on Visual Measurements",
The International Journal of Robotics Research (IJRR), pp. 1–20, February 2024.
DOI: 10.1177/02783649241229172

查看完整论文 → PDF 下载