本申请提出了基于机器视觉的多无人机协同目标状态估计控制方法及应用，包括以下步骤：获取检测图像，依据该检测图像获取目标物在现实空间中相对观测无人机的方向；获取相邻无人机的位置信息以及所有相邻无人机对目标物的检测信息，并依据相邻无人机的位置信息和检测信息对目标物的状态进行估计；通过一致性算法将除目标物外的所有无人机对目标物的估计进行收敛，得到目标物的估计信息；依据该估计信息计算观测无人机的最优观测控制率并依据该最优观测控制率修正每个观测无人机的位置。本申请通过单目视觉传感器，通过协同的方式实现多无人机分布式的目标状态估计，估计目标在三维空间中的实时状态，通过控制保证对目标的估计能够收敛且稳定。标的估计能够收敛且稳定。标的估计能够收敛且稳定。
【技术实现步骤摘要】
多无人机协同目标状态估计控制方法及其应用
[0001]本申请涉及无人机控制
，特别是涉及一种基于机器视觉的多无人机协同目标状态估计控制方法及其应用。
技术介绍
[0002]无人机集群作为新兴研究领域，展现出强大的任务执行能力，并应用于各个领域。但由于无人机体积小、飞行速度快、制作成本低，一旦被不法分子利用，会对社会公共安全产生较大的威胁。
[0003]目前，反无人机的技术发展越来越多。反制的首要目的是实现对目标的实时状态跟踪和估计。但由于无人机的体积小、飞行速度快且可能出现未知无人机等信息，实时的状态估计算法就尤为重要。
[0004]现有主要有雷达检测和激光测距仪结合相机检测。然而传统的雷达技术手段无法得到无人机的三维空间状态，且由于雷达尺寸大，重量中，通常无法实现灵活的机载探测；另一种采用激光测距仪结合相机实现无人机的检测、定位与跟踪的方式，想通过激光测距云台测量出无人机的位置，就需要控制激光测距仪对准无人机并保持稳定的跟踪，然而无人机的飞行状态是不确定的、这使得激光测距云台难以控制对准无人机，更不必说保持稳定的跟踪；且无人机的反射平面很小，距离较远时，通过无人机机身平面反射回来的回波能量很小。
[0005]所以利用激光测距手段几乎无法实现无人机的定位；更无法实现对多架无人机的定位与跟踪。
[0006]为此，亟待一种基于单目机器视觉的多无人机协同目标状态估计控制方法及其应用，以解决现有技术存在的问题，尤其是解决单机在载重有限的情况下的目标状态估计和无法实现对多架无人机的定位与跟踪的问题。
技术实现思路
[0007]本申请实施例提供了基于机器视觉的多无人机协同目标状态估计控制方法及其应用，针对目前单机在载重有限的情况下的目标状态估计和无法实现对多架无人机的定位与跟踪的问题。
[0008]第一方面，本申请提供了基于机器视觉的多无人机协同目标状态估计控制方法，所述方法包括：S10、获取检测图像，依据该检测图像获取目标物在现实空间中相对观测无人机的方向并跟踪所述目标物，使其始终位于图像中心位置；S20、获取相邻无人机的位置信息以及所有相邻无人机对目标物的检测信息，并依据相邻无人机的位置信息和检测信息对目标物的状态进行估计，通过一致性算法将除目标物外的所有无人机对目标物的估计进行收敛，得到目标物的估计信息；S30、依据该估计信息计算观测无人机的最优观测控制率并依据该最优观测控制
率修正每个观测无人机的位置；其中检测信息为每个相邻无人机获取到的目标物在现实空间中相对自身的方向。
[0009]进一步地，步骤S10中，依据该检测图像获取目标物在现实空间中相对观测无人机的方向的具体步骤包括：S11、分别定义图像坐标系、相机坐标系及世界坐标系；S12、根据目标物在图像坐标系中的像素位置和相机内参得出目标物在相机坐标系中的方向；S13、将当前观测无人机的相邻无人机的位置投影到相机坐标系中，得到相邻无人机在相机坐标系中的方向；S14、计算观测方向与每个相邻无人机之间的重合度，选取根据重合度计算中置信度最高的未被排除掉的观测方向对应的边界框作为检测目标；S15、计算该检测目标在世界坐标系中的方向，得到从相机坐标系到世界坐标系的旋转矩阵，依据该旋转矩阵得到目标物在世界坐标系下的方向。
[0010]进一步地，图像坐标系以检测图像的上下方向作为y轴，以水平方向作为x轴，以该检测图像四角中任意一角作为坐标系原点；相机坐标系以相机焦点作为原点，垂直成像平面方向为x轴，y轴与图像坐标系的x轴平行，z轴与图像坐标系的y轴平行；世界坐标系以预设经纬海拔坐标为原点，以经线作为x轴，纬线作为y轴，重力方向作为z轴。
[0011]进一步地，步骤S14中，计算观测方向与相邻无人机之间的夹角作为重合度计算，排除夹角小于设定值的观测方向。
[0012]进一步地，步骤S16中，得到检测目标后，每个观测无人机对检测目标进行跟踪，保证检测目标始终位于当前检测图像的中心位置。
[0013]进一步地，步骤S20中，依据相邻无人机的位置信息和目标物的检测信息对目标物的状态进行估计的具体步骤包括：S21、对目标物状态进行预测；S22、通过相邻无人机的方向和位置根据几何定位得到目标物位置；S23、对该目标物位置进行卡尔曼更新。
[0014]进一步地，步骤S40中，依据该估计信息计算观测无人机的最优观测控制率的具体步骤包括：根据目标物的估计信息和相邻无人机的位置信息，计算观测无人机的第一分量、第二分量及第三分量；以第一分量、第二分量及第三分量作为观测无人机的速度控制命令的权重，得出观测无人机达到最优观测控制率的速度控制命令；其中，第一分量为观测无人机趋近目标物的包围函数的分量；第二分量为观测无人机在目标物的包围函数上的速度分量；第三分量为观测无人机与相邻无人机之间的避障速度分量。
[0015]第二方面，本申请提供了一种基于机器视觉的多无人机协同目标状态估计控制装置，包括无人机本体及设于该无人机本体上的机载计算机、飞行控制系统、无线通信模块、单目视觉传感器及云台；机载计算机存储有计算机程序且分别与飞行控制系统、无线通信模块、单目视觉
传感器及云台通信连接，其中，该计算机程序包括用于控制过程以执行过程的程序代码，过程包括根据上述的基于机器视觉的多无人机协同目标状态估计控制方法；飞行控制系统能够获取无人机的位置、姿态；单目视觉传感器设于云台上，用于拍摄图像数据；云台能够获取云台姿态角。
[0016]第三方面，本申请提供了一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行上述的基于机器视觉的多无人机协同目标状态估计控制方法。
[0017]第四方面，本申请提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序包括用于控制过程以执行过程的程序代码，过程包括根据上述的基于机器视觉的多无人机协同目标状态估计控制方法。
[0018]本专利技术的主要贡献和创新点如下：1、与现有技术相比，本申请无需借助现有的雷达和激光测距云台，仅需要传统的单目视觉传感器获取的检测图像，即可从该检测图像结合本申请的控制方法得出该目标物的三维空间实时状态定位，同时控制所有无人机协同跟踪，从而大幅度减轻了单个观测无人机的机载负担，能够大幅度提高单个观测无人机的机动性；2、与现有技术相比，本申请不仅仅是依赖于单个观测无人机的数据，而是通过无人机群的整体观测数据来对目标物的三维控制实时状态进行估计定位，且经过一致性算法使得所有无人机对目标的估计收敛，显著提高了控制方法的可靠性和目标物状态跟踪的收敛速度，最后通过计算每个观测无人机的最优观测控制率来进行位置修正，从而使每个无人机能更好地观测、跟踪目标物。
[0019]本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
[0020]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.基于机器视觉的多无人机协同目标状态估计控制方法，其特征在于，包括以下步骤：S10、获取检测图像，依据该检测图像获取目标物在现实空间中相对观测无人机的方向并跟踪所述目标物，使其始终位于图像中心位置；S20、获取相邻无人机的位置信息以及所有相邻无人机对所述目标物的检测信息，并依据所述相邻无人机的位置信息和所述检测信息对所述目标物的状态进行估计，通过一致性算法将除所述目标物外的所有无人机对所述目标物的估计进行收敛，得到所述目标物的估计信息；S30、依据该估计信息计算所述观测无人机的最优观测控制率并依据该最优观测控制率，修正每个所述观测无人机的位置；其中所述检测信息为每个所述相邻无人机获取到的目标物在现实空间中相对自身的方向。2.根据权利要求1所述的基于机器视觉的多无人机协同目标状态估计控制方法，其特征在于，步骤S10中，依据该检测图像获取目标物在现实空间中相对观测无人机的方向的具体步骤包括：S11、分别定义图像坐标系、相机坐标系及世界坐标系；S12、根据所述目标物在图像坐标系中的像素位置和相机内参得出所述目标物在所述相机坐标系中的方向；S13、将当前所述观测无人机的相邻无人机的位置投影到所述相机坐标系中，得到相邻无人机在所述相机坐标系中的方向；S14、计算观测方向与每个相邻无人机之间的重合度，选取根据重合度计算中置信度最高的未被排除掉的观测方向对应的边界框作为检测目标；S15、计算该检测目标在世界坐标系中的方向，得到从相机坐标系到世界坐标系的旋转矩阵，依据该旋转矩阵得到所述目标物在世界坐标系下的方向。3.根据权利要求2所述的基于机器视觉的多无人机协同目标状态估计控制方法，其特征在于，所述图像坐标系以所述检测图像的上下方向作为y轴，以水平方向作为x轴，以该检测图像四角中任意一角作为坐标系原点；所述相机坐标系以相机焦点作为原点，垂直成像平面方向为x轴，y轴与所述图像坐标系的x轴平行，z轴与所述图像坐标系的y轴平行；所述世界坐标系以预设经纬海拔坐标为原点，以经线作为x轴，纬线作为y轴，重力方向作为z轴。4.根据权利要求2所述的基于机器视觉的多无人机协同目标状态估计控制方法，其特征在于，步骤S14中，计算观测方向与相邻无人机之间的夹角作为重合度计算，排除夹角小于设定值的观测方向。5.根据权利要求2所述的基于机器视觉的多无人机协同目标状态估计控制方法，其特征在于，步骤S...
【专利技术属性】
技术研发人员：郑灿伦，陈华奔，李康，赵世钰，
申请(专利权)人：西湖大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。