用无人机探测器和追踪器融合来增强目标追踪方法及系统技术方案

本发明专利技术公开了用无人机探测器和追踪器融合来增强目标追踪方法及系统。所述方法包括：接收待检测对象的至少一个原始输入图像；基于对象的所述至少一个原始输入图像，生成所述对象的候选信息；根据所述对象的候选信息，基于探测器和追踪器的融合来计算一对象在当前时间戳的位置和速度估值；以及基于当前时间戳的所述对象的位置和速度的估值，预测在未来时间戳的对象的位置和速度估值。

【技术实现步骤摘要】
用无人机探测器和追踪器融合来增强目标追踪方法及系统
本专利技术涉及计算机
，尤其涉及一种通过无人机(UAV)的探测器和追踪器融合来增强目标追踪的方法及系统。
技术介绍
无人机(UAV)在研究和商业应用中具有巨大的潜力价值，由于常常需要对目标对象追踪，例如通过识别动作进行人类身份识别，用于探测可疑活动的自动监视，以及用于手和脸部跟踪的人机交互等。目标对象跟踪可以被定义为这样一个问题，当在场景中移动时，如何估值图像平面中的对象的轨迹。同时，人们非常希望在持续时间内，追踪器在一系列视频图像中向跟踪对象分配持续的标签，并且在不同的追踪范围内提供追踪对象的重要信息。在目标对象跟踪任务下通常有两个子任务：建立一个兴趣目标的模型，并根据前一画面中的目标信息预测目前画面中目标的信息。重复执行这两个子任务，从而不断更新兴趣目标的模型。然而，各种因素可能导致使用单镜头相机安装的UAV来顺利实现跟踪任务受到了质疑，例如由3D现实世界投影到2D图像帧引起的信息丢失，图像中的噪声，追踪对象部分和全部被遮挡，实时处理要求以及UAV运动引起的画面突然变化等。传统的追踪技术在使用时受某些强制约束条件影响，相应的算法主要限制在两个领域：追踪检测和基于协同过滤的视觉对象追踪。然而，这些技术在不同环境下都有自己的局限性。例如，先进的UAV自然地与真实的动态世界交互，关键的一点就是提供了更强力的追踪手段，这给传统追踪技术带来了额外的挑战。本专利技术所公开的方法和系统用于解决上述一个或多个问题以及其他问题。
技术实现思路
本专利技术一方面提供了通过无人机(UAV)的探测器和追踪器融合来增强目标追踪的方法。该方法包括：接收待检测对象的至少一个原始输入图像；基于对象的所述至少一个原始输入图像，生成所述对象的候选信息；根据所述对象的候选信息，基于探测器和追踪器的融合来计算一对象在当前时间戳处的位置和速度的估值；以及基于当前时间戳处的所述对象的所述位置和速度的估值，预测在一未来时间戳处的对象的位置和速度估值。本专利技术的另一方面公开了一种具有计算机程序的非瞬时性计算机可读介质，当由处理器执行时，执行融合无人机(UAV)探测器和追踪器来增强目标追踪的方法，所述方法包括：接收至少一个待检测对象的原始输入图像；基于对象的所述至少一个原始输入图像，生成所述对象的候选信息；根据所述对象的候选信息，基于探测器和追踪器的融合来计算一对象在当前时间戳处的位置和速度的估值；以及基于当前时间戳处的所述对象的位置和速度估值，预测在一未来时间戳处的对象的位置和速度估值。本专利技术另一方面公开了通过无人机(UAV)探测器和追踪器融合来增强目标追踪的系统。所述系统包括一探测器和追踪器模块以及探测器和追踪器融合(D&TF)模块。所述探测器和追踪器模块用于接受对象的原始图像并且生成所述对象的候选信息。所述探测器和追踪器融合(D&TF)模块用于基于对象的所述至少一个原始输入图像，生成所述对象的候选信息，基于所述对象的候选信息，基于探测器和追踪器的融合来计算一对象在当前时间戳处的位置和速度的估值；并且基于所述对象在当前时间戳处的位置和速度估值，预测在一未来时间戳处的对象的位置和速度估值。本领域技术人员根据本专利技术公开的说明书、权利要求书、以及说明书附图的指引，能够理解本专利技术公开的其他方面的内容。附图说明以下附图旨在对本专利技术提供进一步的理解并形成说明书的一部分。示范性实施例及其描述旨在说明本专利技术而并不限制本专利技术的范围。图1为本专利技术公开的实施例的操作环境的示意图；图2为本专利技术公开的实施例的计算系统的示意图；图3为本专利技术公开的实施例的通过无人机(UAV)探测器和追踪器融合来增强目标跟踪的系统的结构图；图4为本专利技术公开实施例的时钟驱动递归神经网络(CW-RNN)的示意图；图5为本专利技术公开实施例的单个CW-RNN单元的示意图；图6为本专利技术公开实施例的通过无人机(UAV)探测器和追踪器融合来增强目标追踪的方法的流程图；图7为本专利技术公开实施例计算追踪对象的位置和速度的估值的方法流程图。具体实施方式现在将对附图中所示的本专利技术的示例性实施例进行详细说明。为了便于理解本专利技术，下面将参照相关附图对本专利技术进行更全面的描述。除非另外指出，在各图中相同的参考数字用于表示相同或相似的部件。显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于所描述的本专利技术的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术公开了通过无人机(UAV)的探测器和追踪器融合来增强目标追踪的方法及系统，其中包括探测器和追踪器融合(D&TF)处理，特征编码和注意机制处理。所述探测器和追踪器融合(D&TF)处理可以用于融合基于视觉的经典和新颖的探测器和追踪器的结果，然后通过克服传统追踪技术在无约束环境和高加速度和大旋转的无人机相关跟踪任务的场景中的限制来达成强大的目标预测。D&TF处理可以视作是一种匿名追踪策略，采用其他正常追踪器和探测器产生的信息作为输入信息。这样的端对端框架可以允许所述模块用于追踪不同的感兴趣的目标，并且因此可以嵌入到现有的UAV的框架中，以增强其跟踪性能及使其适应更多应用。此外，所述特征编码和注意机制处理，将基于视觉的信息转化为特征空间，可以降低计算成本，降低无人机的功耗，增加无人机的飞行时间。图1为本专利技术公开的实施例的操作环境100。如图1所示，所述操作环境100可以包括：移动平台102、服务器104、用户106和网络108。其他设备也可以包括在内。所述移动平台102可以包括任何合适的移动平台，例如自行车，汽车，卡车，船舶，潜艇，火车，飞机，直升机，和各种移动平台的组合等。所述移动平台102可以通过所述网络108来回应所述用户106。所述用户106使用遥控器110来控制所述移动平台102。所述远程遥控器110可以不用与所述移动平台102直接连接，而在远程无线的情况下与所述移动平台102进行通信。所述移动平台102能够遵循一组预定指令。在某些实施例中，所述移动平台102可以通过回应来自所述用户106的一个或多个命令半自动地执行操作，如无命令则自动地执行操作。在一实施例当中，所述移动平台102可以是无人机102。各种类型的UAV102可适用于本专利技术所公开的方法和系统中。例如，所述无人机102可以是由多个旋翼推动的航拍直升机。如图1所示，所述无人机102可以包括机身1021，多个旋翼1022以及一个或多个起落架1023。其他合适的组件也可以包括在其中。所述机身1021可以包括控制单元，惯性测量单元(IMU)，处理器，电池，电源和/或其他传感器。所述旋翼1022可以经由机身1021的边缘或中心部分分支的一个或多个旋臂或延伸部连接到所述机身1021，并且在一个或多个旋臂的端部处或附近拥有旋翼1022。旋翼1022能够旋转从而使无人机102的升起，并且可作为使无人机102自由地通过空气移动的推进单元。所述起落架1023可以支撑无人机102的重量，并且提供滚动底盘/滑行和减震功能。另外，一个或多个对象检测器1024可以安装在所述无人机102上。所述对象检测器1024可以是基于各种原理的对象检测器，如超声波检测仪，雷达，单镜头，多本文档来自技高网...

【技术保护点】
1.一种用无人机探测器和追踪器融合来增强目标追踪的方法，其特征在于，包括：接收待检测对象的至少一个原始输入图像；基于对象的至少一个所述原始输入图像，生成所述对象的候选信息；根据所述对象的候选信息，基于所述探测器和追踪器融合来计算一所述对象在当前时间戳的位置和速度的估值；以及基于所述当前时间戳的所述对象的所述位置和速度的估值，预测在一未来时间戳的所述对象的所述位置和速度的估值。

【技术特征摘要】
2016.12.22 US 15/387,8461.一种用无人机探测器和追踪器融合来增强目标追踪的方法，其特征在于，包括：接收待检测对象的至少一个原始输入图像；基于对象的至少一个所述原始输入图像，生成所述对象的候选信息；根据所述对象的候选信息，基于所述探测器和追踪器融合来计算一所述对象在当前时间戳的位置和速度的估值；以及基于所述当前时间戳的所述对象的所述位置和速度的估值，预测在一未来时间戳的所述对象的所述位置和速度的估值。2.根据权利要求1所述的用无人机探测器和追踪器融合来增强目标追踪的方法，其特征在于，所述接收待检测对象的至少一个原始输入图像，还包括：通过安装在所述无人机上的单镜头相机，接收所述待检测对象的所述原始输入图像。3.根据权利要求1所述的用无人机探测器和追踪器融合来增强目标追踪的方法，其特征在于，基于所述对象的至少一个所述原始输入图像，生成所述对象的候选信息，还包括：根据一预训练的方向梯度直方图算法，生成与所述当前时间戳中的所述对象相对应的边界框bb(lx,ly,rx,ry)，其中，所述边界框的信息包括左上角(lx,ly)的位置和右下角(rx,ry)的位置；基于Kanade-Lucas-Tomasi方法，根据追踪器特征点生成每一个时间戳的所述对象的位置信息，及通过尺度金字塔表征的已学习的判别相关滤波器来生成边界框bbcorr，所述滤波器既用于平移也用于比例估值。4.根据权利要求3所述的用无人机探测器和追踪器融合来增强目标追踪的方法，其特征在于，根据所述对象的候选信息，基于所述探测器和追踪器融合来计算一所述对象在所述当前时间戳的所述位置和速度的估值；并且基于所述探测器和追踪器融合，预测在所述未来时间戳的所述对象的所述位置和速度的估值，还包括：生成二进制特征画布；基于一注意机制处理所述二进制特征画布，以专注于所述二进制特征画布的相关部分；从处理过的所述二进制特征画布中提取所述对象的特征；及计算在所述当前时间戳的所述对象的所述位置和速度的估值。5.根据权利要求4所述的用无人机探测器和追踪器融合来增强目标追踪的方法，其特征在于：所述二进制特征画布记为ct，所述ct代表在所述当前时间戳t中的一特征空间里的视觉信息；所述二进制特征画布具有与所述原始输出图像一样的尺寸(h,w)；所述二进制特征画布具有三个对应于采用独热编码的二进制值的信息{bb,PKLT,bbcorr}的通道；其中，当所述通道代表所述边界框(bb,bbcorr)时，则所述边界框内的像素设为1，边界框外的像素设为0；当所述通道代表所述追踪器特征点时，则将所述二进制特征画布上所述追踪器特征点的位置设为1，并将所述二进制特征画布外的所述追踪器特征点的位置设为0。6.根据权利要求5所述的通过无人机的探测器和追踪器融合来增强目标追踪的方法，其特征在于，基于一所述注意机制处理所述二进制特征画布，以专注于所述二进制特征画布的相关部分，处理所述二进制特征画布还包括：生成一注意隐藏函数Mt(et-1)，且将所述注意隐藏函数Mt(et-1)分别应用于所述特征画布ct的每个通道；及获取一隐藏特征画布，其中，所述注意隐藏函数Mt(et-1)由一融合N×N高斯模型生成，每个高斯模型(i,j)的中心在上，其中，Sframe表示所述原始图像的一个区域，而表示在当前时间戳(t-1)处所述对象的估值边界框的一个区域，m(ct,et-1)＝Mt(et-1)·ct，其中，m(ct,et-1)表示所述隐藏特征画布。7.根据权利要求6所述的通过无人机的探测器和追踪器融合来增强目标追踪的方法，其特征在于，从处理过的所述二进制特征画布中提取所述对象的特征还包括：基于卷积神经网络，提取在所述当前时间戳的特征向量xt。8.根据权利要求7所述的通过无人机的探测器和追踪器融合来增强目标追踪的方法，其特征在于，计算在所述当前时间戳的所述对象的所述位置和速度的估值，还包括：根据时钟驱动递归神经网络来计算在所述当前时间戳中所述对象的所述位置和速度的估值，具有等效因式分解的概率序列如下列等式表示：其中，et表示在所述当前时间戳t处所述对象的所述位置和速度的估值。9.根据权利要求8所述的用无人机探测器和追踪器融合来增强目标追踪的方法，其特征在于，还包括：在所述当前时间戳t处，通过ot＝fo(Woutst)和st＝fs(WHst-1+Winat)，来计算单个时钟驱动递归神经网络单元的一输出ot，其中at表示所述时钟驱动递归神经网络中隐藏层的输入，也表示前一层级的输出，st-1表示在时间戳(t-1)处隐藏层的输出，fs表示隐藏层的一激活函数，WH表示隐藏的处理器关联矩阵；Win表示从输入神经元到隐藏处理器的权重矩阵，而Wout表示从隐藏的处理器到输出神经元的权重矩阵，WH是上三角矩阵，其中，每个输入Wj,i，i,j∈[1,…,g]是从Ti到Tj或0s的连接权重矩阵，若Ti<Tj，其中，所述输出ot是一个向量(slxt，slyt，srxt，sryt，vxt，svyt)，其中，每个输入是0到1之间的一个实数。10.根据权利要求9所述的用无人机探测器和追踪器融合来增强目标追踪的方法，其特征在于，还包括：通过et＝(slxt×wframe,slyt×hframe,srxt×wframe,sryt×hframe,svxt×wframe,svyt×hframe)，来计算在所述当前时间戳t处的所述对象的所述位置和速度的估值et。11.一种具有计算机程序的非瞬时性计算机可读介质，当由一处理器运行时，用于执行用无人机探测器和追踪器融合来增强目标追踪的方法，所述方法包括：接收待检测对象的至少一个原始输入图像；基于对象的至少一个所述原始输入图像，生成所述对象的候选信息；根据所述对象的候选信息，基于所述探测器和追踪器融合来计算一所述对象在当前时间戳的位置和速度的估值；以及基于所述当前时间戳的所述对象的所述位置和速度的估值，预测在一未来时间戳的所述对象的所述位置和速度的估值。12.根据权利要求11所述的非瞬时性计算机可读介质，其特征在于：基于所述对象的至少一个所述原始输入图像，生成所述对象的候选信息，还包括：根据一预训练的方向梯度直方图算法，生成与所述当前时间戳中的所述对象相对应的边界框bb(lx,ly,rx,ry)，其中，所述边界框的信息包括左上角(lx,ly)的位置和右下角(rx,ry)的位置；基于Kanade-Lucas-Tomasi方法，根据追踪器特征点生成每一个时间戳的所述对象的位置信息；及通过尺度金字塔表征的已学习的判别相关滤波器来生成边界框bbcorr，所述滤波器既用于平移也用于比例估值；及基于所述对象的候选信息，计算所述当前时间戳的所述对象的所述位置和速度的估值；并且基于所述探测器和追踪器融合，预测所述未来时间戳的所述对象的所述位置和速度的估值，还包括：生成二进制特征画布；基于一注意机制处理所述二进制特征画布，以专注于所述二进制特征画布的相关部分；从处理过的所述二进制特征画布中提取所述对象的特征；及计算在所述当前时间戳的所述对象的所述位置和速度的估值。13.根据权利要求12所述的非瞬时性计算机可读介质，其特征在于：所述二进制特征画布记为ct，所述ct代表在所述当前时间戳t中的一特征空间里的视觉信息；所述二进制特征画布具有与所述原始输出图像一样的...

【专利技术属性】
技术研发人员：孙昕尧，廖鑫鹏，任小波，汪灏泓，
申请(专利权)人：TCL集团股份有限公司，
类型：发明
国别省市：广东,44