用于嵌入式视觉系统的高性能视觉对象跟踪方法及系统技术方案

一种实时视觉跟踪系统，一方面，用于实时视觉跟踪移动中的对象的无人驾驶飞行器(UAV)包括处理器、与该处理器连接的存储器，连接至该处理器和存储器的摄像机，其中摄像机用于捕捉该移动中的对象的视频；该UAV还包括视觉跟踪模块，用于接收第一帧视频图像及该目标对象的第一个位置；接收该第一帧视频图像后的第二帧视频图像；将第一搜索窗置于第一帧视频图像中，将第二搜索窗置于该第二帧视频图像中，该第二搜索窗在该第二帧视频图像中的位置与该第一搜索窗在该第一帧视频图像中的位置相同；计算第一搜索窗内的第一图像块和第二搜索窗内的第二图像块之间的相关图；基于计算出的该相关图确定该目标对象在该第二帧视频图像中的更新位置。

【技术实现步骤摘要】
用于嵌入式视觉系统的高性能视觉对象跟踪方法及系统
本申请一般涉及机器视觉，更具体而言，涉及利用由安装在无人驾驶飞行器(UAV)或无人机上的摄像机捕捉的视频图像，执行实时对象视觉跟踪的系统、设备和技术。
技术介绍
近来，民用和商用无人驾驶飞行器(UAV)或无人机(一种微型无人驾驶飞机)备受欢迎并且已在全球范围内获得商业上的成功。无人驾驶飞行器通常由遥控和/或软件控制，并且利用由多旋翼等生成的空气动力效应在天空中机动飞行，在保持较高稳定性的同时执行已设计的功能，例如监控和包裹邮递。然而，民用UAV或无人机的最受欢迎的应用之一在于航拍，即在被拍照对象上方的有利位置拍摄静止图片或者录制视频。通常，利用UAV录制视频需要UAV使用者非常具有技术性地控制UAV及其摄像机万向架。然而，在一些情形下，手动控制是比较困难的，例如当用户走路的同时想要录制本人视频或者用户需要为移动目标录制视频。在这些情形下，UAV就非常有必要具有跟踪移动目标及自动捕捉视频的能力。现有的大量民用UAV已经具备对象跟踪能力，然而这些UAV大多依赖GPS跟踪目标。换言之，被UAV跟踪的目标必须配置有GPS设备，用于接受GPS信号并将GPS位置信息回传至UAV，从而该UAV可以利用接收到的GPS信息来跟踪目标。然而，对于不具有GPS接收器的目标以及难以获取GPS信息的目标而言，UAV就非常有必要包括视频跟踪装置，该视频跟踪装置主要依赖已捕捉视频的视觉信息来跟踪该目标，而不需要如GPS接收器等的其他传感器或设备。市场上提供的少量民用UAV产品已经具备了高度复杂的视觉跟踪功能。然而不乐观的是，实现这些高度复杂的视觉跟踪功能一般需要该UAV产品配置有强大的计算平台，例如因特尔MovidiusTMMyriadTM2代视觉处理器(VPU)。因此，现有的这些视觉跟踪功能并不适用于很多低端UAV产品。因此，需要提供一种可应用于低端民用UAV平台的低复杂度并具高性能的视觉跟踪装置。
技术实现思路
本申请描述的多个实施例提供了基于视频图像跟踪移动中的对象的实时视觉对象跟踪系统的多个实例。一方面，公开了一种对视频中捕捉的目标对象执行实时视觉跟踪的过程。该过程包括如下步骤：接收该视频中的第一帧视频图像以及在该第一帧视频图像中该目标对象的预先确定的第一个位置；接收该第一帧视频图像后的视频的第二帧视频图像，其中该目标对象在该第二帧视频图像中的位置未知；将第一搜索窗置于第一帧视频图像中，该第一搜索窗以该目标对象的第一个位置为中心，并将第二搜索窗置于该第二帧视频图像中，该第二搜索窗在该第二帧视频图像中的位置与该第一搜索窗在该第一帧视频图像中的位置相同；计算第一搜索窗内的第一帧视频图像中的第一图像块和第二搜索窗内的第二帧视频图像中的第二图像块之间的相关图；以及基于计算出的该相关图确定该目标对象在该第二帧视频图像中的更新位置。在一些实施例中，该第一搜索窗和该第二搜索窗具有相同的横向和纵向尺寸，并且该第一搜索窗和该第二搜索窗的横向和纵向尺寸分别明显大于该目标对象的边界框的对应尺寸。在一些实施例中，计算第一搜索窗内的第一帧视频图像中的第一图像块和第二搜索窗内的第二帧视频图像中的第二图像块之间的相关图包括：从第一图像块中提取第一特征图，从第二图像块中提取第二特征图；计算第一提取特征图和第二提取特征图的二维(2D)快速傅里叶变换(FFT)，以生成该第一提取特征图和该第二提取特征图的傅里叶表达式；计算该第一提取特征图的傅里叶表达式和该第二提取特征图的傅里叶表达式之间的互相关度；将计算得出的该互相关度转化为空间域，以获得相关图。在一些实施例中，计算该第一提取特征图的傅里叶表达式和该第二提取特征图的傅里叶表达式之间的互相关度包括：通过计算该第一提取特征图的傅里叶表达式的高斯核自相关度计算该第一特征图的第一特征模型；通过计算该第二提取特征图的傅里叶表达式的高斯核自相关度计算该第二特征图的第二特征模型；计算该第一特征模型和该第二特征模型的元素级乘积(点积)，从而计算该第一提取特征图的傅里叶表达式和该第二提取特征图的傅里叶表达式之间的互相关度。在一些实施例中，从第一或第二图像块中提取第一或第二特征图包括：从图像块中提取几何型特征图；从图像块中提取颜色型特征图；将该几何型特征图与该颜色型特征图连结在一起，以获得第一或第二特征图。在一些实施例中，在接收到该第一帧视频图像之前，该过程还执行如下步骤：接收该视频中一序列视频帧中的最早视频图像，以及该最早视频图像内该目标对象的用户选择位置；以及对该最早视频图像执行对象检测操作，从而基于该用户选择位置在该最早视频图像中生成该目标对象的初始位置和初始边界框。在一些实施例中，基于计算出的该相关图确定该目标对象在该第二帧视频图像中的更新位置包括：在计算出的该相关图中识别峰值；将被识别出的该峰值与第一阈值进行比较；如果被识别出的该峰值大于或等于第一阈值，则将该峰值的位置选择为该目标对象在第二帧视频图像中的更新位置。在一些实施例中，如果被识别出的该峰值小于该第一阈值，则该过程还包括如下步骤：接收该第二帧视频图像之后的视频的第三视频图像；从目标移动估计模块处接收该目标对象在该第三视频图像中的预测位置，其中该预测位置位于该第一个位置附近；基于该预测位置局部搜索该目标对象；以及如果在该预测位置附近局部重新识别出该目标对象，则重新采用该目标对象在该第三视频图像中确定的位置在该视频中的后续视频图像中跟踪该目标对象。在一些实施例中，在接收到该预测位置之前，该过程执行步骤：利用该目标对象在该序列视频帧中的一组预先确定的位置训练该目标移动估计模块。在一些实施例中，基于该预测位置局部搜索该目标对象包括：将第三搜索窗置于该第三视频图像中，该第三搜索窗以该目标对象的预测位置为中心；从该第三搜索窗内的第三视频图像中的第三图像块中提取第三特征图；检索一组存储特征图，该组存储特征图基于一组先前处理的视频图像中该目标对象的一组预先确定的位置计算得出；计算该第三特征图分别和该组存储特征图中的每个特征图之间的一组相关图；并基于计算得出的该组相关图在该第三视频图像中重新识别目标对象。在一些实施例中，基于计算得出的该组相关图在该第三视频图像中重新识别目标对象包括：识别该组计算得出的相关图中的每个相关图的峰值；在该组峰值中识别出最高峰值；将被识别出的最高峰值与第二阈值进行比较；如果被识别出的最高峰值大于该第二阈值，确定该目标对象被重新识别。在一些实施例中，该目标移动估计模块利用训练卡尔曼滤波器预测该目标对象的当前位置。另一方面，公开了另一种对视频中捕捉的目标对象执行实时视觉跟踪的过程。该过程包括如下步骤：接收该视频中的第一帧视频图像以及在该第一帧视频图像中该目标对象的预先确定的第一个位置；接收该第一帧视频图像后的视频的第二帧视频图像，其中该目标对象在该第二帧视频图像中的位置未知；将第一搜索窗置于第一帧视频图像中，该第一搜索窗以该目标对象的第一个位置为中心，并将多个第二搜索窗置于该第二帧视频图像中，该第二搜索窗在该第二帧视频图像中的位置与该第一搜索窗在该第一帧视频图像中的位置相同；计算第一搜索窗内的第一帧视频图像中的第一图像块分别和该多个第二搜索窗内的第二帧视频图像中的多个第二图像块中的每个第二图像块之本文档来自技高网...

【技术保护点】
1.用于对视频中捕捉的目标对象执行实时视觉跟踪的计算机执行方法，其特征在于，所述方法包括：接收所述视频中的第一帧视频图像以及在所述第一帧视频图像中所述目标对象的预先确定的第一个位置；接收所述第一帧视频图像后的视频的第二帧视频图像，其中所述目标对象在所述第二帧视频图像中的位置未知；将第一搜索窗置于第一帧视频图像中，所述第一搜索窗以所述目标对象的第一个位置为中心，并将第二搜索窗置于所述第二帧视频图像中，所述第二搜索窗在所述第二帧视频图像中的位置与所述第一搜索窗在所述第一帧视频图像中的位置相同；计算第一搜索窗内的第一帧视频图像中的第一图像块和第二搜索窗内的第二帧视频图像中的第二图像块之间的相关图；以及基于计算出的所述相关图确定所述目标对象在所述第二帧视频图像中的更新位置。

【技术特征摘要】
2018.04.03 US 15/943,7251.用于对视频中捕捉的目标对象执行实时视觉跟踪的计算机执行方法，其特征在于，所述方法包括：接收所述视频中的第一帧视频图像以及在所述第一帧视频图像中所述目标对象的预先确定的第一个位置；接收所述第一帧视频图像后的视频的第二帧视频图像，其中所述目标对象在所述第二帧视频图像中的位置未知；将第一搜索窗置于第一帧视频图像中，所述第一搜索窗以所述目标对象的第一个位置为中心，并将第二搜索窗置于所述第二帧视频图像中，所述第二搜索窗在所述第二帧视频图像中的位置与所述第一搜索窗在所述第一帧视频图像中的位置相同；计算第一搜索窗内的第一帧视频图像中的第一图像块和第二搜索窗内的第二帧视频图像中的第二图像块之间的相关图；以及基于计算出的所述相关图确定所述目标对象在所述第二帧视频图像中的更新位置。2.根据权利要求1所述的计算机执行方法，其特征在于，所述第一搜索窗和所述第二搜索窗具有相同的横向和纵向尺寸，并且所述第一搜索窗和所述第二搜索窗的横向和纵向尺寸分别明显大于所述目标对象的边界框的对应尺寸。3.根据权利要求2所述的计算机执行方法，其特征在于，计算第一搜索窗内的第一帧视频图像中的第一图像块和第二搜索窗内的第二帧视频图像中的第二图像块之间的相关图包括：从第一图像块中提取第一特征图，从第二图像块中提取第二特征图；计算第一提取特征图和第二提取特征图的二维快速傅里叶变换，以生成所述第一提取特征图和所述第二提取特征图的傅里叶表达式；计算所述第一提取特征图的傅里叶表达式和所述第二提取特征图的傅里叶表达式之间的互相关度；以及将计算得出的所述互相关度转化为空间域，以获得相关图。4.根据权利要求3所述的计算机执行方法，其特征在于，计算所述第一提取特征图的傅里叶表达式和所述第二提取特征图的傅里叶表达式之间的互相关度包括：通过计算所述第一提取特征图的傅里叶表达式的高斯核自相关度，计算所述第一特征图的第一特征模型；通过计算所述第二提取特征图的傅里叶表达式的高斯核自相关度，计算所述第二特征图的第二特征模型；计算所述第一特征模型和所述第二特征模型的元素级乘积，从而计算所述第一提取特征图的傅里叶表达式和所述第二提取特征图的傅里叶表达式之间的互相关度。5.根据权利要求3所述的计算机执行方法，其特征在于，从第一或第二图像块中提取第一或第二特征图包括：从图像块中提取几何型特征图；从图像块中提取颜色型特征图；以及将所述几何型特征图与所述颜色型特征图连结在一起，以获得第一或第二特征图。6.根据权利要求1所述的计算机执行方法，其特征在于，在接收到所述第一帧视频图像之前，所述方法还包括：接收所述视频中一序列视频帧中的最早视频图像，以及所述最早视频图像内所述目标对象的用户选择位置；以及对所述最早视频图像执行对象检测操作，从而基于所述用户选择位置在所述最早视频图像中生成所述目标对象的初始位置和初始边界框。7.根据权利要求1所述的计算机执行方法，其特征在于，基于计算出的所述相关图确定所述目标对象在所述第二帧视频图像中的更新位置包括：在计算出的所述相关图中识别峰值；将被识别出的所述峰值与第一阈值进行比较；以及如果被识别出的所述峰值大于或等于第一阈值，则将所述峰值的位置选择为所述目标对象在第二帧视频图像中的更新位置。8.根据权利要求7所述的计算机执行方法，其特征在于，如果被识别出的所述峰值小于所述第一阈值，则所述方法还包括：接收所述第二帧视频图像之后的视频的第三视频图像；从目标移动估计模块处接收所述目标对象在所述第三视频图像中的预测位置，其中所述预测位置位于所述第一个位置附近；基于所述预测位置局部搜索所述目标对象；以及如果在所述预测位置附近局部重新识别出所述目标对象，则重新采用所述目标对象在所述第三视频图像中确定的位置在所述视频中的后续视频图像中跟踪所述目标对象。9.根据权利要求8所述的计算机执行方法，其特征在于，在接收到所述预测位置之前，所述方法还包括：利用所述目标对象在所述序列视频帧中的一组预先确定的位置训练所述目标移动估计模块。10.根据权利要求8所述的计算机执行方法，其特征在于，基于所述预测位置局部搜索所述目标对象包括：将第三搜索窗置于所述第三视频图像中，所述第三搜索窗以所述目标对象的预测位置为中心；从所述第三搜索窗内的第三视频图像中的第三图像块中提取第三特征图；检索一组存储特征图，所述组存储特征图基于一组先前处理的视频图像中所述目标对象的一组预先确定的位置计算得出；计算所述第三特征图分别和所述组存储特征图中的每个特征图之间的一组相关图；以及基于计算得出的所述组相关图在所述第三视频图像中重新识别目标对象。11.根据权利要求10所述的计算机执行方法，其特征在于，基于计算得出的所述组相关图在所述第三视频图像中重新识别目标对象包括：识别所述组计算得出的相关图中的每个相关图的峰值；在所述组峰值中识别出最高峰值；将被识别出的最高峰值与第二阈值进行比较；...

【专利技术属性】
技术研发人员：高宇，王星，埃里克·汉斯，马锐，沈超，陈明华，卢晔，梁杰，吴建兵，
申请(专利权)人：奥瞳系统科技有限公司，
类型：发明
国别省市：加拿大,CA