本申请公开了一种多模态目标跟踪方法及相关装置，包括：获取目标对象的当前帧，当前帧包括可见光图像和红外光图像；根据可见光图像和第一位置滤波器得到第一目标响应图；根据红外光图像和第二位置滤波器得到第二目标响应图；当第一目标响应图和第二目标响应图中的任一个响应图的最大能量值大于预设阈值时，根据第一目标响应图和第二目标响应图得到可见光置信度和红外光置信度；根据第一目标响应图、所述第二目标响应图、可见光置信度和红外光置信度确定目标对象在当前帧中的位置。本申请还公开了一种跟踪装置。采用本申请的方法进行目标跟踪，可以降低计算量，便于将该目标算法应用于嵌入式设备，同时满足了实时跟踪目标的需求。求。求。
【技术实现步骤摘要】
多模态目标跟踪方法及相关装置
[0001]本申请涉及图像处理领域，尤其涉及一种多模态目标跟踪方法及相关装置。
技术介绍
[0002]战场环境中，侦察兵往往通过单兵头盔对目标进行侦察，从而对目标进行追踪。目标跟踪的定义是在初始帧给定目标模板的情况下，在后续每一帧中对目标的位置，尺寸等状态进行估计。现有的目标跟踪方法大多数是应用于可见光场景下的图像序列，符合人眼的视觉感知，同时包含丰富的纹理信息，而当目标处于弱光环境下，或者在一些起雾、大雨等极端条件时，基于可见光模态的成像效果较差，相应的目标跟踪算法无法得到良好的结果。而热红外图像序列信息根据温度成像，对光照不敏感，在夜景，雾霾等可见光无法有效适配的场景下也能够提供目标的热敏信息。因此，基于RGB
‑
T的多模态目标跟踪通过结合可见光与红外图像两种不同模态的信息，起到互补的效果，从而提高跟踪的鲁棒性。同时由于算法应用在嵌入式设备中，需要在有限计算资源条件下实现较为高效的目标跟踪。
[0003]目前基于RGB
‑
T的多模态目标跟踪方法通过引入反向跟踪机制，在目标跟踪T帧后反向跟踪T帧，由反向跟踪得到的目标框与原本的目标框的平均重合率(两个矩形交集面积和并集面积之比)以及中心点的平均距离进行加权得到置信度，进而选择置信度更高的模态作为跟踪结果。但是该方法需要同时对两个模态反向跟踪T帧，加大了算法的计算量，由于算法需要移植入嵌入式设备，对于算法轻量化具有一定要求，因此无法满足实时追踪。
技术实现思路
[0004]本申请实施例提供一种多模态目标跟踪方法及相关装置，采用本申请的多模态目标跟踪方法进行目标跟踪，可以降低计算量，便于将该目标算法应用于嵌入式设备，同时满足了实时跟踪目标的需求。
[0005]第一方面，本申请实施例提供一种多模态目标跟踪方法，包括：
[0006]获取目标对象的当前帧，当前帧包括可见光图像和红外光图像；根据可见光图像和第一位置滤波器得到第一目标响应图；根据红外光图像和第二位置滤波器得到第二目标响应图；第一位置滤波器是基于历史帧的可见光图像得到的，第二位置滤波器是基于历史帧的红外光图像得到的；当第一目标响应图和第二目标响应图中的任一个响应图的最大能量值大于预设阈值时，根据第一目标响应图和第二目标响应图得到可见光置信度和红外光置信度；根据第一目标响应图、所述第二目标响应图、可见光置信度和红外光置信度确定目标对象在当前帧中的位置。
[0007]第二方面，本申请实施例提供一种跟踪装置，包括：
[0008]获取单元，用于获取目标对象的当前帧，当前帧包括可见光图像和红外光图像；
[0009]计算单元，用于根据可见光图像和第一位置滤波器得到第一目标响应图；根据红外光图像和第二位置滤波器得到第二目标响应图；第一位置滤波器是基于历史帧的可见光图像得到的，第二位置滤波器是基于历史帧的红外光图像得到的；当第一目标响应图和第
二目标响应图中的任一个响应图的最大能量值大于预设阈值时，根据第一目标响应图和第二目标响应图得到可见光置信度和红外光置信度；
[0010]确定单元，用于根据所述第一目标响应图、所述第二目标响应图、所述可见光置信度和所述红外光置信度确定所述目标对象在所述当前帧中的位置。
[0011]第三方面，本申请实施例还提供一种跟踪装置，包括处理器和存储器，其中，所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行第一方面所述的方法的部分或者全部。
[0012]第四方面，本申请实施例还提供一种芯片系统，该芯片系统应用于电子设备；所述芯片系统包括一个或多个接口电路，以及一个或多个处理器；所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述电子设备执行第一方面所述的方法的部分或者全部。
[0013]第五方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法的部分或者全部。
[0014]第六方面，本申请实施例还提供一种计算机程序，该计算机程序被执行以实现第一方面所述的方法的部分或者全部。
[0015]可以看出，在本申请的方案中，通过计算不同模态的置信度，自适应降低跟踪误差大的模态对跟踪效果的负面影响，从而提高跟踪的成功率。同时，加入卡尔曼滤波器对目标对象的位置进行预测估计，在位置滤波器不可靠的情况下通过卡尔曼滤波器确定目标对象的位置，从而避免位置滤波器的错误累积，以提高算法鲁棒性。此外，本申请的方案不需要对过往图像帧进行反复计算，有效降低了计算复杂度。
[0016]本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
[0017]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本申请实施例提供的一种多模态目标跟踪方法的流程示意图；
[0019]图2为本申请实施例提到的另一种多模态目标跟踪方法的流程示意图；
[0020]图3为本申请实施例提供的一种跟踪装置的结构示意图；
[0021]图4为本申请实施例提供的另一种跟踪装置的结构示意图。
具体实施方式
[0022]以下分别进行详细说明。
[0023]本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系
统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0024]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0025]“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0026]下面结合附图对本申请的实施例进行描述。
[0027]参见图1，图1为本申请实施例提供的一种多模态目标跟踪方法的流程示意图。如图1所本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多模态目标跟踪方法，其特征在于，包括：获取目标对象的当前帧，所述当前帧包括可见光图像和红外光图像；根据所述可见光图像和第一位置滤波器得到第一目标响应图；根据所述红外光图像和第二位置滤波器得到第二目标响应图；所述第一位置滤波器是基于所述历史帧的可见光图像得到的，所述第二位置滤波器是基于所述历史帧的红外光图像得到的；当所述第一目标响应图和所述第二目标响应图中的任一个响应图的最大能量值大于预设阈值时，根据所述第一目标响应图和所述第二目标响应图得到可见光置信度和红外光置信度；根据所述第一目标响应图、所述第二目标响应图、所述可见光置信度和所述红外光置信度确定所述目标对象在所述当前帧中的位置。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一目标响应图、所述第二目标响应图、可见光置信度和红外光置信度确定所述目标对象在所述当前帧中的位置，包括：将所述可见光置信度及所述红外光置信度分别作为所述第一目标响应图的权重和所述第二目标响应图的权重进行加权求和，以得到融合响应图；根据所述融合响应图确定所述目标对象的位置偏移量，所述目标对象的位置偏移量为所述融合响应图的最大能量值所在的位置；根据目标对象在前一帧图像中位置及所述目标对象的位置偏移量得到所述目标对象在所述当前帧中的位置。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一目标响应图和所述第二目标响应图得到可见光置信度和红外光置信度，包括：根据所述第一目标响应图的最大能量值、最小能量值及平均能量值得到所述第一目标响应图的平均能量比；根据所述第二目标响应图的最大能量值、最小能量值及平均能量值得到所述第二目标响应图的平均能量比；根据所述第一目标响应图的最大能量值、所述第二目标响应图的最大能量值、所述第一目标响应图的平均能量比及所述第二目标响应图的平均能量比得到所述可见光置信度和所述红外光置信度。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述方法还包括：获取上一帧中包围框的尺寸，所述上一帧中包围框所占据的区域包括所述目标对象；根据所述目标对象在当前帧中的位置及所述上一帧中包围框的尺寸对目标图像进行处理，以得到多个图像块，所述目标图像为所述可见光图像和所述红外光图像，最高置信度所对应的图像；对所述多个图像块分别进行特征提取，以得到所述多个图像块对应的多个特征矩阵；根据所述多个特征矩阵得到尺度响应图；根据所述尺度响应图的最大能量值确定所述当前帧中包围框的尺寸。5.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述方法还包括：当所述第一目标响应图的最大能量值和所述第二目标响应图的最大能量值均小于预设阈值时，获取多个历史位置；所述多个历史位置为所述目标对象在多张历史帧中的位置；
根据所述多个历史位置对所述目标对象在当前帧中的位置进行预测，以得到所述目标对象在所述当前帧中的位置。6.一种跟踪装置，其特征在于，包括：获取单元，用于获...
【专利技术属性】
技术研发人员：张跃强，王昊鹏，李狄龙，盘水星，刘肖琳，
申请(专利权)人：钱塘科技创新中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。