基于多模态的移动目标实时跟踪定位系统和方法技术方案

本发明专利技术提出了基于多模态的移动目标实时跟踪定位方法及系统，包括：获得移动目标多种模态信息，包括在运动场景中采集的移动目标图像信息，以及利用移动目标携带的采集设备采集的移动目标不同方向的加速度；基于移动目标图像信息获得带有检测框的移动目标的图像；基于移动目标多种模态信息得到所述移动目标的状态量；基于带有检测框的移动目标的图像及移动目标的状态量对移动目标位置跟踪及运动位置预测。本发明专利技术结合软件硬件多模态共同作用方式，进行球员跟踪与定位，能够减小误差，实现更精确更稳定效果。精确更稳定效果。精确更稳定效果。

【技术实现步骤摘要】
基于多模态的移动目标实时跟踪定位系统和方法


[0001]本专利技术属于跟踪定位技术与计算机视觉
，尤其涉及基于多模态的移动目标实时跟踪定位系统和方法。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]目标跟踪是计算机视觉领域的一个重要问题，主要涉及单目标跟踪和多目标跟踪两个方向，目前广泛应用在体育赛事、安防监控和无人机、无人车、机器人、以及人体、人脸和手势等领域。简单来说，视觉目标跟踪就是在连续的视频序列中，建立所要跟踪物体的位置关系，得到物体完整的运动轨迹。在运动的过程中，目标可能会呈现一些图像上的变化，比如姿态或形状的变化、尺度的变化、背景遮挡或光线亮度的变化等，目标跟踪算法的研究也围绕着解决这些变化和具体的应用展开。
[0004]运动传感器对于监测设备的移动非常有用，诸如倾斜、震动、旋转、摇摆等，这些动作通常是直观反映了用户的输入。随着微机电系统(Micro Electro Mechanical System)技术的发展，国内外都将微加速度计开发作为微机电系统产品化的优先项目。微加速度计与通常的加速度计相比，具有很多优点：体积小、重量轻、成本低、功耗低、可靠性好等。加速计被用于测量设备的受力情况，擅长探测设备相对外部参考物(比如，地面)的运动。它可以广泛运用于航空航天、汽车工业、工业自动化及机器人等领域，具有广阔的应用前景。
[0005]目前，对于通过监控图像分析运动目标跟踪与定位研究已经非常多，而结合硬件设备进行跟踪定位的方法研究还比较少。

技术实现思路

[0006]为克服上述现有技术的不足，本专利技术提供了基于多模态的移动目标实时跟踪定位方法，解决视觉传感器跟踪过程中存在的遮挡问题，实现更精确更稳定的定位及跟踪。
[0007]为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：
[0008]第一方面，公开了基于多模态的移动目标实时跟踪定位方法，包括：
[0009]获得移动目标多种模态信息，包括在运动场景中采集的移动目标图像信息，以及利用移动目标携带的采集设备采集的移动目标不同方向的加速度；
[0010]基于移动目标图像信息获得带有检测框的移动目标的图像；
[0011]关联移动目标多种模态信息得到所述移动目标的状态量；
[0012]基于带有检测框的移动目标的图像及移动目标的状态量对移动目标位置跟踪及运动位置预测。
[0013]进一步的技术方案，利用移动目标携带的采集设备采集的移动目标不同方向的加速度包括沿x轴方向的加速度以及沿y轴方向的加速度。
[0014]进一步的技术方案，基于移动目标图像信息获得带有检测框的移动目标的图像
时，包括：
[0015]对图像预处理调整像素大小，通过行人检测算法产生众多候选样本，特征提取，通过训练一个分类器去区分目标与背景，选择置信度最高的候选样本作为预测结果，输出检测框。
[0016]进一步的技术方案，所述检测框为包含移动目标的矩形区域，基于检测框得到移动目标相对位置坐标。
[0017]进一步的技术方案，所述关联移动目标多种模态信息得到所述移动目标的状态量，所述状态量包括：
[0018]移动目标相对位置坐标；
[0019]移动目标沿x轴，y轴方向上的加速度；
[0020]基于移动目标t
‑
1时刻到t时刻运动位置坐标变化量及运动时间变化量计算的t时刻运动速度。
[0021]进一步的技术方案，还包括：对状态量进行处理，作为目标跟踪的输入。
[0022]进一步的技术方案，对移动目标进行检测目标跟踪，具体为：
[0023]将带有检测框的目标图像作为初始图像，检测框中心坐标作为初始跟踪位置；
[0024]目标样本通过循环矩阵得到所有采样样本，其中目标为正样本，背景为负样本；
[0025]提取多通道特征，引入核函数确定每个循环样本与基样本的相似情况；
[0026]训练判别分类器；
[0027]输入图像判断跟踪到的是目标还是周围的背景信息，取响应值最大的采样作为本帧的位置。
[0028]进一步的技术方案，对移动目标运动进行预测，在跟踪移动目标过程中遇到跟踪对象被遮挡极端情况时，通过不断更新移动目标的目标状态量，进而更新定位信息，传输的加速度信号；
[0029]再根据变化时间以及此时球员运动速度预测下一时刻球员运动速度；
[0030]根据得到的速度以及加速度的方向，预测该段时间内变化的位移，从而预测下一时刻移动目标运动位置坐标。
[0031]第二方面，公开了基于多模态的移动目标实时跟踪定位系统，包括：
[0032]视觉信息采集模块，用于在运动场景中采集的移动目标图像信息；
[0033]加速度信息采集模块，采集移动目标不同方向的加速度；
[0034]数据通讯模块，将采集的移动目标图像信息及加速度信息实时传输至数据处理设备；
[0035]数据处理设备，基于接收的数据对移动目标进行实时跟踪及预测。
[0036]进一步的技术方案，所述数据处理设备包括：
[0037]目标检测模块，经过目标检测算法计算求出移动目标相对位置坐标；
[0038]关联状态量模块，对数据进行关联，得到状态量：移动目标位置坐标、运动加速度以及运动速度，为目标跟踪模块提供输入；
[0039]目标跟踪模块，通过目标跟踪方法对移动目标进行实时跟踪；
[0040]信号预测模块，移动目标位置坐标、运动加速度以及运动速度，预测移动目标下一帧运动状态。
[0041]以上一个或多个技术方案存在以下有益效果：
[0042]本专利技术提供的多模态球员实时跟踪定位系统和方法，结合软件硬件多模态共同作用方式，进行球员跟踪与定位，能够减小误差，实现更精确更稳定效果。
[0043]本专利技术通过视觉传感器信息主动定位、硬件传感器信息被动定位，多种模态信息互补、主被动结合方式完成球员实时跟踪定位，并且能够利用加速度计传感器信息结合视觉信息预测球员运动速度及位移，解决视觉传感器跟踪过程中存在的遮挡问题，来实现更精确更稳定的定位及跟踪。
[0044]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0045]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0046]图1为本专利技术实施例多模态球员实时跟踪定位系统示意图；
[0047]图2为本专利技术实施例多模态球员实时跟踪定位方法流程图；
[0048]图3为本专利技术实施例多模态球员实时跟踪定位系统和方法示例图。
具体实施方式
[0049]应该指出，以下详细说明都是示例性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多模态的移动目标实时跟踪定位方法，其特征是，包括：获得移动目标多种模态信息，包括在运动场景中采集的移动目标图像信息，以及利用移动目标携带的采集设备采集的移动目标不同方向的加速度；基于移动目标图像信息获得带有检测框的移动目标的图像；关联移动目标多种模态信息得到所述移动目标的状态量；基于带有检测框的移动目标的图像及移动目标的状态量对移动目标位置跟踪及运动位置预测。2.如权利要求1所述的基于多模态的移动目标实时跟踪定位方法，其特征是，利用移动目标携带的采集设备采集的移动目标不同方向的加速度包括沿x轴方向的加速度以及沿y轴方向的加速度。3.如权利要求1所述的基于多模态的移动目标实时跟踪定位方法，其特征是，基于移动目标图像信息获得带有检测框的移动目标的图像时，包括：对图像预处理调整像素大小，通过行人检测算法产生众多候选样本，特征提取，通过训练一个分类器去区分目标与背景，选择置信度最高的候选样本作为预测结果，输出检测框。4.如权利要求3所述的基于多模态的移动目标实时跟踪定位方法，其特征是，所述检测框为包含移动目标的矩形区域，基于检测框得到移动目标相对位置坐标。5.如权利要求1所述的基于多模态的移动目标实时跟踪定位方法，其特征是，所述基于移动目标多种模态信息得到所述移动目标的状态量，所述状态量包括：移动目标相对位置坐标；移动目标沿x轴，y轴方向上的加速度；基于移动目标t
‑
1时刻到t时刻运动位置坐标变化量及运动时间变化量计算的t时刻运动速度。6.如权利要求5所述的基于多模态的移动目标实时跟踪定位方法，其特征是，还包括：对状态量进行处理，作为目标跟踪的输...

【专利技术属性】
技术研发人员：王海滨，纪文峰，
申请(专利权)人：根尖体育科技北京有限公司，
类型：发明
国别省市：