基于人机交互的目标跟踪方法、装置及存储介质制造方法及图纸

本公开提供一种基于人机交互的目标跟踪方法、装置及存储介质，通过基于用户的目标选取操作所产生触发指令，即可确定所需跟踪的目标，而不需要对连续的多帧图像进行运算学习，才能确定所需跟踪的目标，减少了目标的获取运算，提高目标获取效率和跟踪效率；并通过基于所提取的图像特征检测下一帧中目标图像的位置和尺度，能在一定程度上优化对刚性目标、尺度变换的目标、高速运动的目标和长时间被遮挡的目标的跟踪效果，提高目标跟踪的精度；从而实现在一般的便携式设备上，也能够保证运算效率和目标跟踪的效果。

【技术实现步骤摘要】
基于人机交互的目标跟踪方法、装置及存储介质
本公开涉及跟踪
，尤其涉及能够应用于便携式设备上基于人机交互的目标跟踪方法、装置及存储介质。
技术介绍
跟踪技术一直是计算机视觉领域中的热点之一，其在军事帧察、精确制导、火力打击、战场评估及安防监控等诸多方面都有广泛的应用前景。现阶段，实现对运动的目标对象的跟踪方法有两种方案，第一种是利用KCF(KernalCorrelationFilter，核相关滤波算法)后叠加HOG(HistogramofOrientedGradient，方向梯度直方图)特征，实现对运动的目标对象的跟踪；第二种是利用KCF后叠加深度特征，实现对运动的目标对象的检测。采用第一种方案时，在目标对象处于较为复杂的场景中，无法对目标对象进行精确的定位和检测，尤其对场景的前景和背景的区分能力不强。第二种方案虽然可以解决第一种方案的问题，但其运算复杂度较高，无法在运算能力一般的便携式设备上较快的运行。
技术实现思路
为克服相关技术中存在的问题，本公开提供了基于人机交互的目标跟踪方法、装置及存储介质。根据本公开实施例的第一方面，提供一种基于人机交互的目标跟踪方法，包括：根据用户的触发指令生成目标跟踪框；其中，所述目标跟踪框用于指示当前帧中目标图像所在区域；提取下一帧中与目标跟踪框对应的区域内的图像特征，基于所提取的图像特征检测下一帧中目标图像所在的位置及尺度；基于检测结果确定是否更新目标跟踪框的当前位置及当前尺度。由此，本公开通过基于用户的目标选取操作所产生触发指令，即可确定所需跟踪的目标，而不需要对连续的多帧图像进行运算学习，才能确定所需跟踪的目标，减少了目标的获取运算，提高目标获取效率和跟踪效率；并通过基于所提取的图像特征检测下一帧中目标图像的位置和尺度，能在一定程度上优化对刚性目标、尺度变换的目标、高速运动的目标和长时间被遮挡的目标的跟踪效果，提高目标跟踪的精度；从而实现在一般的便携式设备上，也能够保证运算效率和目标跟踪的效果。可选地，所述根据用户的触发指令生成目标跟踪框的步骤，包括：根据由用户点击操作产生的触发指令，获得初始帧中目标图像的超像素；根据获得的超像素生成初始帧中目标图像的初选跟踪框；其中，所述初始帧为触发指令产生时，所显示的图像；根据初始帧后连续的多帧图像的图像特征，调整所述初选跟踪框，得到当前帧的目标跟踪框。通过基于用户的点击操作确定目标图像，实现在视频的录制过程中，方便了用户对目标图像的选取操作，降低用户对目标图像的选取难度。可选地，在调整所述初选跟踪框的过程中，当检测到终止指令时，停止调整所述初选跟踪框，以得到目标跟踪框。通过在检测到终止指令时，停止调整所述初选跟踪框，不仅保证了由被调整后的初选跟踪框生成的目标跟踪框的准确度，而且适时地减少了调整所产生的运算，能进一步提高目标跟踪框的生成效率。可选地，所述终止指令由预存的终止函数根据当前初选跟踪框的参数确定是否产生。通过终止函数根据当前初选跟踪框的参数确定是否产生终止指令，而不是依赖于人为操作产生终止指令，避免因人为因素所产生的运算误差或运算不足，而导致所得到的目标跟踪框精度下降的问题发生，也避免因运算过多而导致运算负担过大和目标跟踪框的获取效率降低的问题发生。可选地，所述根据用户的触发指令生成目标跟踪框的步骤，包括：根据由用户执行包围目标图像的触控操作所产生的触发指令，生成当前帧中包围目标图像的图形；根据所述图形的位置参数和尺度参数生成目标跟踪框。通过用户执行包围目标图像的操作，生成包围目标图像的图形，从而不需要基于用户选取的超像素点而对多帧图像处理，而是根据该图形的位置参数和尺度参数即可生成目标跟踪框，大大减少了运算步骤，有利于进一步降低运算复杂度，能更好地适用于便携式设备。可选地，下一帧中目标图像所在的位置通过位置跟踪模板基于所提取的图像特征检测得到；下一帧中目标图像的尺度通过尺度跟踪模板基于所述位置跟踪模板的检测结果检测得到。通过位置跟踪模板结合尺度跟踪模板实现对目标图像的位置检测和尺度检测，可以在一定程度上简化运算过程；并且尺度跟踪模板的检测是基于位置跟踪模板的检测结果，可以进一步提高对目标图像的跟踪精度。可选地，所述基于所提取的图像特征检测下一帧中目标图像所在的位置及尺度的步骤，包括：通过位置跟踪模板计算得到所提取的图像特征的响应值，根据响应值最大的图像特征获得最大响应位置；所述最大响应位置为下一帧中目标图像的中心所在的位置；通过尺度跟踪模板计算不同的尺度响应因子在最大响应位置处的响应值，根据响应值最大的尺度响应因子获得下一帧中目标图像的尺度。通过尺度跟踪模板直接计算不同的尺度响应因子在最大响应位置处的响应值，即可实现对目标图像的尺度获取，而不需要基于图像特征实现尺度获取，能进一步简化尺度获取的运算步骤，提高目标跟踪效率。可选地，本公开基于人机交互的目标跟踪方法，还包括：当检测到当前帧的目标图像处于预设显示区域外时，调整当前帧的位置参数，以使目标图像显示于预设显示区域内。通过对目标图像的显示方式的限定，实现处于显示区域边缘的目标图像能够被调整而显示于显示区域中部，能使用户更快地查看到目标对象的情况。根据本公开实施例的第二方面，提供一种基于人机交互的目标跟踪装置，所述装置包括：存储器、处理器、触摸屏和摄像模块；所述存储器存储有多条指令，所述指令可被所述处理器执行而实现前述任一项所述方法的步骤。根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现前述任一项所述方法的步骤。由于本公开基于人机交互的目标跟踪装置和计算机可读存储介质都涵盖了本公开基于人机交互的目标跟踪方法，故本公开基于人机交互的目标跟踪装置和计算机可读存储介质都包括前述基于人机交互的目标跟踪方法所产生的有益技术效果，在此不再赘述。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明图1是本公开根据一示例性实施例示出的一种基于人机交互的目标跟踪方法的流程图；图2是本公开根据一示例性实施例示出的终端设备的触摸屏中显示有初始帧时的界面示意图；图3是本公开根据一示例性实施例示出的用户通过点击操作选取所需跟踪的目标图像时的示意图；图4是本公开根据一示例性实施例示出的基于用户的点击操作而生成的初选跟踪框的示意图；图5是本公开根据一示例性实施例示出的基于图4所示的初选跟踪框生成的目标跟踪框的示意图；图6是本公开根据一示例性实施例示出的用户通过执行包围图2所示的初始帧的目标图像的触控操作，以选取所需跟踪的目标图像时的示意图；图7是本公开根据一示例性实施例示出的用户经过图6所示的操作，所得到的包围目标图形的示意图；图8是本公开根据一示例性实施例示出的基于图7所示的图形生成的目标跟踪框的示意图；图9是本公开根据一示例性实施例示出的初始帧只显示有局部目标图像时的示意图；图10是本公开根据一示例性实施例示出的当前帧的目标跟踪框的示意图；图11是本公开根据一示例性实施例示出的将当前帧的目标跟踪框作为下一帧的目标跟踪框时的示意图；图12是本公开根据一示例性实施例示出的一种基于人机交互的目标跟踪装置的电子设备的结构框图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在本文档来自技高网...

【技术保护点】
1.一种基于人机交互的目标跟踪方法，其特征在于，包括：根据用户的触发指令生成目标跟踪框；其中，所述目标跟踪框用于指示当前帧中目标图像所在区域；提取下一帧中与目标跟踪框对应的区域内的图像特征，基于所提取的图像特征检测下一帧中目标图像所在的位置及尺度；基于检测结果确定是否更新目标跟踪框的当前位置及当前尺度。

【技术特征摘要】
1.一种基于人机交互的目标跟踪方法，其特征在于，包括：根据用户的触发指令生成目标跟踪框；其中，所述目标跟踪框用于指示当前帧中目标图像所在区域；提取下一帧中与目标跟踪框对应的区域内的图像特征，基于所提取的图像特征检测下一帧中目标图像所在的位置及尺度；基于检测结果确定是否更新目标跟踪框的当前位置及当前尺度。2.根据权利要求1所述的方法，其特征在于，所述根据用户的触发指令生成目标跟踪框的步骤，包括：根据由用户点击操作产生的触发指令，获得初始帧中目标图像的超像素；根据获得的超像素生成初始帧中目标图像的初选跟踪框；其中，所述初始帧为触发指令产生时，所显示的图像；根据初始帧后连续的多帧图像的图像特征，调整所述初选跟踪框，得到当前帧的目标跟踪框。3.根据权利要求2所述的方法，其特征在于，在调整所述初选跟踪框的过程中，当检测到终止指令时，停止调整所述初选跟踪框，以得到目标跟踪框。4.根据权利要求3所述的方法，其特征在于，所述终止指令由预存的终止函数根据当前初选跟踪框的参数确定是否产生。5.根据权利要求1所述的方法，其特征在于，所述根据用户的触发指令生成目标跟踪框的步骤，包括：根据由用户执行包围目标图像的触控操作产生的触发指令，生成当前帧中包围目标图像的图形；根据所述图形的...

【专利技术属性】
技术研发人员：王盟，吕宪伟，王延可，冀映辉，蔡炜，
申请(专利权)人：北京小米移动软件有限公司，深圳市飞米机器人科技有限公司，
类型：发明
国别省市：北京,11