本发明专利技术提供一种支持复杂场景下的人形跟踪拍摄的控制方法及装置，方法包括：S1.获取视频图像数据：通过云台安装的摄像头获取到实时码流数据，得到每帧图像数据；S2.判断跟踪条件a：判断是否直接进入KCF跟踪模块；如果否FALSE，则进行步骤S3，如果是TRUE，则进行步骤S6；S3.判断电机停止状态，如果是TRUE，则进行步骤S4；如果否FALSE，则回到步骤S1；S4.检测环节；S5.判断跟踪条件b：判断是否进入KCF跟踪模块，如果是TRUE，则进行步骤S6；如果否FALSE，则回到步骤S1；S6.跟踪环节，其中还包括更新跟踪条件a状态回到步骤S2；S7.云台控制环节，其中还包括更新电机停止状态回到步骤S3；S8.结束。S8.结束。S8.结束。
【技术实现步骤摘要】
一种支持复杂场景下的人形跟踪拍摄的控制方法及装置
[0001]本专利技术涉及图像处理
，特别涉及一种支持复杂场景下的人形跟踪拍摄的控制方法及装置。
技术介绍
[0002]现有技术中，基于OpenCV HOG算法检测人形，并通过人形结果的偏差量控制云台转动，达到实时跟踪的目的，如申请号为201811033461.3的《基于人形追踪的实时拍摄装置及控制方法》所示。然而，基于OpenCV HOG算法检测人形的跟踪方法，首先因检测算法较简单无法适应各种光线、各种姿态的人形，容易出现漏检和误检等情况，其次没有考虑当摄像头视野里出现多个人形目标时如何优选跟踪目标，还有当人形检测失效及画面中有人形但是人形检测没有给出检测结果时如果只是等待人形下一次的正确结果时很容易丢失移动的人形目标导致跟踪失败。
[0003]此外，现有技术中的常用术语如下：
[0004]1、移动侦测：基于连续视频图像数据，判断图像中是否有移动目标，如有则会以矩形框形式反馈矩形框的坐标位置。
[0005]2、CNN人形检测：基于Yolov3
‑
tiny等CNN卷积神经网络检测视频图像中的人形，并计算得到人形的矩形框。
[0006]3、两轴云台：一个装有摄像头装置的可以实现两个自由度运动的装置，4、KCF跟踪算法：全称为
‘
Kernel Correlation Filter
’
核相关滤波算法，可以根据给定的一个图像上的矩形区域进行快速跟踪以及目标框的调整。
专利技术内容
[0007]为了解决上述问题，本方法的目的在于：
[0008]1、提出一种支持复杂场景下的人形跟踪拍摄的控制方法；
[0009]2、使用速度快检测准确率高的Yolov3
‑
tiny的CNN卷积神经网络进行人形检测，可以大大提高检测效果，有效改善各种光线场景、各种人形姿态以及人形显示不全情况的人形检测结果；
[0010]3、采用KCF算法，在得到人形检测结果时以人形结果为中心，将结果传入KCF算法对结果进行进行跟踪，KCF算法执行效率相较于Yolov3
‑
tiny算法快约十几倍，可以达到对人形结果的实时更新，可以在低功耗嵌入式芯片上如北京君正的INGENIC T
‑
series芯片上运行且可以达到实时效果；
[0011]4、加入自研移动侦测方法，可以有效解决人形检测结果对一些静止似人物体的误检；同时可以根据移动侦测方法结果优先选取移动目标进行跟踪，可以将关注点聚焦到动态的人形上；
[0012]5、使用移动侦测方法可以弥补当人形检测失效时，即画面中有人形在移动但是没有反馈人形结果时，通过移动侦测的结果替代人形检测结果，通过云台的电机控制可以保
证移动目标始终处于视频视野中。以保证下一人形检测时目标人物还保留在图像内。
[0013]具体地，本专利技术提供一种支持复杂场景下的人形跟踪拍摄的控制方法，所述方法包括以下步骤：
[0014]S1.获取视频图像数据：通过云台安装的摄像头获取到实时码流数据，得到每帧图像数据；
[0015]S2.判断跟踪条件a：判断是否直接进入KCF跟踪模块；如果否FALSE，则进行步骤S3，如果是TRUE，则进行步骤S6；
[0016]S3.判断电机停止状态，如果是TRUE，则进行步骤S4；如果否FALSE，则回到步骤S1；
[0017]S4.检测环节；
[0018]S5.判断跟踪条件b：判断是否进入KCF跟踪模块，如果是TRUE，则进行步骤S6；如果否FALSE，则回到步骤S1；
[0019]S6.跟踪环节，其中还包括更新跟踪条件a状态回到步骤S2；
[0020]S7.云台控制环节，其中还包括更新电机停止状态回到步骤S3；
[0021]S8.结束。
[0022]所述的S4检测环节，进一步包括：
[0023]S4.1，移动侦测模块：使用相隔T帧的图像帧差方法实现移动目标检测，判断图像中是否有移动目标存在，如果有，将结果即矩形框位置保留以备选优使用；
[0024]S4.2，人形检测模块：使用Yolov3
‑
tiny CNN卷积神经网络对当前图片进行人形检测，如果检测到人形将检测的所有人形结果即矩形框进行保留以备选优使用；
[0025]S4.3，选优模块：将移动侦测的结果和人形检测结果综合选优，得出最终的跟踪目标。
[0026]所述的S4.3优选模块中，具体选优逻辑如下：
[0027]情况1：当只有移动侦测有结果时，首先将检测结果矩形框的宽高b_wh同预设值进行比较min_wh<b_wh<max_wh，其中min_wh为最小宽高，max_wh为最大宽高，在条件范围内的矩形框保留，将保留下来的矩形框选取面积最大的作为最终矩形框；
[0028]情况2：当只有人形检测结果时，因为没有检测到移动侦测结果，说明画面中没有移动目标出现，不需要重新调整云台的位置，将跟踪条件b设置为FALSE；
[0029]情况3：当既有人形检测结果又有移动侦测结果时，将移动侦测结构矩形框和人形检测矩形框做
‘
与
’
操作，
‘
与
’
操作之后将有交集且交集达到预设值的人形检测框保留记B1，否则将跟踪条件b设置为FALSE，如果预设当前的跟踪模式是优先跟踪历史目标，则将B1与历史人形检测框B2做
‘
与
’
操作，有交集且交集最大的目标作为最终目标检测框，并设置跟踪条件b为TRUE，没有交集则设置跟踪条件b为FALSE；如果跟踪模式是优先跟踪移动的人形目标，则选取B1中面积最大的作为最终人形结果并设置跟踪条件b为TRUE。
[0030]所述情况1中的预设值为经验值min_wh：50，max_wh：frame_h/2；frame_h为整帧图像的高度；所述情况3中的，预设值为经验值0.5。
[0031]所述的步骤S6跟踪环节，进一步包括：
[0032]S6.1，KCF跟踪模块：将传入的矩形框及当前图像一起作为KCF算法的输入数据，并得到KCF算法的结果，结果包含有本次跟踪的状态S，即是否跟踪失败，0表示失败，1表示成功，调整后的输出矩形框B3；
[0033]S6.2，更新跟踪条件a：依据跟踪状态S＝0设置跟踪条件a为否FALSE，S＝1设置跟踪条件为是TRUE。
[0034]所述的步骤S7云台控制环节，进一步包括：
[0035]S7.1，计算云台控制信号模块：将步骤S6.1得到的矩形框B3，取B3中心点距图像中心点的偏差dx，dy，其中dx表示B3中心点距图像中心点在横轴上的偏差量单位为像素，dy表示B3中心点距图像中心点在纵轴上的偏差量单位为像素；
[0036]S7.2，电机执行模块：根据步骤S7.1计算得到的dx，dy换本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种支持复杂场景下的人形跟踪拍摄的控制方法，其特征在于，所述方法包括以下步骤：S1.获取视频图像数据：通过云台安装的摄像头获取到实时码流数据，得到每帧图像数据；S2.判断跟踪条件a：判断是否直接进入KCF跟踪模块；如果否FALSE，则进行步骤S3，如果是TRUE，则进行步骤S6；S3.判断电机停止状态，如果是TRUE，则进行步骤S4；如果否FALSE，则回到步骤S1；S4.检测环节；S5.判断跟踪条件b：判断是否进入KCF跟踪模块，如果是TRUE，则进行步骤S6；如果否FALSE，则回到步骤S1；S6.跟踪环节，其中还包括更新跟踪条件a状态回到步骤S2；S7.云台控制环节，其中还包括更新电机停止状态回到步骤S3；S8.结束。2.根据权利要求1所述的一种支持复杂场景下的人形跟踪拍摄的控制方法，其特征在于，所述的S4检测环节，进一步包括：S4.1，移动侦测模块：使用相隔T帧的图像帧差方法实现移动目标检测，判断图像中是否有移动目标存在，如果有，将结果即矩形框位置保留以备选优使用；S4.2，人形检测模块：使用Yolov3
‑
tiny CNN卷积神经网络对当前图片进行人形检测，如果检测到人形将检测的所有人形结果即矩形框进行保留以备选优使用；S4.3，选优模块：将移动侦测的结果和人形检测结果综合选优，得出最终的跟踪目标。3.根据权利要求2所述的一种支持复杂场景下的人形跟踪拍摄的控制方法，其特征在于，所述的S4.3优选模块中，具体选优逻辑如下：情况1：当只有移动侦测有结果时，首先将检测结果矩形框的宽高b_wh同预设值进行比较min_wh<b_wh<max_wh，其中min_wh为最小宽高，max_wh为最大宽高，在条件范围内的矩形框保留，将保留下来的矩形框选取面积最大的作为最终矩形框；情况2：当只有人形检测结果时，因为没有检测到移动侦测结果，说明画面中没有移动目标出现，不需要重新调整云台的位置，将跟踪条件b设置为FALSE；情况3：当既有人形检测结果又有移动侦测结果时，将移动侦测结构矩形框和人形检测矩形框做
‘
与
’
操作，
‘
与
’
操作之后将有交集且交集达到预设值的人形检测框保留记B1，否则将跟踪条件b设置为FALSE，如果预设当前的跟踪模式是优先跟踪历史目标，则将B1与历史人形检测框B2做
‘
与
’
【专利技术属性】
技术研发人员：蔡俊杰，
申请(专利权)人：北京君正集成电路股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。