目标多角度展示动作连续性检测方法技术

目标多角度展示动作连续性检测方法，应用于检测视频中多角度展示动作是否连续，包括以下步骤：步骤1：提取视频中的运动目标作为检测目标；步骤2：判断所述运动目标是否移出摄像头；步骤3：进一步判断运动目标多角度展示动作是否连续，并输出目标多角度展示动作是否连续的结果。该方法能实现在线上办理业务的应用场景下，通过对客户提供的展示视频的目标多角度展示动作的连续性进行判断，从而判定客户在视频中多角度展示的目标是否来自同一个实物。频中多角度展示的目标是否来自同一个实物。频中多角度展示的目标是否来自同一个实物。

【技术实现步骤摘要】
目标多角度展示动作连续性检测方法


[0001]本申请涉及目标检测、目标跟踪
，尤其是涉及目标多角度展示动作连续性检测方法。

技术介绍

[0002]随着数字媒体和互联网在各个领域的深入发展，越来越多的行业和机构开始将视频作为一种档案留存的载体，以方便后续查找和取证。视频存档的优势是所见即所得，视频中包含录制环境、参与人员的动作、语音等较多信息，因而发生纠纷时较难抵赖。根据监管部门的要求，银行、证券、保险等金融机构在销售理财产品时，必须进行录音录像(简称双录)。在录音录像的过程中销售人员需向摄像头展示自己的从业资格证、客户证件和销售文件等。对于从业资格证或者客户证件(如二代证)这类刚体通常需要展示证件的正反面以唯一标识身份信息(姓名、性别、出生日期、证件标号、人脸图像)和证件有效期。而对于销售文件这类非刚体，通常需要突出展示多个关键部分，如产品名称、产品期限、风险等级、收益信息、消费者签章等。文件的版面过大或者包含多页会导致无法同时清晰展示这些关键部分，只能通过多个角度来分别展示或者对每一页分别展示。为保护消费者的合法权益，避免不法分子收集过期证件的正面和尚在有效期内的证件的反面来展示，或者收集多份文件分别展示多个关键部分，我们需要判定展示的正反面是否来自同一个实物，多个关键部分是否来自同一份文件。如果展示的正反面来自同一个实物，展示的多个关键部分来自同一个文档，那么整个展示动作是连续的，展示过程中前后帧的目标存在共同部分。我们可以利用这个共同部分来进行目标多角度展示动作的连续性判断。
[0003]判断多角度展示的目标是否来自同一个实物本质上属于目标跟踪的范畴，可以使用跟踪的方法来做。但是在展示实物发生大角度旋转或者形变的过程中，目标的表观也不断发生变化，导致跟踪漂移甚至跟丢。跟踪漂移的问题需要通过不断更新目标的表观模型来解决，而跟丢的问题只能通过目标检测器来解决。在更新目标表观模型的过程中，容易引入背景导致跟踪失败。同时，对于视频中可能展示的任何物体，在样本有限的情况下，不可能都提前训练一个目标检测器。

技术实现思路

[0004]在被跟踪目标发生大角度旋转或者形变的过程中，为了解决现有跟踪算法对目标表观不断发生变化导致的跟踪漂移甚至跟丢问题，本申请提供一种目标多角度展示动作连续性检测方法。采用如下的技术方案：
[0005]目标多角度展示动作连续性检测方法，应用于检测视频中多角度展示动作是否连续，包括以下步骤：
[0006]步骤1：提取视频中的运动目标作为检测目标；
[0007]步骤2：判断所述运动目标是否移出摄像头，若检测到运动目标移出摄像头，则判定运动目标多角度展示动作不连续；
[0008]步骤3：步骤2中若判定运动目标未检测到运动目标移出摄像头，则进一步判断运动目标多角度展示动作是否连续，并输出目标多角度展示动作是否连续的结果。
[0009]通过采用上述技术方案，提取视频中的运动目标作为检测目标，然后对运动目标判定是否存在移出摄像头的动作，若存在，则直接判定所述运动目标的多角度展示不连续，若不存在，则进一步判定运动目标多角度展示动作是否连续，并输出目标多角度展示动作是否连续的结果。
[0010]可选的，所述步骤1中，采用背景差分法、帧间差分法或光流法检测视频中的运动目标，记录下所述运动目标出现和消失的帧号分别为ts、te，并保存ts到te帧之间每帧图片的运动目标区域mask作为检测目标。
[0011]通过采用上述技术方案，采用本领域常用的背景差分法、帧间差分法或光流法能完成对待检测视频运动目标的检测，完成对运动目标出现和消失的帧号的提取，同时提取之间每帧图片的运动目标区域mask作为检测目标。
[0012]可选的，采用GrabCut、FCN或DeepLab图像分割方法对检测出的运动目标像素做精细化提取操作，记录下所述运动目标出现和消失的帧号分别为ts、te，并保存ts到te帧之间每帧图片的运动目标区域mask作为检测目标。
[0013]通过采用上述技术方案，采用背景差分法、帧间差分法或光流法等方法检测视频中的运动目标，检测到的目标精度不够，再利用传统的图像分割方法(比如GrabCut)或深度学习的图像分割方法(比如FCN、DeepLab)等，对检测出的运动目标像素做进一步的精细化提取操作。
[0014]可选的，所述步骤2中采用以下具体方法判断运动目标是否移出摄像头，检测跟踪运动目标区域mask的位置变化，若运动目标区域mask逐渐朝向图像的边缘移动，且运动目标区域mask到达图像边缘处后区域面积逐渐变小，结合光流法可判定目标是移出摄像头。
[0015]通过采用上述技术方案，当运动目标是做移出摄像头的运动时，因为该动作也是连续的，且相邻帧之间的目标差异也可能比较小，后续就无法通过判断相邻帧之间目标差异的方法来判断多角度展示动作或者内容平移是否连续，所以需要先判断目标是否在做移出摄像头的运动。目标在移出摄像头的过程中，目标区域一般会越来越小直至消失。而当目标在做翻转运动时，目标区域同样会由大变小。结合目标区域的位置变化，如果目标区域越来越靠近图像的边缘且到达边缘处后区域面积越来越小，那么判定运动目标是移出摄像头。
[0016]所述步骤3中采用以下具体方法判定运动目标多角度展示动作是否连续：
[0017]①
.基于SIFT或SURF方法分别计算所述运动目标任意相邻帧运动目标区域mask的特征点ptns，pt(n+1)s；
[0018]②
.采用最近邻搜索算法确定步骤
①
中的ptns和pt(n+1)s最近的匹配点对；
[0019]③
.剔除步骤
②
中匹配点对之间距离比率大于阈值tn的误匹配点对后，剩余的匹配成功的点对为pairs<ptn,pt(n+1)>；
[0020]④
.相邻两帧目标的相似程度为
[0021]其中，num(pairs)表明匹配成功的点对pairs的数量，num(ptns)表明特征点ptns的数量。
[0022]设定相似程度阈值T,若存在任意相邻两帧的simi＜T或者num(pairs)＝0，则判定运动目标多角度展示动作不连续，若所有相邻两帧的simi≥T，则判定运动目标多角度展示动作连续。
[0023]通过采用上述技术方案，需要进一步判定该动作展示是否连续，计算所述运动目标任意相邻两帧的目标相似程度(颜色距离、纹理距离、线条、版面、logo、特征点匹配程度等)。若存在任意两帧目标区域的相似程度比设定阈值小，则说明该目标多角度展示动作不连续，若任意两帧目标区域的相似程度都比设定阈值大，则判定运动目标多角度展示动作连续。
[0024]可选的，所述阈值tn设为1/1.5，所述相似程度阈值T设为0.02
‑
0.06，优选T＝0.04。
[0025]通过采用上述技术方案，剔除步骤
②
中匹配点对之间距离比率大于阈值tn，t本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.目标多角度展示动作连续性检测方法，其特征在于：应用于检测视频中多角度展示动作是否连续，包括以下步骤：步骤1：提取视频中的运动目标作为检测目标；步骤2：判断所述运动目标是否移出摄像头，若检测到运动目标移出摄像头，则判定运动目标多角度展示动作不连续；步骤3：步骤2中若判定运动目标未移出摄像头，则进一步判断运动目标多角度展示动作是否连续，并输出目标多角度展示动作是否连续的结果。2.根据权利要求1所述的目标多角度展示动作连续性检测方法，其特征在于：所述步骤1中，采用背景差分法、帧间差分法或光流法检测视频中的运动目标，记录下所述运动目标出现和消失的帧号分别为ts、te，并保存ts到te帧之间每帧图片的运动目标区域mask作为检测目标。3.根据权利要求2所述的目标多角度展示动作连续性检测方法，其特征在于：采用GrabCut、FCN或DeepLab图像分割方法对检测出的运动目标像素做精细化提取操作，记录下所述运动目标出现和消失的帧号分别为ts、te，并保存ts到te帧之间每帧图片的运动目标区域mask作为检测目标。4.根据权利要求1或2所述的目标多角度展示动作连续性检测方法，其特征在于：所述步骤2中采用以下具体方法判断运动目标是否移出摄像头，检测跟踪运动目标区域mask的位置变化，若运动目标区域mask逐渐朝向图像的边缘移动，且运动目标区域mask到达图像边缘后区域面积逐渐变小，结合光流法可判定目标是移出摄像头。5.根据权利要求1或2所述的目标多角度展示动作连续性检测方法，其特征在于：所述步骤3中采用以下具体方法判定运动目标多角度展示动作是否连续：
①
.基于SIFT或SURF方法分别计算所述...

【专利技术属性】
技术研发人员：申意萍，陈友斌，徐一波，张志坚，
申请(专利权)人：湖北微模式科技发展有限公司，
类型：发明
国别省市：