检测小抄动作的方法、系统、设备及存储介质技术方案

本发明专利技术提供检测视频人物是否存在小抄动作的方法、系统、设备及存储介质，方法包括：检测当前视频流画面中是否存在用户的人脸；在当前视频流画面中存在人脸时，获取人脸关键点信息；根据所获取的人脸关键点信息确定用户是否在说话；检测当前视频流画面中用户的视线角度；根据所检测的用户的视线角度确定用户是否存在小抄注视动作；当确定用户在说话且存在小抄注视动作，确定用户存在小抄动作。该方法融合了人脸关键点以及用户的视线追踪，实时识别视频中用户是否存在小抄动作，为后续视频审核提供重要参考，并解决了用户视线或头部姿态漂移造成的误判问题。移造成的误判问题。移造成的误判问题。

【技术实现步骤摘要】
检测小抄动作的方法、系统、设备及存储介质


[0001]本专利技术涉及视频检测领域，更具体地，涉及检测小抄动作的方法、系统、设备及存储介质。

技术介绍

[0002]信用卡激活审核环节一般以视频审核的形式进行，由此，银行审核系统需要处理大量视频，而人物在视频审核过程中可能存在看小抄的动作，当确定人物存在看小抄动作时，应慎重审核该人物对应的激活申请，或者做好相关记录，能够对整体审核有一定参考价值。而当前视频审核环节主要依赖客席人工以经验进行肉眼识别，但人工坐席的识别技能水平参差不齐，在实际工作中容易错判或漏判。
[0003]其次，上述视频审核场景需要做到实时审核，无法在事后再对视频进行小抄动作的识别，实时审核提高了审核的难度，而基于对模型准确率的要求，直接使用存在小抄动作的画面进行建模也对数据样本要求高。

技术实现思路

[0004]本专利技术旨在克服上述现有技术的至少一种缺陷，提供检测小抄动作的方法、系统、设备及存储介质，用于解决现有的视频实时审核中未能做到自动识别视频人物是否做出小抄动作导致增加了审核难度和成本的问题。
[0005]本专利技术采用的技术方案包括：
[0006]第一方面，本专利技术提供一种检测视频人物是否存在小抄动作的方法，包括：检测当前视频流画面中是否存在用户的人脸；在当前视频流画面中存在人脸时，获取人脸关键点信息；根据所获取的人脸关键点信息确定用户是否在说话；检测当前视频流画面中用户的视线角度；根据所检测的用户的视线角度确定用户是否存在小抄注视动作；当确定用户在说话且存在小抄注视动作，确定用户存在小抄动作。
[0007]本专利技术提供的方法通过实时在视频流画面中检测人脸以及获取人脸关键点信息，根据人脸关键点信息分析用户是否在说话，用户正在说话表示正在回答视频审核的问题。同时检测视频流画面中用户的视线角度，通过用户的视线角度确定用户的注视区域，从而判断用户是否没有注视摄像头区域而是注视小抄所在区域，如是，则可以确定用户存在小抄注视动作，而如果已经判定用户正在回答视频审核的问题，且存在小抄注视动作，则可以最终确定用户存在小抄动作，该结果可以为实时视频审核提供重要参考，后续可基于是否存在小抄动作的检测结果实时审批用户的申请，达到实时且准确的视频审核。该方法融合了人脸关键点以及用户的视线追踪，解决了用户视线或头部姿态漂移造成的误判问题。
[0008]进一步，所述人脸关键点信息至少包括人脸嘴部关键点信息；根据所获取的人脸关键点信息确定用户是否在说话，具体包括：根据所获取的人脸嘴部关键点信息，确定用户的嘴巴宽度和嘴巴高度；根据用户的嘴巴宽度和嘴巴高度确定用户的张嘴比率，根据所确定的用户的张嘴比率确定用户是否在说话。
[0009]根据用户的嘴巴宽度和嘴巴高度确定的张嘴比率，不受头部姿态漂移的影响，可以准确判断出用户是否在说话，从而确定用户是否在回答视频审核的问题。
[0010]进一步，根据用户的嘴巴宽度和嘴巴高度确定用户的张嘴比率，根据所确定的用户的张嘴比率确定用户是否在说话，具体包括：确定预设的滑动时间窗口覆盖的若干帧视频流画面，若干帧视频流画面由当前视频流画面与其前后若干帧视频流画面组成；根据滑动时间窗口覆盖的每帧画面中用户的嘴巴宽度和嘴巴高度确定每帧画面中用户的张嘴比率；根据每帧画面中用户的张嘴比率，确定滑动时间窗口覆盖的若干帧画面中用户的张嘴比率标准差；判断用户的张嘴比率标准差是否大于预设阈值，如是，则确定用户在说话。
[0011]为了减少误判可能，例如避免用户在某一帧视频流画面中张开嘴但没有说话的情况，预设一个滑动时间窗口对当前视频流画面以及其前后的若干帧画面进行说话检测，根据窗口所覆盖的所有画面中用户的张嘴比率标准差，确定用户是否在说话。
[0012]进一步，根据滑动时间窗口覆盖的每帧画面中用户的嘴巴宽度和嘴巴高度确定每帧画面中用户的张嘴比率，具体包括：根据式子确定每帧画面中用户的嘴巴宽度和嘴巴高度确定每帧画面中用户的张嘴比率；其中，i为用户的张嘴比率，w为用户的嘴巴宽度，h为用户的嘴巴高度；根据每帧画面中用户的张嘴比率，确定滑动时间窗口覆盖的若干帧画面中用户的张嘴比率标准差，具体包括：根据式子确定滑动时间窗口tw覆盖的若干帧画面中用户的张嘴比率标准差；其中，s为张嘴比率标准差，w为用户的嘴巴宽度，h为用户的嘴巴高度，n为为滑动时间窗口tw覆盖的N帧画面中用户的张嘴比率均值；t为滑动时间窗口tw覆盖的第一帧画面；t+N为滑动时间窗口tw覆盖的最后一个帧画面；i
tw
为滑动时间窗口tw覆盖的N帧画面中用户的张嘴比率。
[0013]进一步，检测视频流画面中用户的视线角度，根据所检测的用户的视线角度确定用户是否存在小抄注视动作，具体包括：确定当前视频流画面中用户的视线水平偏移角度，以及其视线垂直偏移角度；第一判断条件：判断用户的视线水平偏移角度是否小于预设的水平视线最小值，或大于预设的水平视线最大值；第二判断条件：判断用户的视线垂直偏移角度是否小于预设的垂直视线最小值，或大于预设的垂直视线最大值；如当前视频流画面满足第一判断条件或第二判断条件，则判断当前视频流画面之后的若干帧画面是否均满足第一判断条件或第二判断条件，如是，则确定用户存在小抄注视动作，如否，则确定用户不存在小抄注视动作。
[0014]第一判断条件以及第二判断条件用于判断用户的视线水平偏移角度或者视线垂直偏移角度是否超出预设范围，如是即可初步认为用户存在小抄注视动作，为了避免误判情况的出现，进一步判断当前视频流画面之后的若干帧画面是否也满足超出预设范围的条件，即判断用户是否在一段时间内视线都偏离正常范围，如是，则可最终确定用户存在小抄注视动作。
[0015]进一步，确定当前视频流画面中用户的视线水平偏移角度，以及其视线垂直偏移角度，具体包括：分别截取当前视频流画面中的人脸画面和人脸眼睛画面输入至视线追踪模型，以使视线追踪模型分别提取人脸画面和人脸眼睛画面的特征向量，并对所提取的特征向量进行编码，对编码后的特征向量进行压缩，并得到当前视频流画面中用户的视线水
平偏移角度，以及其视线垂直偏移角度。
[0016]进一步，视线追踪模型包括顺序连接的主干特征提取网络、次特征提取网络、特征编码模块以及若干个全连接层；所述主干特征提取网络由focus模块以及CSP网络组成，用于提取图片的特征向量；所述次特征提取网络由FPN网络、PAN网络以及全连接层组成，用于对主干特征提取网络提取的特征向量进行进一步加工；所述特征编码模块为Transformer encoder模块，用于对次特征提取网络加工后的特征向量进行编码；若干个全连接层用于对特征编码模块的输出进行压缩，最终输出二维特征，用于表示视线水平偏移角度和视线垂直偏移角度。
[0017]通过本专利技术提供的视线追踪模型，可以获取到用户视线落在关注面的角度，实时确定用户的视线水平偏移角度和视线垂直偏移角度，后续可根据视线偏移角度确定用户视线点是否落在正常区域外，同时视线注视时间是否超过预设值，并得到用户是否存在小抄动作的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种检测视频人物是否存在小抄动作的方法，其特征在于，包括：检测当前视频流画面中是否存在用户的人脸；在当前视频流画面中存在人脸时，获取人脸关键点信息；根据所获取的人脸关键点信息确定用户是否在说话；检测当前视频流画面中用户的视线角度；根据所检测的用户的视线角度确定用户是否存在小抄注视动作；当确定用户在说话且存在小抄注视动作，确定用户存在小抄动作。2.根据权利要求1所述的检测视频人物是否存在小抄动作的方法，其特征在于，所述人脸关键点信息至少包括人脸嘴部关键点信息；根据所获取的人脸关键点信息确定用户是否在说话，具体包括：根据所获取的人脸嘴部关键点信息，确定用户的嘴巴宽度和嘴巴高度；根据用户的嘴巴宽度和嘴巴高度确定用户的张嘴比率，根据所确定的用户的张嘴比率确定用户是否在说话。3.根据权利要求2所述的检测视频人物是否存在小抄动作的方法，其特征在于，根据用户的嘴巴宽度和嘴巴高度确定用户的张嘴比率，根据所确定的用户的张嘴比率确定用户是否在说话，具体包括：确定预设的滑动时间窗口覆盖的若干帧视频流画面，若干帧视频流画面由当前视频流画面与其前后若干帧视频流画面组成；根据滑动时间窗口覆盖的每帧画面中用户的嘴巴宽度和嘴巴高度确定每帧画面中用户的张嘴比率；根据每帧画面中用户的张嘴比率，确定滑动时间窗口覆盖的若干帧画面中用户的张嘴比率标准差；判断用户的张嘴比率标准差是否大于预设阈值，如是，则确定用户在说话。4.根据权利要求3所述的检测视频人物是否存在小抄动作的方法，其特征在于，根据滑动时间窗口覆盖的每帧画面中用户的嘴巴宽度和嘴巴高度确定每帧画面中用户的张嘴比率，具体包括：根据式子确定每帧画面中用户的嘴巴宽度和嘴巴高度确定每帧画面中用户的张嘴比率；其中，i为用户的张嘴比率，w为用户的嘴巴宽度，h为用户的嘴巴高度；根据每帧画面中用户的张嘴比率，确定滑动时间窗口覆盖的若干帧画面中用户的张嘴比率标准差，具体包括：根据式子确定滑动时间窗口tw覆盖的若干帧画面中用户的张嘴比率标准差；其中，s为张嘴比率标准差，w为用户的嘴巴宽度，h为用户的嘴巴高度，为滑动时间窗口tw覆盖的N帧画面中用户的张嘴比率均值；t为滑动时间窗口tw覆盖的第一帧画面；t+N为滑动时间窗口tw覆盖的最后一帧画面；i
tw
为滑动时间窗口tw覆盖的N帧画面中用户的张嘴比率。5.根据权利要求1～4任一项所述的检测视频人物是否存在小抄动作的方法，其特征在于，检测视频流画面中用户的视线角度，根据所检测的用户的视线角度确定用户是否存在
小抄注视动作，具体包括：确定当前视频流画面中用户的视线...

【专利技术属性】
技术研发人员：蒋艺杰，叶俊科，钟龙申，赵清利，
申请(专利权)人：广发银行股份有限公司信用卡中心，
类型：发明
国别省市：