检测小抄动作的方法、系统、设备及存储介质技术方案

本发明专利技术提供检测视频人物是否存在小抄动作的方法、系统、设备及存储介质，方法包括：检测当前视频流画面中是否存在用户的人脸；在当前视频流画面中存在人脸时，获取人脸关键点信息；根据所获取的人脸关键点信息确定用户是否在说话；检测当前视频流画面中用户的视线角度；根据所检测的用户的视线角度确定用户是否存在小抄注视动作；当确定用户在说话且存在小抄注视动作，确定用户存在小抄动作。该方法融合了人脸关键点以及用户的视线追踪，实时识别视频中用户是否存在小抄动作，为后续视频审核提供重要参考，并解决了用户视线或头部姿态漂移造成的误判问题。移造成的误判问题。移造成的误判问题。

【技术实现步骤摘要】
检测小抄动作的方法、系统、设备及存储介质


[0001]本专利技术涉及视频检测领域，更具体地，涉及检测小抄动作的方法、系统、设备及存储介质。

技术介绍

[0002]信用卡激活审核环节一般以视频审核的形式进行，由此，银行审核系统需要处理大量视频，而人物在视频审核过程中可能存在看小抄的动作，当确定人物存在看小抄动作时，应慎重审核该人物对应的激活申请，或者做好相关记录，能够对整体审核有一定参考价值。而当前视频审核环节主要依赖客席人工以经验进行肉眼识别，但人工坐席的识别技能水平参差不齐，在实际工作中容易错判或漏判。
[0003]其次，上述视频审核场景需要做到实时审核，无法在事后再对视频进行小抄动作的识别，实时审核提高了审核的难度，而基于对模型准确率的要求，直接使用存在小抄动作的画面进行建模也对数据样本要求高。

技术实现思路

[0004]本专利技术旨在克服上述现有技术的至少一种缺陷，提供检测小抄动作的方法、系统、设备及存储介质，用于解决现有的视频实时审核中未能做到自动识别视频人物是否做出小抄动作导致增加了审核难度和成本的问题。...

【技术保护点】

【技术特征摘要】
1.一种检测视频人物是否存在小抄动作的方法，其特征在于，包括：检测当前视频流画面中是否存在用户的人脸；在当前视频流画面中存在人脸时，获取人脸关键点信息；根据所获取的人脸关键点信息确定用户是否在说话；检测当前视频流画面中用户的视线角度；根据所检测的用户的视线角度确定用户是否存在小抄注视动作；当确定用户在说话且存在小抄注视动作，确定用户存在小抄动作。2.根据权利要求1所述的检测视频人物是否存在小抄动作的方法，其特征在于，所述人脸关键点信息至少包括人脸嘴部关键点信息；根据所获取的人脸关键点信息确定用户是否在说话，具体包括：根据所获取的人脸嘴部关键点信息，确定用户的嘴巴宽度和嘴巴高度；根据用户的嘴巴宽度和嘴巴高度确定用户的张嘴比率，根据所确定的用户的张嘴比率确定用户是否在说话。3.根据权利要求2所述的检测视频人物是否存在小抄动作的方法，其特征在于，根据用户的嘴巴宽度和嘴巴高度确定用户的张嘴比率，根据所确定的用户的张嘴比率确定用户是否在说话，具体包括：确定预设的滑动时间窗口覆盖的若干帧视频流画面，若干帧视频流画面由当前视频流画面与其前后若干帧视频流画面组成；根据滑动时间窗口覆盖的每帧画面中用户的嘴巴宽度和嘴巴高度确定每帧画面中用户的张嘴比率；根据每帧画面中用户的张嘴比率，确定滑动时间窗口覆盖的若干帧画面中用户的张嘴比率标准差；判断用户的张嘴比率标准差是否大于预设阈值，如是，则确定用户在说话。4.根据权利要求3所述的检测视频人物是否存在小抄动作的方法，其特征在于，根据滑动时间窗口覆盖的每帧画面中用户的嘴巴宽度和嘴巴高度确定每帧画面中用户的张嘴比率，具体包括：根据式子确定每帧画面中用户的嘴巴宽度和嘴巴高度确定每帧画面中用户的张嘴比率；其中，i为用户的张嘴比率，w为用户的嘴巴宽度，h为用户的嘴巴高度；根据每帧画面中用户的张嘴比率，确定滑动时间窗口覆盖的若干帧画面中用户的张嘴比率标准差，具体包括：根据式子确定滑动时间窗口tw覆盖的若干帧画面中用户的张嘴比率标准差；其中，s为张嘴比率标准差，w为用户的嘴巴宽度，h为用户的嘴巴高度，为滑动时间窗口tw覆盖的N帧画面中用户的张嘴比率均值；t为滑动时间窗口tw覆盖的第一帧画面；t+N为滑动时间窗口tw覆盖的最后一帧画面；i
tw
为滑动时间窗口tw覆盖的N帧画面中用户的张嘴比率。5.根据权利要求1～4任一项所述的检测视频人物是否存在小抄动作的方法，其特征在于，检测视频流画面中用户的视线角度，根据所检测的用户的视线角度确定用户是否存在
小抄注视动作，具体包括：确定当前视频流画面中用户的视线...

【专利技术属性】
技术研发人员：蒋艺杰，叶俊科，钟龙申，赵清利，
申请(专利权)人：广发银行股份有限公司信用卡中心，
类型：发明
国别省市：