异常行为检测方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术涉及活体检测领域，尤其涉及一种异常行为检测方法、装置、计算机设备及存储介质。其方法包括：获取视频帧图像；通过人脸检测模型识别到人脸之后，将人脸图像输入目光朝向模型，得到目光朝向角度；将人脸图像输入头部姿态模型，得到头部朝向角度；将人脸图像输入人脸关键点模型，得到人脸关键点信息；通过手部检测模型识别到人手之后，获取人手图像，将人手图像输入手部关键点模型，得到手部关键点信息；根据目光朝向角度、头部朝向角度、人脸关键点信息和手部关键点信息，判断目标人物是否存在异常行为；若目标人物存在异常行为，则生成异常行为预警信息。本发明专利技术可实时监测到目标人物的异常行为，提高信息获取的及时性和准确性。性。性。

【技术实现步骤摘要】
异常行为检测方法、装置、计算机设备及存储介质


[0001]本专利技术涉及活体检测领域，尤其涉及一种异常行为检测方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着互联网的迅速发展，视频会议、视频面审等视频交流方式广泛应用在多个领域中。在进行视频交流时，人们往往容易忽略对方的一些微表情或异常举动，导致错过对方传达的信息，进而导致接收到的信息不准确。

技术实现思路

[0003]基于此，有必要针对上述技术问题，提供一种异常行为检测方法、装置、计算机设备及存储介质，以解决现有技术进行视频交流，不能及时地、准确地获取对方地异常行为的问题。
[0004]一种异常行为检测方法，包括：
[0005]获取视频帧图像；
[0006]通过人脸检测模型对所述视频帧图像进行人脸识别；通过手部检测模型对所述视频帧图像进行人手识别；
[0007]在识别到所述视频帧图像中包含人脸之后，获取人脸图像，将所述人脸图像输入目光朝向模型，得到所述目光朝向模型输出的与所述人脸对应的目光朝向角度；将所述人脸图像输入头部姿态模型，得到所述头部姿态模型输出的与所述人脸对应的头部朝向角度；将所述人脸图像输入人脸关键点模型，得到所述人脸关键点模型输出的与所述人脸对应的人脸关键点信息；在识别到所述视频帧图像中包含人手之后，获取人手图像，将所述人手图像输入手部关键点模型，得到所述目手部关键点模型输出的与所述人手对应的手部关键点信息；
[0008]一种异常行为检测装置，包括：
[0009]视频帧图像获取模块，用于获取视频帧图像；
[0010]检测模块，用于通过人脸检测模型对所述视频帧图像进行人脸识别；通过手部检测模型对所述视频帧图像进行人手识别；
[0011]信息获取模块，用于在识别到所述视频帧图像中包含人脸之后，获取人脸图像，将所述人脸图像输入目光朝向模型，得到所述目光朝向模型输出的与所述人脸对应的目光朝向角度；将所述人脸图像输入头部姿态模型，得到所述头部姿态模型输出的与所述人脸对应的头部朝向角度；将所述人脸图像输入人脸关键点模型，得到所述人脸关键点模型输出的与所述人脸对应的人脸关键点信息；在识别到所述视频帧图像中包含人手之后，获取人手图像，将所述人手图像输入手部关键点模型，得到所述目手部关键点模型输出的与所述人手对应的手部关键点信息；
[0012]判断模块，用于根据所述目光朝向角度、所述头部朝向角度、所述人脸关键点信息
和所述手部关键点信息，判断与所述人脸对应的目标人物是否存在异常行为；
[0013]异常行为预警模块，用于若所述目标人物存在异常行为，则根据所述异常行为生成异常行为预警信息。
[0014]一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述异常行为检测方法。
[0015]一个或多个存储有计算机可读指令的可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如上述异常行为检测方法。
[0016]上述异常行为检测方法、装置、计算机设备及存储介质，通过获取视频帧图像；通过人脸检测模型对所述视频帧图像进行人脸识别；通过手部检测模型对所述视频帧图像进行人手识别；在识别到所述视频帧图像中包含人脸之后，获取人脸图像，将所述人脸图像输入目光朝向模型，得到所述目光朝向模型输出的与所述人脸对应的目光朝向角度；将所述人脸图像输入头部姿态模型，得到所述头部姿态模型输出的与所述人脸对应的头部朝向角度；将所述人脸图像输入人脸关键点模型，得到所述人脸关键点模型输出的与所述人脸对应的人脸关键点信息；在识别到所述视频帧图像中包含人手之后，获取人手图像，将所述人手图像输入手部关键点模型，得到所述目手部关键点模型输出的与所述人手对应的手部关键点信息；根据所述目光朝向角度、所述头部朝向角度、所述人脸关键点信息和所述手部关键点信息，判断与所述人脸对应的目标人物是否存在异常行为；若所述目标人物存在异常行为，则根据所述异常行为生成异常行为预警信息。本专利技术通过对目标人物的人脸和人手同时进行识别，分支进行后续检测流程可加快检测速度，提高信息获取的及时性。同时，根据目光朝向角度、头部朝向角度、人脸关键点信息和手部关键点信息的综合分析，对目标人物的异常行为进行判断分析，并进行预警提示，可提高信息获取的准确率。
附图说明
[0017]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0018]图1是本专利技术一实施例中异常行为检测方法的一应用环境示意图；
[0019]图2是本专利技术一实施例中异常行为检测方法的一流程示意图；
[0020]图3是本专利技术一实施例中异常行为检测装置的一结构示意图；
[0021]图4是本专利技术一实施例中计算机设备的一示意图。
具体实施方式
[0022]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0023]本实施例提供的异常行为检测方法，可应用在如图1的应用环境中，其中，客户端
与服务端进行通信。其中，客户端包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
[0024]在一实施例中，如图2所示，提供一种异常行为检测方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：
[0025]S10、获取视频帧图像。
[0026]可理解的，在金融领域，有时需要通过视频面审来确认客户身份和信息的真实性。当通过视频面审来确认客户身份和信息的真实性时，会产生视频会话，进而产生视频帧图像。其中，视频帧图像是指视频过程中针对会话对方摄像头实时拍摄记录的的任意一帧视频图像。其中，任意一帧视频图像是指根据预设的视频帧率获取到的视频会话过程中的图像。视频帧率是指每秒内获取视频帧图像的频率。例如，每秒获取视频帧图像的频率为60次，则视频帧率为60次/秒。
[0027]S20、通过人脸检测模型对所述视频帧图像进行人脸识别；通过手部检测模型对所述视频帧图像进行人手识别。
[0028]可理解的，人脸检测模型可以是基于BlazeFace(面部识别)网络结构的检测模型。具体的，获取若干人脸图像作为训练样本，基于BlazeFace网络结构对若干人脸图像进行训练，可得到上述人脸检测模型。手部检测模型可以是基于BlazePalm(手掌识别)网络结构的检测模型。具体的，获取若干人手图像作为训练样本，基于B本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常行为检测方法，其特征在于，包括：获取视频帧图像；通过人脸检测模型对所述视频帧图像进行人脸识别；通过手部检测模型对所述视频帧图像进行人手识别；在识别到所述视频帧图像中包含人脸之后，获取人脸图像，将所述人脸图像输入目光朝向模型，得到所述目光朝向模型输出的与所述人脸对应的目光朝向角度；将所述人脸图像输入头部姿态模型，得到所述头部姿态模型输出的与所述人脸对应的头部朝向角度；将所述人脸图像输入人脸关键点模型，得到所述人脸关键点模型输出的与所述人脸对应的人脸关键点信息；在识别到所述视频帧图像中包含人手之后，获取人手图像，将所述人手图像输入手部关键点模型，得到所述目手部关键点模型输出的与所述人手对应的手部关键点信息；根据所述目光朝向角度、所述头部朝向角度、所述人脸关键点信息和所述手部关键点信息，判断与所述人脸对应的目标人物是否存在异常行为；若所述目标人物存在异常行为，则根据所述异常行为生成异常行为预警信息。2.如权利要求1所述的异常行为检测方法，其特征在于，所述根据所述目光朝向角度、所述头部朝向角度、所述人脸关键点信息和所述手部关键点信息，判断与所述人脸对应的目标人物是否存在异常行为，包括：判断所述目光朝向角度和头部朝向角度是否相同；若所述目光朝向角度和头部朝向角度不相同，则判定与所述人脸对应的目标人物存在第一异常行为。3.如权利要求1所述的异常行为检测方法，其特征在于，所述根据所述目光朝向角度、所述头部朝向角度、所述人脸关键点信息和所述手部关键点信息，判断与所述人脸对应的目标人物是否存在异常行为，包括：获取至少两帧视频帧图像的目光朝向角度；根据所述至少两帧视频帧图像的目光朝向角度，以及视频帧图像的采集时间，确定所述目标人物的目光方向变化速度；若所述目光方向变化速度大于预设速度阈值，则判定与所述人脸对应的目标人物存在第二异常行为。4.如权利要求1所述的异常行为检测方法，其特征在于，所述根据所述目光朝向角度、所述头部朝向角度、所述人脸关键点信息和所述手部关键点信息，判断与所述人脸对应的目标人物是否存在异常行为，包括：从所述人脸关键点信息提取多个人脸关键点；根据所述手部关键点信息绘制手部覆盖区域；计算处于所述手部覆盖区域的人脸关键点的个数；若所述个数大于预设个数阈值，则判定与所述人脸对应的目标人物存在第三异常行为。5.如权利要求1所述的异常行为检测方法，其特征在于，所述人脸关键点信息包含若干人脸关键点和若干与所述人脸关键点对应的置信度；所述将所述人脸图像输入人脸关键点模型，得到所述人脸关键点模型输出的与所述人
...

【专利技术属性】
技术研发人员：熊文硕，曾凡涛，刘玉宇，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：