视频面签中人脸微表情识别方法、装置、设备和存储介质制造方法及图纸

本发明专利技术公开了一种视频面签中人脸微表情识别方法、装置、设备和存储介质，通过获取视频中每一帧人脸图像对应的低分辨率图像和高分辨率图像；对低分辨率图像和高分辨率图像分别进行特征提取，得到低分辨率图像对应的低分辨率特征图以及高分辨率图像对应的高分辨率特征图；根据低分辨率特征图和高分辨率特征图，确定得到关键点特征图；根据关键点特征图，确定人脸图像的人脸表情识别结果；根据人脸图像的人脸表情识别结果，确定视频面签风险评估结果；本申请实施例通过低分辨率图像和高分辨率图像得到关键点特征图，提高人脸关键点检测的准确率，抗干扰能力强，如此，通过关键点特征图确定人脸表情识别结果，提高表情识别结果的准确度。确度。确度。

【技术实现步骤摘要】
视频面签中人脸微表情识别方法、装置、设备和存储介质


[0001]本专利技术涉及计算机视觉
，具体涉及一种视频面签中人脸微表情识 别方法、装置、设备和存储介质。

技术介绍

[0002]随着消费观念的改变，信贷业务量剧增，需要对信贷的各个环节进行审批， 需要核实用户身份，现有的面签审核方式是面审员与借款人通过全线上视频进 行面签，面审员通过审核借款人提供的面签视频进行风险评估。
[0003]然而，通过全线上视频进行面签，在业务量巨大的情况下，面审员对客户 的面签视频进行审核时，不能准确的察觉到客户的表情变化，从而不能准确把 控风险，增加了坏帐的可能性。

技术实现思路

[0004]本专利技术实施例提供一种视频面签中人脸微表情识别方法、装置、设备和存 储介质，以提高现有面签审核中表情识别的准确度。
[0005]一方面，本申请实施例提供一种视频面签中人脸微表情识别方法，所述方 法包括：
[0006]获取视频中每一帧人脸图像对应的低分辨率图像和高分辨率图像；
[0007]对所述低分辨率图像和所述高分辨率图像分别进行特征提取，得到所述低 分辨率图像对应的低分辨率特征图以及所述高分辨率图像对应的高分辨率特 征图；
[0008]根据所述低分辨率特征图和所述高分辨率特征图，确定得到关键点特征图；
[0009]根据所述关键点特征图，确定所述人脸图像的人脸表情识别结果；
[0010]根据所述人脸图像的人脸表情识别结果，确定视频面签风险评估结果。
[0011]另一方面，本申请实施例提供一种视频面签中人脸微表情识别装置，所述 装置包括：
[0012]分解模块，用于获取视频中每一帧人脸图像对应的低分辨率图像和高分辨 率图像；
[0013]特征提取模块，用于对所述低分辨率图像和所述高分辨率图像分别进行特 征提取，得到所述低分辨率图像对应的低分辨率特征图以及所述高分辨率图像 对应的高分辨率特征图；
[0014]特征图提取模块，用于对所述低分辨率特征图和所述高分辨率特征图进行 注意力特征提取，得到关键点特征图；
[0015]识别模块，用于将根据所述关键点特征图，确定所述人脸图像的人脸表情 识别结果；
[0016]评估模块，用于根据所述人脸图像的人脸表情识别结果，确定视频面签风 险评估结果。
[0017]另一方面，本申请实施例提供一种视频面签中人脸微表情识别设备，包括 存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储 器内的应用程序，以执行所述的视频面签中人脸微表情识别方法中的操作。
[0018]另一方面，本申请实施例提供一种存储介质，所述存储介质存储有多条指 令，所述指令适于处理器进行加载，以执行所述的视频面签中人脸微表情识别 方法中的步骤。
[0019]本专利技术实施例获取视频中每一帧人脸图像对应的低分辨率图像和高分辨 率图像；对低分辨率图像和高分辨率图像分别进行特征提取，得到低分辨率图 像对应的低分辨率特征图以及高分辨率图像对应的高分辨率特征图；根据低分 辨率特征图和高分辨率特征图，确定得到关键点特征图；根据关键点特征图， 确定人脸图像的人脸表情识别结果；根据人脸图像的人脸表情识别结果，确定 视频面签风险评估结果；本申请实施例通过低分辨率图像和高分辨率图像得到 关键点特征图，提高人脸关键点检测的准确率，抗干扰能力强，如此，通过关 键点特征图确定人脸表情识别结果，提高表情识别结果的准确度。
附图说明
[0020]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术 的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还 可以根据这些附图获得其他的附图。
[0021]图1是本专利技术实施例提供的视频面签中人脸微表情识别方法的应用场景；
[0022]图2是本专利技术实施例提供的视频面签中人脸微表情识别方法的流程示意图；
[0023]图3是本专利技术实施例提供的微表情识别网络的结构示意图；
[0024]图4是本专利技术实施例提供的微表情识别网络中关键点提取层的结构示意图；
[0025]图5是本专利技术实施例提供的视频面签中人脸微表情识别装置的结构示意图；
[0026]图6是本专利技术实施例提供的视频面签中人脸微表情识别设备的结构示意图。
具体实施方式
[0027]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是 全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳 动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0028]请参阅图1，图1是本申请实施例提供的视频面签中人脸微表情识别方法的 应用场景，图1所示的仅为可以应用本专利技术实施例提供的应用场景的示意，以 帮助本领域技术人员了解本专利技术的
技术实现思路
，但不意味着本专利技术实施例不可以 应用其他设备、系统、环境或场景。
[0029]如图1所示，本申请实施例提供的应用场景包括服务器101、网络102、第 一终端设备103和第二终端设备104。
[0030]其中，网络102可以在服务器101、第一终端设备103和第二终端设备104 之间提供通信链路的介质。网络102可以是因特网，也可以是任何网络，包括 但不限于广域网、城域网、区域网、第三代合作伙伴计划(3rd GenerationPartnership Project，3GPP)、长期演
进(Long Term Evolution LTE)、全球互通 微波访问(Worldwide Interoperability for Microwave Access WiMAX)的移动通 信，或基于TCP/IP协议族(TCP/IPProtocol Suite TCP/IP)、用户数据报协议(UserDatagram Protocol UDP的计算机网络通信等。
[0031]用户可以使用第二终端设备104通过第一终端设备103通过网络102与服务 器101交互，发送面签视频至服务器101等，服务器101根据上传的面签视频进 行视频面签中人脸微表情识别，得到视频面签风险评估结果，并将视频面签风 险评估结果通过网络102返回至第二终端设备104；工作人员可以使用第二终端 设备104分别与第一终端设备103和服务器101进行交互，例如访问服务器101 进行数据查询，返回面签审核结果至第一终端设备103等。可以理解的是，在 对视频面签中人脸微表情识别中，服务器101可以对一个或多个终端设备发送 的面签视频进行表情识别。
[0032]第一终端设备103和第二终端设备104可以是具有显示功能的各种电子设 备，以向用户、工作人员展示视频面签风险评估结果，其包括但不限于计算机、 PC端、便携式计算机、平板电脑、智能手机等。
[0033]服务器101可以是提供各本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频面签中人脸微表情识别方法，其特征在于，所述方法包括：获取视频中每一帧人脸图像对应的低分辨率图像和高分辨率图像；对所述低分辨率图像和所述高分辨率图像分别进行特征提取，得到所述低分辨率图像对应的低分辨率特征图以及所述高分辨率图像对应的高分辨率特征图；根据所述低分辨率特征图和所述高分辨率特征图，确定得到关键点特征图；根据所述关键点特征图，确定所述人脸图像的人脸表情识别结果；根据每一帧所述人脸图像的人脸表情识别结果，确定视频面签风险评估结果。2.如权利要求1所述的视频面签中人脸微表情识别方法，其特征在于，所述根据所述低分辨率特征图和所述高分辨率特征图，确定得到关键点特征图，包括：对所述低分辨率特征图和所述高分辨率特征图进行图像融合，得到融合特征图；将所述融合特征图输入至注意力特征提取模型进行特征提取，得到所述人脸图像对应的关键点特征图。3.如权利要求2所述视频面签中人脸微表情识别方法，其特征在于，所述将所述融合特征图输入特征提取模型进行注意力特征提取，得到所述人脸图像对应的关键点特征图之前，所述方法包括：获取人脸样本图像，以及每一张所述人脸样本图像对应的人脸关键点数据；基于高斯分布，确定每一张所述人脸样本图像对应的人脸关键点数据中每一个关键点的掩膜；基于所述人脸样本图像对应的人脸关键点数据中的每个关键点的掩膜，得到所述人脸样本图像的结构先验特征；通过初始检测模型对每一张所述人脸样本图像进行特征提取，得到每一张所述人脸样本图像对应的关键点样本特征图；根据每一张所述人脸样本图像对应的关键点样本特征图和每一张所述人脸样本图像的结构先验特征得到训练损失值；根据所述训练损失值对所述初始检测模型进行参数调整，直至所述初始检测模型满足预设收敛条件，得到特征提取模型。4.如权利要求1所述的视频面签中人脸微表情识别方法，其特征在于，所述根据所述关键点特征图，确定所述人脸图像的人脸表情识别结果包括：对所述关键点特征图进行坐标变换，得到所述人脸图像对应的人脸关键点以及所述人脸图像的人脸关键点之间的位置关系；将所述人脸图像的人脸关键点、所述人脸图像的人脸关键点之间的位置关系输入至表情识别模型，得到所述人脸图像的微表情识别结果。5.如权利要求4所述的视频面签中人脸微表情识别方法，其特征在于，所述对所述关键点特征图进行坐标变换，...

【专利技术属性】
技术研发人员：李骁，于欣璐，赖众程，常鹏，高洪喜，冯晋飞，张莉，胡云飞，邓兆卉，苏杰，陈杭，黎利，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：