一种微表情识别在视频审核中的风险预警方法技术

本发明专利技术涉及微表情分析金融风控技术领域，具体公开了一种微表情识别在视频审核中的风险预警方法，包括：获取贷款申请人的面审视频，并从所述面审视频中提取出多帧目标人脸图像；对所述目标人脸图像进行处理，得到标准化的目标人脸图像；将所述标准化的目标人脸图像输入到微表情检测模型中，得到微表情片段；将所述微表情片段输入到微表情识别模型中，得到微表情识别结果；根据所述微表情识别结果，输出贷款风险预警信息。本发明专利技术提供的微表情识别在视频审核中的风险预警方法，通过将微表情检测和微表情识别串联，无监督获取贷款面审视频中是否出现微表情以及产生的欺诈风险。

【技术实现步骤摘要】
一种微表情识别在视频审核中的风险预警方法
本专利技术涉及微表情分析金融风控
，更具体地，涉及一种微表情识别在视频审核中的风险预警方法。
技术介绍
小微企业的繁荣发展是推动国家经济增长、激发国民产业创新活力的重要引擎。然而小微企业收入信息难采集，异地申请贷款业务的风险认定难以核验等，一直是传统金融机构难以解决的难题。服务小微企业是目前商业银行的重要职责所在，越来越多的商业银行涉足互联网金融业务，成为小微型企业获取融资的重要渠道。然而互联网金融业务的野蛮式增长以及相关法律体系的不成熟，导致市场较为混乱，骗贷、逾期还款等问题层出不穷。因此，互联网金融业务的贷前识别风控体系建设尤为重要。视频面审作为贷前识别的核心环节，是判断申请人有无骗贷风险的重要依据。随着人工智能技术的发展，人工智能技术越来越多的与传统学科相结合。微表情作为心理学中一种自发式掩盖内在情绪的表情，它是一种无法伪造也无法抑制的真实情绪反映，持续时间在1/25s～1/3s左右。将微表情识别应用在贷款业务的视频审核中，也将成为未来金融风险分析的一个重要研究方向。基于人工智能的微表情分析的研究主要包括微表情检测和微表情识别两个方向。然而，目前金融风控中的微表情研究多是基于已知的微表情片段进行识别，没有涉及到微表情的检测工作。同时，人脸信息的背景噪声和宏表情的影响也没有引入到微表情分析上来。
技术实现思路
本专利技术的目的在于克服现有技术中存在的不足，提供了一种微表情识别在视频审核中的风险预警方法，通过将微表情检测和微表情识别串联，无监督获取贷款面审视频中是否出现微表情以及产生的欺诈风险。作为本专利技术的第一个方面，提供一种微表情识别在视频审核中的风险预警方法，包括：步骤S1：获取贷款申请人的面审视频，并从所述面审视频中提取出多帧目标人脸图像；步骤S2：对所述目标人脸图像进行处理，得到标准化的目标人脸图像；步骤S3：将所述标准化的目标人脸图像输入到微表情检测模型中，得到微表情片段；步骤S4：将所述微表情片段输入到微表情识别模型中，得到微表情识别结果；步骤S5：根据所述微表情识别结果，输出贷款风险预警信息。进一步地，所述步骤S2中，还包括：利用RetinaFace对所述目标人脸图像进行人脸检测，得到人脸坐标框bbox；同时对所述目标人脸图像进行灰度化，并进行RGB通道拆分，得到三种通道人脸图像；以所述人脸坐标框bbox的质心为圆点对所述人脸坐标框bbox放大指定倍数，得到放大后的人脸区域，并对所述放大后的人脸区域的人脸图像分别进行人脸关键点检测和深度图像估计，对应得到68个人脸关键点和人脸深度图像；对所述人脸深度图像进行阈值分割的二值化处理，得到二值化图像；将三种通道人脸图像分别与所述二值化图像做二进制“与”操作，合并RGB通道得到背景填充后的目标人脸图像；依据所述68个人脸关键点对所述背景填充后的目标人脸图像做人脸对齐的仿射变换，得到仿射变换后的新人脸图像和新人脸关键点lmk′；通过所述新人脸关键点lmk′提取最大人脸感兴趣区域bbox′；通过所述最大人脸感兴趣区域bbox′对所述仿射变换后的新人脸图像做裁剪和归一化处理，得到所述标准化的目标人脸图像。进一步地，所述最大人脸感兴趣区域bbox′的计算公式如下：bbox′＝(min(lmk′x),min(lmk′y),max(lmk′x),max(lmk′x))式中，lmk′x为x坐标集，lmk′y为y坐标集。进一步地，还包括：逐帧提取所述面审视频中的目标人脸图像，并对提取出的多帧所述目标人脸图像进行处理，得到标准化的目标人脸图像集Η∈{1,...,T}，其中，T是帧数；将所述目标人脸图像集中的多个目标人脸图像分别输入到所述微表情检测模型中，其中，所述目标人脸图像集Η中共检测到d组微表情片段其中，为第一组微表情片段出现的开始帧和结束帧，并且引入时间判别机制来对微表情检测的结果进行时间过滤，符合特定时间阈值才判定为微表情片段；将所述微表情片段输入到微表情识别模型中，计算微表情识别类别的置信度，以所述微表情片段中置信度最高的结果作为最终的微表情识别结果；当所述微表情识别结果属于负面情绪时，则输出所述贷款风险预警信息。进一步地，所述微表情识别结果包括微表情片段出现的时间段和置信度分值。进一步地，还包括：获取微表情检测数据集和微表情识别数据集；依据所述微表情检测数据集构建所述微表情检测模型，及依据所述微表情识别数据集构建所述微表情识别模型；其中，所述微表情检测模型和微表情识别模型均为3分类的Mobilenet_v2结构，并引入损失函数ζ来分别优化所述微表情检测模型和微表情识别模型；其中，所述损失函数ζ的计算公式如下：式中，k∈{1,2,....K}，K是类别数，权重ωk和特征x经过归一化后被参数s取代，表示为margin函数，是对误分类的样本加权的函数，Ik的计算公式如下：其中，Ik为常数。进一步地，所述微表情识别类别的置信度Ci的计算公式如下：式中，i表示微表情识别类别，Mi为第i类的帧数，ci为第i类的置信度，N为所述微表情片段的总帧数。本专利技术提供的微表情识别在视频审核中的风险预警方法具有以下优点：通过将微表情检测和微表情识别串联，无监督获取贷款面审视频中是否出现微表情以及产生的欺诈风险。附图说明附图是用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术，但并不构成对本专利技术的限制。图1为本专利技术提供的微表情识别在视频审核中的风险预警方法的流程图。图2为本专利技术提供的对目标人脸图像进行处理的流程图。具体实施方式为更进一步阐述本专利技术为达成预定专利技术目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本专利技术提出的微表情识别在视频审核中的风险预警方法其具体实施方式、结构、特征及其功效，详细说明如后。显然，所描述的实施例为本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。在本实施例中提供了一种微表情识别在视频审核中的风险预警方法，如图1所示，微表情识别在视频审核中的风险预警方法包括：步骤S1：获取贷款申请人的面审视频，并从所述面审视频中提取出多帧目标人脸图像；步骤S2：对所述目标人脸图像进行处理，得到标准化的目标人脸图像；步骤S3：将所述标准化的目标人脸图像输入到微表情检测模型中，得到微表情片段；步骤S4：将所述微表情片段输入到微表情识别模型中，得到微表情识别结果；步骤S5：根据所述微表情识别结果，输出贷款风险预警信息。需要说明的是，对贷款申请人的面审视频标注微表情信息。优选地本文档来自技高网...

【技术保护点】
1.一种微表情识别在视频审核中的风险预警方法，其特征在于，包括：/n步骤S1：获取贷款申请人的面审视频，并从所述面审视频中提取出多帧目标人脸图像；/n步骤S2：对所述目标人脸图像进行处理，得到标准化的目标人脸图像；/n步骤S3：将所述标准化的目标人脸图像输入到微表情检测模型中，得到微表情片段；/n步骤S4：将所述微表情片段输入到微表情识别模型中，得到微表情识别结果；/n步骤S5：根据所述微表情识别结果，输出贷款风险预警信息。/n

【技术特征摘要】
1.一种微表情识别在视频审核中的风险预警方法，其特征在于，包括：
步骤S1：获取贷款申请人的面审视频，并从所述面审视频中提取出多帧目标人脸图像；
步骤S2：对所述目标人脸图像进行处理，得到标准化的目标人脸图像；
步骤S3：将所述标准化的目标人脸图像输入到微表情检测模型中，得到微表情片段；
步骤S4：将所述微表情片段输入到微表情识别模型中，得到微表情识别结果；
步骤S5：根据所述微表情识别结果，输出贷款风险预警信息。


2.根据权利要求1所述的微表情识别在视频审核中的风险预警方法，其特征在于，所述步骤S2中，还包括：
利用RetinaFace对所述目标人脸图像进行人脸检测，得到人脸坐标框bbox；同时对所述目标人脸图像进行灰度化，并进行RGB通道拆分，得到三种通道人脸图像；
以所述人脸坐标框bbox的质心为圆点对所述人脸坐标框bbox放大指定倍数，得到放大后的人脸区域，并对所述放大后的人脸区域的人脸图像分别进行人脸关键点检测和深度图像估计，对应得到68个人脸关键点和人脸深度图像；
对所述人脸深度图像进行阈值分割的二值化处理，得到二值化图像；
将三种通道人脸图像分别与所述二值化图像做二进制“与”操作，合并RGB通道得到背景填充后的目标人脸图像；
依据所述68个人脸关键点对所述背景填充后的目标人脸图像做人脸对齐的仿射变换，得到仿射变换后的新人脸图像和新人脸关键点lmk′；
通过所述新人脸关键点lmk′提取最大人脸感兴趣区域bbox′；
通过所述最大人脸感兴趣区域bbox′对所述仿射变换后的新人脸图像做裁剪和归一化处理，得到所述标准化的目标人脸图像。


3.根据权利要求2所述的微表情识别在视频审核中的风险预警方法，其特征在于，所述最大人脸感兴趣区域bbox′的计算公式如下：
bbox′＝(min(lmk′x),min(lmk′y),max(lmk′x),max(lmk′x))
式中，lmk′x为x坐标集，lmk′y为y坐标集。


4.根据权利要求1所述的微表情识别在视频审核中的风险预警方...

【专利技术属性】
技术研发人员：顾全林，杨赛，曹攀，戴秀佳，
申请(专利权)人：无锡锡商银行股份有限公司，
类型：发明
国别省市：江苏;32