一种针对视频面审人像的衣着暴露等级识别方法技术

本发明专利技术涉及计算机视觉技术领域，具体公开了一种针对视频面审人像的衣着暴露等级识别方法，包括：获取贷款申请人的面审视频，并从所述面审视频中提取出至少一帧人像图片；对每帧所述人像图片进行处理，得到贷款申请人的目标衣着图片；利用训练好的衣着暴露等级分类模型对所述贷款申请人的目标衣着图片进行识别，以得到贷款申请人的衣着暴露等级识别结果。本发明专利技术提供的针对视频面审人像的衣着暴露等级识别方法，可以减少视频面审人像衣着缺失导致的偏差，增强提取衣着暴露等级的特征，提高视频面审人像的衣着暴露等级的识别精度。面审人像的衣着暴露等级的识别精度。面审人像的衣着暴露等级的识别精度。

【技术实现步骤摘要】
一种针对视频面审人像的衣着暴露等级识别方法


[0001]本专利技术涉及计算机视觉
，更具体地，涉及一种针对视频面审人像的衣着暴露等级识别方法。

技术介绍

[0002]依托大数据、人工智能、云计算等高性能计算技术和逐步完善的社会征信体系，线上贷款作为互联网与银行信贷业务的融合产物，已经成为互联网金融时代下的大势所趋。相较于传统线下贷款业务使用的风控模型，线上贷款业务的风控模型需要进一步利用线上贷款审批过程中获得的数字化信息进行构建，如何从用户线上申请贷款视频中挖掘出更多有用的风控变量成为潜在痛点。
[0003]目前在人像图片的衣着属性分类识别方面有广泛的研究，但在人像本身着装暴露程度的等级识别上关注较少，然而在线上视频面审中，综合考虑用户着装赤裸程度、整洁程度和衣着属性整体情况比单一的用户衣着属性更能反映用户信用情况。用户的衣着暴露程度可划分为赤裸、存在暴露、休闲着装、正式场合职业着装等一系列级别，相较于无序的衣着属性分类变量，衣着暴露等级是有序的级别变量，因此在构建衣着暴露等级分类模型时需要考虑其类别间距离不同的特点在通用的图像分类深度学习模型基础上进一步增强提取衣着暴露等级的特征，以优化模型分类识别精度。

技术实现思路

[0004]本专利技术的目的在于克服现有技术中存在的不足，提供了一种针对视频面审人像的衣着暴露等级识别方法，能够提高视频面审人像的衣着暴露等级的识别精度。
[0005]作为本专利技术的第一个方面，提供一种针对视频面审人像的衣着暴露等级识别方法，包括如下步骤：步骤S1：获取贷款申请人的面审视频，并从所述面审视频中提取出至少一帧人像图片；步骤S2：对每帧所述人像图片进行处理，得到贷款申请人的目标衣着图片；步骤S3：利用训练好的衣着暴露等级分类模型对所述贷款申请人的目标衣着图片进行识别，以得到贷款申请人的衣着暴露等级识别结果；所述对每帧所述人像图片进行处理，得到贷款申请人的目标衣着图片，包括：对所述人像图片分别进行脸部区域检测和衣着区域检测，以获得候选脸部框集合和候选衣着框集合，其中，所述候选脸部框集合包括当前人像图片中的多个候选脸部框，所述候选衣着框集合包括当前人像图片中的多个候选衣着框；基于“脸部—衣着”配对规则，从所述候选衣着框集合中筛选出能够与候选脸部框成功配对的目标衣着框；依据目标衣着框所配对的目标脸部框对目标衣着框进行调整，以得到所述贷款申请人的原始衣着图片；
对所述贷款申请人的原始衣着图片进行矫正，得到矫正后的完整衣着图片，并将所述矫正后的完整衣着图片作为所述贷款申请人的目标衣着图片；所述基于“脸部—衣着”配对规则，从所述候选衣着框集合中筛选出能够与候选脸部框成功配对的目标衣着框，还包括：针对所述候选衣着框集合中的每一个候选衣着框，在未被配对的候选脸部框中筛选出至少1/2的高度位于该候选衣着框上方且宽度超过该候选衣着框1/3的初始脸部框；从所述初始脸部框中筛选出脸部框中心点与该候选衣着框上边界中点之间距离最短的脸部框，将该距离最短的脸部框作为与该候选衣着框成功配对的目标脸部框，其中，当前人像图片中包括至少一组能够成功配对的目标脸部框和目标衣着框；将所述候选衣着框集合中未成功配对的候选衣着框剔除；从所述当前人像图片中的多个配对成功的目标脸部框中筛选出最大脸部框，并将最大脸部框所配对的目标衣着框作为贷款申请人的目标衣着框；所述对所述贷款申请人的原始衣着图片进行矫正，得到矫正后的完整衣着图片，并将所述矫正后的完整衣着图片作为所述贷款申请人的目标衣着图片，还包括：依据原始衣着图片的宽高比R进行矫正，R=w/h，w为原始衣着图片的宽度，h为原始衣着图片的高度，若标准宽高比为，则有以下四种情况：若 R∈[0,0.5), 将原始衣着图片从底部向上裁剪至宽高比为0.5；若 R∈[0.5, ), 原始衣着图片不矫正；若 R∈[, 2), 将原始衣着图片底部增加黑色区域增长至宽高比为；若 R∈[2, +∞), 剔除原始衣着图片。
[0006]所述利用训练好的衣着暴露等级分类模型对所述贷款申请人的目标衣着图片进行识别，以得到贷款申请人的衣着暴露等级识别结果，还包括：所述训练好的衣着暴露等级分类模型包括骨架网络、颈部网络和头部网络，所述颈部网络包括全局特征增强模块，所述头部网络包括特征向量分类模块和特征向量回归模块；将所述贷款申请人的多帧目标衣着图片经过所述骨架网络得到7
×7×
1280的特征向量；在所述全局特征增强模块中，将所述7
×7×
1280的特征向量重新排列为49
×
1280的矩阵，在矩阵块展平的维度上增加一个表征类别信息的维度以得到一个50
×
1280特征向量，使用Transformer编码器进一步增强特征，最后抽取表征类别信息维度的1
×
1280的特征向量；特征向量分类模块负责将抽取到的1
×
1280的特征向量映射为N维特征向量并经过Softmax激活函数，得到输入的目标衣着图片被预测为N个类中每一类的置信度，其中，N为贷款申请人的衣着暴露等级的类别总数；特征向量回归模块负责将抽取到的1
×
1280特征向量映射为1维数值，得到输入的目标衣着图片的衣着暴露等级的级别具体值；根据“分类—回归”度量空间对所述目标衣着图片的衣着暴露等级类别置信度和衣着暴露等级级别具体值进行融合分析，以得到贷款申请人的衣着暴露等级识别结果。
[0007]进一步地，所述依据目标衣着框所配对的目标脸部框对目标衣着框进行调整，以
得到所述贷款申请人的原始衣着图片，还包括：若所述贷款申请人的目标衣着框与其配对的最大脸部框有重合，则将该目标衣着框的上边界调整为其配对的最大脸部框的下边界，以得到所述贷款申请人的原始衣着图片。
[0008]进一步地，所述利用训练好的衣着暴露等级分类模型对所述贷款申请人的目标衣着图片进行识别之前，还包括：基于MobileNetV2网络和Transformer编码器构建衣着暴露等级分类模型；将贷款申请人的样本衣着图片依据所述衣着暴露等级分类模型进行类别标注，以得到用于训练所述衣着暴露等级分类模型的训练数据集；根据所述训练数据集对所述衣着暴露等级分类模型进行训练，以生成所述训练好的衣着暴露等级分类模型。
[0009]进一步地，所述将所述贷款申请人的多帧目标衣着图片经过所述骨架网络得到7
×7×
1280的特征向量，还包括：所述骨架网络包括MobileNetV2模块；对所述贷款申请人的多帧目标衣着图片进行缩放操作，得到缩放后的目标衣着图片，并将所述缩放后的目标衣着图片进行归一化操作，以得到归一化后的目标衣着图片；将所述归一化后的目标衣着图片经过所述MobileNetV2模块卷积得到7
×7×
1280的特征向量，该7
×7×
1280的特征向量表示7
×
7图像块展平的结果，其中，每个图像块的维度为1280。
[0010]进一步地，所述根据“分类—回归”度量空间对所述目标衣着图片的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对视频面审人像的衣着暴露等级识别方法，其特征在于，包括如下步骤：步骤S1：获取贷款申请人的面审视频，并从所述面审视频中提取出至少一帧人像图片；步骤S2：对每帧所述人像图片进行处理，得到贷款申请人的目标衣着图片；步骤S3：利用训练好的衣着暴露等级分类模型对所述贷款申请人的目标衣着图片进行识别，以得到贷款申请人的衣着暴露等级识别结果；所述对每帧所述人像图片进行处理，得到贷款申请人的目标衣着图片，包括：对所述人像图片分别进行脸部区域检测和衣着区域检测，以获得候选脸部框集合和候选衣着框集合，其中，所述候选脸部框集合包括当前人像图片中的多个候选脸部框，所述候选衣着框集合包括当前人像图片中的多个候选衣着框；基于“脸部—衣着”配对规则，从所述候选衣着框集合中筛选出能够与候选脸部框成功配对的目标衣着框；依据目标衣着框所配对的目标脸部框对目标衣着框进行调整，以得到所述贷款申请人的原始衣着图片；对所述贷款申请人的原始衣着图片进行矫正，得到矫正后的完整衣着图片，并将所述矫正后的完整衣着图片作为所述贷款申请人的目标衣着图片；所述基于“脸部—衣着”配对规则，从所述候选衣着框集合中筛选出能够与候选脸部框成功配对的目标衣着框，还包括：针对所述候选衣着框集合中的每一个候选衣着框，在未被配对的候选脸部框中筛选出至少1/2的高度位于该候选衣着框上方且宽度超过该候选衣着框1/3的初始脸部框；从所述初始脸部框中筛选出脸部框中心点与该候选衣着框上边界中点之间距离最短的脸部框，将该距离最短的脸部框作为与该候选衣着框成功配对的目标脸部框，其中，当前人像图片中包括至少一组能够成功配对的目标脸部框和目标衣着框；将所述候选衣着框集合中未成功配对的候选衣着框剔除；从所述当前人像图片中的多个配对成功的目标脸部框中筛选出最大脸部框，并将最大脸部框所配对的目标衣着框作为贷款申请人的目标衣着框；所述对所述贷款申请人的原始衣着图片进行矫正，得到矫正后的完整衣着图片，并将所述矫正后的完整衣着图片作为所述贷款申请人的目标衣着图片，还包括：依据原始衣着图片的宽高比R进行矫正，R=w/h，w为原始衣着图片的宽度，h为原始衣着图片的高度，若标准宽高比为，则有以下四种情况：若 R∈[0,0.5), 将原始衣着图片从底部向上裁剪至宽高比为0.5；若 R∈[0.5, ), 原始衣着图片不矫正；若 R∈[, 2), 将原始衣着图片底部增加黑色区域增长至宽高比为；若 R∈[2, +∞), 剔除原始衣着图片；所述利用训练好的衣着暴露等级分类模型对所述贷款申请人的目标衣着图片进行识别，以得到贷款申请人的衣着暴露等级识别结果，还包括：所述训练好的衣着暴露等级分类模型包括骨架网络、颈部网络和头部网络，所述颈部网络包括全局特征增强模块，所述头部网络包括特征向量分类模块和特征向量回归模块；将所述贷款申请人的多帧目标衣着图片经过所述骨架网络得到7
×7×
1280的特征向
量；在所述全局特征增强模块中，将所述7
×7×
1280的特征向量重新排列为49
×
1280的矩阵，在矩阵块展平的维度上增加一个表征类别信息的维度以得到一个50
×
1280特征向量，使用Transformer编码器进一步增强特征，最后抽取表征类别信息维度的1
×
1280的特征向量；特征向量分类模块负责将抽取到的1
×
1280的特征向量映射为N维特征向量并经过Softmax激活函数，得到输入的目标衣着图片被预测为N个类中每一类的置信度，其中，N为贷款申请人的衣着暴露等级的类别总数；特征向量回归模块负责将抽取到的1
×
1280特征向量映射为1维数值，得到输入的目标衣着图片的衣着暴露等级的级别具体值；根据“分类—回归”度量空间对所述目标衣着图片的衣着暴露等级类别置信度和衣着暴露等级级别具体值进行融合分析，以得到贷款申请人的衣着暴露等级识别结果。2.根据权利要求1所述的一种针对视频面审人像的衣着暴露等级识别方法，其特征在于，所述依据目标衣着框所配对的目标脸部框对目标衣着框进行调整，以得到所述贷款申请人的原始衣着图片，还包括：若所述贷款申请人的目标衣着框与其配对的最大脸部框有重合，则将该目标衣着框的上边界调整为其配对的最大脸部框的下边界，以得到所述贷款申请人的原始衣着图片。3.根据权利要求1所述的一种针对视频面审人像的衣着暴露等级识别方法，其特征在于，所述利用训练好的衣着暴露等级分类模型对所述贷款申请人的目标衣着图片进行识别之前，还包括：基于MobileNetV2网络和Transformer编码器构建衣着暴露等级分类模型；将贷款申请人的样本衣着图片依据所述衣着暴露等级分类模型进行类别标注，以得...

【专利技术属性】
技术研发人员：于天星，杨赛，曹攀，顾全林，
申请(专利权)人：权利要求书四页说明书一零页附图二页，
类型：发明
国别省市：