【技术实现步骤摘要】
多模态人脸防伪检测方法、装置、计算机设备及存储介质
[0001]本专利技术涉及人脸检测
，尤其涉及一种多模态人脸防伪检测方法、装置、计算机设备及存储介质。
技术介绍
[0002]目前有些工作需要工作人员在对应考勤地点进行考勤打卡，并上传人员到场打卡的图片做考勤依据。为了完成打卡，有些工作人员用手机图片或者人像图片让他人代替其到对应的考勤地点进行打卡，从而伪造打卡记录，打卡的真实性难以确定，考勤记录人员需要对上传的打卡图片进行识别和判断，以确认真实的人脸图片和虚假的人脸图片。
技术实现思路
[0003]本专利技术实施例提供了一种多模态人脸防伪检测方法、装置、计算机设备及存储介质，旨在解决现有技术中难以对打卡图片进行真实性判别的技术问题。
[0004]第一方面，本专利技术实施例提供了一种多模态人脸防伪检测方法，其包括：
[0005]获取打卡图片，对所述打卡图片进行预处理，得到第一样本集和第二样本集，并按比例分别将所述第一样本集和第二样本集划分为训练集和验证集，得到第一训练集和第一验证集、第二...
【技术保护点】
【技术特征摘要】 【专利技术属性】
1.一种多模态人脸防伪检测方法，其特征在于，包括：获取打卡图片，对所述打卡图片进行预处理，得到第一样本集和第二样本集，并按比例分别将所述第一样本集和第二样本集划分为训练集和验证集，得到第一训练集和第一验证集、第二训练集和第二验证集；将所述第一训练集输入改进的YOLOv7模型进行训练，得到第一权重模型并利用所述第一验证集中的数据对所述第一权重模型进行验证，所述改进的YOLOv7模型包括在原始YOLOv7模型中主干网络中增加外部注意力模块，以及在原始YOLOv7模型头部网络的REP模块中增加频谱模块的分支；将所述第二训练集输入原始YOLOv7模型进行训练，得到第二权重模型并利用所述第二验证集中的数据对所述第二权重模型进行验证；将待检测图片输入所述第一权重模型进行推理，判断待检测图片中的人脸是否为假脸，若是，则将所述待检测图片输入所述第二权重模型进行推理，以所述第二权重模型的推理结果为最终检测结果。2.根据权利要求1所述的多模态人脸防伪检测方法，其特征在于，所述对所述打卡图片进行预处理，得到第一样本集和第二样本集，包括：根据打卡图片中的人脸面积所占比例对所述打卡图片进行分组，以人脸面积大于或等于预设比例的打卡图片为第一样本集，以人脸面积小于预设比例的打卡图片为第二样本集；对所述第一样本集和第二样本集的打卡图片中的人脸进行标注，得到相应的标签信息，所述标签信息包括标签框的中心点坐标、长度、宽度和标签类别。3.根据权利要求1所述的多模态人脸防伪检测方法，其特征在于，所述将所述第一训练集输入改进的YOLOv7模型进行训练，包括：通过所述改进的YOLOv7模型的主干网络对所述第一训练集中的打卡图片进行特征提取，并利用所述外部注意力模块对特征提取过程进行语义表示增强处理；通过所述改进的YOLOv7模型的头部网络对所述主干网络提取的特征进行预测，并利用所述频谱模块对预测的结果进行频谱分析。4.根据权利要求3所述的多模态人脸防伪检测方法，其特征在于，所述利用所述频谱模块对预测的结果进行频谱分析，包括：基于傅立叶变换，将预测的结果转化为频谱图；对所述频谱图进行归一化处理，将归一化处理的结果作为训练时的一个标签信息。5.根据权利要求1所述的多模态人脸防伪检测方法，其特征在于，所述将所述第一训练集输入改进的YOLOv7模型进行训练，还包括：根据预置的损失函数计算所述改进的YOLOv7模型输出的第一预测结果和对应标签的预测损失，并基于所述预测损失对所述改进的YOLOv7模型进行模型参数迭代，其中，所述预测损失包括定位损失、分类损失、置信度损失和傅里叶损失。6.根据权利要求5所述的多模态人脸防伪检测方法，其特征在于，计算预测损失的过程，包括：按以下公式计算所述预测损失L：
式中，L
box
表示定位损失，L
obj
表示分类损失，L
cls
表示置信度损失，L
技术研发人员：苏红梅，袁戟，韦程琳，周长源，付森，
申请(专利权)人：深圳市万物云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。