多模态人脸防伪模型训练方法、系统及人脸防伪检测方法技术方案

技术编号:43538392 阅读:22 留言:0更新日期:2024-12-03 12:20
本发明专利技术提供多模态人脸防伪模型训练方法、系统及人脸防伪检测方法,包括:获取多模态人脸图像训练集;对每个人脸图像样本随机丢弃模态模拟模态缺失的场景,根据训练困难程度,确定对不同缺失模态场景的丢弃策略以及进行批次级别和样本级别的随机模态丢弃;基于多模态人脸图像的模态缺失场景和批次级别和样本级别的随机丢弃,确定正负样本;构建多模态人脸防伪模型,采用缺失模态场景下的多模态人脸图像以及正负样本作为输入,得到人脸防伪结果,利用正负样本进行对比训练,确定多模态人脸防伪网络模型。本发明专利技术能够针对自然光、红外和深度相机等设备采集的不同模态或模态组合的图像,适应不同伪造人脸方式,具备低成本、高精度、高鲁棒性的特点。

【技术实现步骤摘要】

本专利技术涉及计算机视觉,具体地,涉及一种多模态人脸防伪模型训练方法、系统及人脸防伪检测方法


技术介绍

1、随着人工智能的迅猛发展,计算机视觉技术日益普及,并广泛应用于人们的日常生活与生产活动中。其中,人脸识别技术作为一种成熟的生物识别方法,已被广泛应用于各种智能交互场景,如智能手机解锁、门禁系统以及金融支付等。然而,目前的人脸识别系统面临着许多安全风险,尤其容易遭受伪装攻击,不法分子可能通过使用打印照片、视频回放或3d打印面具等手段来欺骗系统。为此,人脸防伪技术旨在鉴别真伪人脸。这项技术在早期阶段主要依赖于手工设计的特征提取算法,用于分析人脸的纹理、面部运动、三维结构以及图像质量等信息,以此来判断人脸是否为真实。但这些传统方法往往基于固定的先验知识,其鲁棒性不足,难以适应真实世界中复杂多变的应用环境。

2、随着深度学习的兴起,提出采用特征提取能力更强的卷积神经网络来进行端到端地学习人脸防伪任务,通过将真伪问题建模为有监督的二分类问题,采用标签训练神经网络以提取特征。人们还进一步利用自然光图像、红外图像和深度图像等多个模态进行跨模态的信息交互本文档来自技高网...

【技术保护点】

1.一种多模态人脸防伪模型的训练方法,其特征在于,包括:

2.根据权利要求1所述的多模态人脸防伪模型的训练方法,其特征在于,所述对所述每个人脸图像样本采用随机丢弃模态的方式模拟模态缺失场景,根据不同模态缺失场景的训练困难程度,确定对不同缺失模态场景的丢弃策略,包括:

3.根据权利要求2所述的多模态人脸防伪模型的训练方法,其特征在于,所述根据所述丢弃策略进行批次级别和样本级别的随机模态丢弃,包括:

4.根据权利要求1所述的多模态人脸防伪模型的训练方法,其特征在于,根据当前多模态人脸图像的模态缺失场景和所述批次级别、所述样本级别的随机丢弃,确定正负样本,包...

【技术特征摘要】

1.一种多模态人脸防伪模型的训练方法,其特征在于,包括:

2.根据权利要求1所述的多模态人脸防伪模型的训练方法,其特征在于,所述对所述每个人脸图像样本采用随机丢弃模态的方式模拟模态缺失场景,根据不同模态缺失场景的训练困难程度,确定对不同缺失模态场景的丢弃策略,包括:

3.根据权利要求2所述的多模态人脸防伪模型的训练方法,其特征在于,所述根据所述丢弃策略进行批次级别和样本级别的随机模态丢弃,包括:

4.根据权利要求1所述的多模态人脸防伪模型的训练方法,其特征在于,根据当前多模态人脸图像的模态缺失场景和所述批次级别、所述样本级别的随机丢弃,确定正负样本,包括:

5.根据权利要求1所述的多模态人脸防伪模型的训练方法,其特征在于,所述多模态人脸防伪模型利用多模态transformer网络块作为主体骨架,增...

【专利技术属性】
技术研发人员:戴文睿郑光浩郑紫阳李成林邹君妮熊红凯
申请(专利权)人:上海交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1