基于多模态大模型的人脸脱敏方法、装置、设备、芯片以及存储介质制造方法及图纸

技术编号:42869575 阅读:30 留言:0更新日期:2024-09-27 17:30
本发明专利技术实施例提供一种基于多模态大模型的人脸脱敏方法、装置、设备、芯片以及存储介质,方法包括:获取待脱敏图像以及任务提示指令,任务提示指令包括目标描述文本和输出要求文本,目标描述文本包括第一任务的描述文本,第一任务用于从待脱敏图像中提取人脸数据,输出要求文本包括输出提取的人脸数据的要求;将任务指示指令和待脱敏图像输入预先训练的多模态大模型,以使多模态大模型通过执行任务提示指令,得到模型输出结果;多模态大模型通过对多模态大语言模型进行人脸数据提取训练得到;基于人脸数据,对人脸进行脱敏操作。本发明专利技术实施例提供的人脸脱敏方法,可对复杂现实环境中的困难人脸样本进行处理,提高识别准确率。

【技术实现步骤摘要】

本申请涉及人工智能领域,具体涉及基于多模态大模型的人脸脱敏方法、装置、设备、芯片以及存储介质


技术介绍

1、车辆的哨兵模式时需要使用车外环视摄像头对车外场景录像,图像或视频传出车外时需要对图像中的敏感信息进行脱敏。人脸信息是国家法律法规规定的重要敏感数据,需要对传出车外时需要对图像中的人脸敏感信息进行定位和脱敏。目前人脸识别的方法包括特征提取、机器学习以及深度学习的定位方法等。

2、由于人工设计的特征提取方法依赖于专家对于具体场景的分析,在无约束环境中对不同变化的人脸特征很难直接处理;基于机器学习技术的方法利用浅层特征,不能从图像中获得深度特征,难以从大量数据中获取有用的特征,导致性能不足;基于深度学习的定位方法往往基于人脸检测模型,对人体姿势、光照、遮挡、镜头畸变等因素较为敏感,在复杂的现实环境中容易发生漏检和误检。


技术实现思路

1、为了解决上述技术问题,本专利技术实施例提供一种基于多模态大模型的人脸脱敏方法、装置、设备、芯片以及存储介质,以减少对人脸脱敏过程中的漏检和误检。

2本文档来自技高网...

【技术保护点】

1.一种基于多模态大模型的人脸脱敏方法,其特征在于,包括:

2.根据权利要求1所述的基于多模态大模型的人脸脱敏方法,其特征在于,所述目标描述文本还包括第二任务的描述文本,所述第二任务用于从所述待脱敏图像中识别目标物并确定所述目标物的类型,所述输出要求文本还包括输出目标物的类型以及所述目标物在所述待脱敏图像中的位置区域的要求;

3.根据权利要求2所述的基于多模态大模型的人脸脱敏方法,其特征在于,所述目标物包括行人和车辆;

4.根据权利要求3所述的基于多模态大模型的人脸脱敏方法,其特征在于,所述目标描述文本还包括第五任务的描述文本,所述第五任务用于从所述行...

【技术特征摘要】

1.一种基于多模态大模型的人脸脱敏方法,其特征在于,包括:

2.根据权利要求1所述的基于多模态大模型的人脸脱敏方法,其特征在于,所述目标描述文本还包括第二任务的描述文本,所述第二任务用于从所述待脱敏图像中识别目标物并确定所述目标物的类型,所述输出要求文本还包括输出目标物的类型以及所述目标物在所述待脱敏图像中的位置区域的要求;

3.根据权利要求2所述的基于多模态大模型的人脸脱敏方法,其特征在于,所述目标物包括行人和车辆;

4.根据权利要求3所述的基于多模态大模型的人脸脱敏方法,其特征在于,所述目标描述文本还包括第五任务的描述文本,所述第五任务用于从所述行人在所述待脱敏图像中的位置信息或所述人脸在所述待脱敏图像中的位置信息中确定人脸中心点;所述输出要求文本还包括所述人脸中心点在所述待脱敏图像中的位置信息的要求;

5.根据权利要求3所述的基于多模态大模型的人脸脱敏方法,其特征在于,所述目标描述文本还包括第六任务的描述文本,所述第六任务用于从所述行人在所述待脱敏图像中的位置信息或所述人脸在所述待脱敏图像中的位置信息中确定人脸外接矩形;所述输出要求文本还包括所述人脸外接矩形位置信息和置信度信息的要求;

6.根据权利要求3所述的基于多模态...

【专利技术属性】
技术研发人员:郑良立徐刚于承扬李阳韦邕赵晨旭张剑
申请(专利权)人:浙江吉利控股集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1