基于多模态大模型的车牌脱敏方法、装置、设备、芯片以及存储介质制造方法及图纸

本发明专利技术实施例公开了一种基于多模态大模型的车牌脱敏方法、装置、设备、芯片以及计算机介质，方法包括获取待脱敏图像以及任务提示指令，任务提示指令包括目标描述文本和输出要求文本，目标描述文本包括第一任务的描述文本，第一任务用于从待脱敏图像中提取车牌数据，输出要求文本包括输出提取的车牌数据的要求；将任务指示指令和待脱敏图像输入预先训练的多模态大模型，以使多模态大模型通过执行任务提示指令，得到模型输出结果，模型输出结果包括从待脱敏图像中提取得到车牌数据；多模态大模型通过对多模态大语言模型进行车牌数据提取训练得到；基于车牌数据，对车牌进行脱敏操作。本发明专利技术实施例提供的车牌脱敏方法能够减少误检和漏检。

【技术实现步骤摘要】

本申请涉及人工智能领域，具体涉及基于多模态大模型的车牌脱敏方法、装置、设备、芯片以及存储介质。

技术介绍

1、车辆的哨兵模式时需要使用车外环视摄像头对车外场景录像，图像或视频传出车外时需要对图像中的敏感信息进行脱敏，如需要遮挡其他车辆车牌，因此，需要对图像或视频中的车牌进行识，目前车牌识别的方法一般包括支持向量机、目标检测、和图像分割。

2、由于待脱敏图像或视频使用环视摄像头拍摄，画面存在畸变，使用检测模型无法很好的应对图像中车牌的畸变，存在很多误检和漏检。使用图像分割模型可以较好的应对畸变图像，但由于需要针对图像中所有像素进行分类，容易产生误检。而在使用传统视觉算法做检测时，会存在很多相同的照片，他们的车牌位置没有发生过变化，但被重复检测。

技术实现思路

1、为了解决上述技术问题，本专利技术实施例提供一种基于多模态大模型的车牌脱敏方法、装置、设备、芯片以及存储介质，以减少对车牌脱敏过程中的漏检和误检。

2、根据本申请实施例的第一方面，提供了一种基于多模态大模型的车牌脱敏方法，方法包括本文档来自技高网...

【技术保护点】

1.一种基于多模态大模型的车牌脱敏方法，其特征在于，包括：

2.根据权利要求1所述的基于多模态大模型的车牌脱敏方法，其特征在于，所述目标描述文本还包括第二任务的描述文本，所述第二任务用于从所述待脱敏图像中识别车辆并确定车辆类型，所述输出要求文本还包括输出车辆类型以及所述车辆在所述待脱敏图像中的位置信息的要求；

3.根据权利要求1所述的基于多模态大模型的车牌脱敏方法，其特征在于，所述目标描述文本还包括第三任务的描述文本，所述第三任务用于从所述待脱敏图像中识别车辆的数量并确定车辆的真实性，所述输出要求文本还包括输出车辆序号以及车辆真实性判断结果的要求；

4...

【技术特征摘要】

1.一种基于多模态大模型的车牌脱敏方法，其特征在于，包括：

2.根据权利要求1所述的基于多模态大模型的车牌脱敏方法，其特征在于，所述目标描述文本还包括第二任务的描述文本，所述第二任务用于从所述待脱敏图像中识别车辆并确定车辆类型，所述输出要求文本还包括输出车辆类型以及所述车辆在所述待脱敏图像中的位置信息的要求；

3.根据权利要求1所述的基于多模态大模型的车牌脱敏方法，其特征在于，所述目标描述文本还包括第三任务的描述文本，所述第三任务用于从所述待脱敏图像中识别车辆的数量并确定车辆的真实性，所述输出要求文本还包括输出车辆序号以及车辆真实性判断结果的要求；

4.根据权利要求1所述的基于多模态大模型的车牌脱敏方法，其特征在于，所述目标描述文本还包括第四任务的描述文本，所述第四任务用于从所述待脱敏图像中识别车牌位置，所述输出要求文本还包括输出车牌位置信息的要求，

5.根据权利要求4所述的基于多模态大模型的车牌脱敏方法，其特征在于，所述目标描述文本还包括第五任务的描述文本，所述第五任务用于从所述待脱敏图像中确定车牌的真实性，所述输出要求文本还包括输出车牌真实性判断结果的要求；

6.根据权利要求1所述的基于...

【专利技术属性】
技术研发人员：于承扬，徐刚，郑良立，李阳，韦邕，赵晨旭，张剑，
申请(专利权)人：浙江吉利控股集团有限公司，
类型：发明
国别省市：