图像差异描述方法、系统、存储介质及电子设备技术方案

本发明专利技术提供一种图像差异描述方法、系统、存储介质及电子设备，所述方法包括以下步骤：获取待比对的第一图像数据集和第二图像数据集；获取所述第一图像数据集和所述第二图像数据集中每个图像的描述信息；基于所述描述信息生成提示文本；将所述提示文本输入大语言模型，获取差异描述；提取所述第二图像数据集中所有图像的图像特征；提取所述差异描述的文本特征；计算所述图像特征和所述文本特征的两两相似度；基于所述两两相似度在所述差异描述中查找出所述第一图像数据集和所述第二图像数据集的最佳差异描述。本发明专利技术的图像差异描述方法、系统、存储介质及电子设备能够基于大语言模型实现两个图像数据集合的差异描述，准确度高，处理速度快。

【技术实现步骤摘要】

本专利技术属于深度学习的，特别是涉及一种图像差异描述方法、系统、存储介质及电子设备。

技术介绍

1、在实际使用场景中，经常需要比对两个图像之间是否存在差异。例如，通过比较两个车辆底盘图像来判断是否存在异物。

2、现有技术中，图像对比算法包括直方图比较法、相似度判断法等。然而，这些算法存在计算量较大、处理时间长、信息丢失量较大、对色彩差异不能准确判断等问题。

技术实现思路

1、鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种图像差异描述方法、系统、存储介质及电子设备，能够基于大语言模型实现两个图像数据集合的差异描述，准确度高，处理速度快。

2、第一方面，本专利技术提供一种图像差异描述方法，所述方法包括以下步骤：获取待比对的第一图像数据集和第二图像数据集；获取所述第一图像数据集和所述第二图像数据集中每个图像的描述信息；基于所述描述信息生成提示文本，所述提示文本用于指示根据所述描述信息列举所述第一图像数据集和所述第二图像数据集的预设数量个差异描述；将所述提示文本输入大语言模型，获取所本文档来自技高网...

【技术保护点】

1.一种图像差异描述方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的图像差异描述方法，其特征在于：基于CLIP模型的图像编码器提取所述第二图像数据集中所有图像的图像特征；基于所述CLIP模型的文本编码器提取所述差异描述的文本特征。

3.一种图像差异描述系统，其特征在于，所述系统包括第一获取模块、第二获取模块、生成模块、处理模块、第一提取模块、第二提取模块、计算模块和查找模块；

4.根据权利要求3所述的图像差异描述系统，其特征在于：基于CLIP模型的图像编码器提取所述第二图像数据集中所有图像的图像特征；基于所述CLIP模型的文本编码器提...

【技术特征摘要】

1.一种图像差异描述方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的图像差异描述方法，其特征在于：基于clip模型的图像编码器提取所述第二图像数据集中所有图像的图像特征；基于所述clip模型的文本编码器提取所述差异描述的文本特征。

3.一种图像差异描述系统，其特征在于，所述系统包括第一获取模块、第二获取模块、生成模块、处理模块、第一提取模块、第二提取模块、计算模块和查找模块；

【专利技术属性】
技术研发人员：刘益东，孔欧，
申请(专利权)人：上海蜜度科技股份有限公司，
类型：发明
国别省市：