图像检索方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:30828076 阅读:16 留言:0更新日期:2021-11-18 12:32
本发明专利技术涉及人工智能技术领域,公开了一种图像检索方法、装置、计算机设备和存储介质。该方法基于ResNet50卷积神经网络提取所述训练图片集的对象特征向量与属性信息;搭建并训练Faiss模型,优化所述Faiss模型,将所述对象特征向量与属性信息输入所述Faiss模型,计算相似度并筛选出最相似的1至10张图片并输出。上述方法通过模型在图片库中找出匹配的无头件图片,得到对应的物品名称和编号等,核实之后到问题件仓库查找该物品,重新打包送至收件人,准确率高、速度快,减少了大量的人力成本。减少了大量的人力成本。减少了大量的人力成本。

【技术实现步骤摘要】
图像检索方法、装置、计算机设备和存储介质


[0001]本专利技术涉及人工智能
,尤其涉及计算机视觉和深度学习领域的图像检索方法、装置、计算机设备和存储介质。

技术介绍

[0002]由于电商蓬勃发展,大家越来越习惯于网络购物或者邮寄商品,这就离不开快递业务。部分快递件在运输途中,可能出现贴到快递件上的快递运单磨损、脱落等情况,导致快递单号看不清,中转站或者派件公司将无法派送没有收件人信息的快递件。这时操作人员会实时拍照保存在无头件图片库,记录物品的详细信息,当有人认领的时候,再去相应的库中搜索。随着无头件的数据量越来越大,现有人工搜索效率不高且容易出错。

技术实现思路

[0003]有鉴于此,有必要针对现有人工搜索效率不高且容易出错的技术问题,提供一种图像检索方法、装置、计算机设备和存储介质。
[0004]一种图像检索方法,包括:通过扫描快递单获取图片,将所述图片收集形成图片库,将所述图片库中的图片分为训练图片集和测试图片集;基于ResNet50卷积神经网络提取所述训练图片集的对象特征向量与属性信息;搭建并训练Faiss模型,优化所述Faiss模型,将所述对象特征向量与属性信息输入所述Faiss模型,计算相似度并筛选出最相似的1至10张图片并输出;利用所述测试图片集检验训练的所述Faiss模型效果,若效果达到预定需求,则停止模型训练,得到度量模型;获取客户发送的一张图片,输入所述图片,应用所述度量模型进行检索,输出所述图片库中与所述检索图片最相似的1至10张图片,匹配得到对应的物品名称和编号
[0005]在其中一个实施例中,所述搭建并训练Faiss模型,优化所述Faiss模型,将所述对象特征向量与属性信息输入所述Faiss模型,计算相似度并筛选出最相似的1至10张图片并输出包括:获取所述对象特征向量与属性信息;将所述对象特征向量与属性信息压缩、编码、生成子聚类中心;计算所述子聚类中心的距离并将训练图片按批、当前查询样本的每个子空间、查询样本的顺序进行遍历;判断所有子空间是否遍历完,若遍历完,则生成查询索引,若未遍历完,则继续遍历;将所述查询索引与索引库中的本地索引集逐一遍历比对;判断所述本地索引集是否遍历完,若遍历完,则计算最近距离,输出1至10个最近距离的索引库中的索引,若未遍历完,则继续遍历。
[0006]在其中一个实施例中,所述搭建并训练Faiss模型,优化所述Faiss模型,将所述对象特征向量与属性信息输入所述Faiss模型,计算相似度并筛选出最相似的1至10张图片并输出包括:获取所述对象特征向量与属性信息;标记所述对象特征向量与属性信息,对所述对象特征向量压缩、编码、利用聚类算法生成样本类中心;根据查询特征,匹配对应的样本类中心,计算残差特征;根据所述残差特征,计算子聚类中心距离;根据所述子聚类中心距离,判断素有子空间是否遍历完,若遍历完,则生成查询残差索引,若未遍历完,则继续遍
历;将所述查询残差索引与同类别的训练残差索引集逐一遍历比对;判断所述同类别的训练残差索引集是否遍历完,若遍历完,则计算最近距离,输出1至10个最近距离的索引库中的索引,若未遍历完,则继续遍历。
[0007]在其中一个实施例中,所述基于ResNet50卷积神经网络提取所述训练图片集的对象特征向量与属性信息还包括:对获取的图片进行预处理,筛选和提取出有效的数据样本;对图片样本不平衡进行数据增强操作;对ResNet50卷积神经网络进行调整,提取预训练所述ResNet50卷积神经网络的权重参数作为初始值进行迁移学习。
[0008]在其中一个实施例中,所述对ResNet50卷积神经网络进行调整包括:设置第一层卷积层中卷积核大小为7
×
7,stride为4,通道数为64,激活函数为Relu;设置Max pool层中核大小为3
×
3,stride为2;在残差模块stride=2的1
×
1的卷积核做下采样前加入一层2
×
2的平均池化层整合空间信息。
[0009]在其中一个实施例中,所述对ResNet50卷积神经网络进行调整包括:在组块1的第1个bottleneck残差结构的输出添加64维的1
×
1卷积层跨越连接至组块4的第1个bottleneck残差结构;在组块1的第2个bottleneck残差结构的输出添加128维的1
×
1卷积层跨越连接至组块4的第2个bottleneck残差结构。
[0010]一种图像检索装置,包括:获取模块,用于通过扫描快递单获取图片,将所述图片收集形成图片库,将所述图片库中的图片分为训练图片集和测试图片集;提取模块,用于基于ResNet50卷积神经网络提取所述训练图片集的对象特征向量与属性信息;搭建并训练Faiss模型,优化所述Faiss模型,将所述对象特征向量与属性信息输入所述Faiss模型,计算相似度并筛选出最相似的1至10张图片并输出;检验模块,用于利用所述测试图片集检验训练的所述Faiss模型效果,若效果达到预定需求,则停止模型训练,得到度量模型;匹配模块,用于获取客户发送的一张图片,输入所述图片,应用所述度量模型进行检索,输出所述图片库中与所述检索图片最相似的1至10张图片,匹配得到对应的物品名称和编号。
[0011]在其中一个实施例中,所述搭建模块,包括:获取子模块,用于获取所述对象特征向量与属性信息;生成子模块,用于将所述对象特征向量与属性信息压缩、编码、生成子聚类中心;遍历子模块,用于计算所述子聚类中心的距离并将训练图片按批、当前查询样本的每个子空间、查询样本的顺序进行遍历;判断子模块,用于判断所有子空间是否遍历完,若遍历完,则生成查询索引,若未遍历完,则继续遍历;比对子模块,用于将所述查询索引与索引库中的本地索引集逐一遍历比对;输出子模块,用于判断所述本地索引集是否遍历完,若遍历完,则计算最近距离,输出1至10个最近距离的索引库中的索引,若未遍历完,则继续遍历。
[0012]一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行上述图像检索方法的步骤。
[0013]一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述图像检索方法的步骤。
[0014]上述图像检索方法、装置、计算机设备和存储介质,通过扫描快递单获取图片,将所述图片收集形成图片库,将所述图片库中的图片分为训练图片集和测试图片集;基于ResNet50卷积神经网络提取所述训练图片集的对象特征向量与属性信息;搭建并训练Faiss模型,优化所述Faiss模型,将所述对象特征向量与属性信息输入所述Faiss模型,计
算相似度并筛选出最相似的1至10张图片并输出;利用所述测试图片集检验训练的所述Faiss模型效果,若效果达到预定需求,则停止模型训练,得到度量模型;获取客户发送的一张图片,输入所述图片,应用所述度量模型进行检索,输出所述本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种图像检索方法,其特征在于,所述图像检索方法包括:通过扫描快递单获取图片,将所述图片收集形成图片库,将所述图片库中的图片分为训练图片集和测试图片集;基于ResNet50卷积神经网络提取所述训练图片集的对象特征向量与属性信息;搭建并训练Faiss模型,优化所述Faiss模型,将所述对象特征向量与属性信息输入所述Faiss模型,计算相似度并筛选出最相似的1至10张图片并输出;利用所述测试图片集检验训练的所述Faiss模型效果,若效果达到预定需求,则停止模型训练,得到度量模型;获取客户发送的一张图片,输入所述图片,应用所述度量模型进行检索,输出所述图片库中与所述检索图片最相似的1至10张图片,匹配得到对应的物品名称和编号。2.根据权利要求1所述的图像检索方法,其特征在于,所述搭建并训练Faiss模型,优化所述Faiss模型,将所述对象特征向量与属性信息输入所述Faiss模型,计算相似度并筛选出最相似的1至10张图片并输出包括:获取所述对象特征向量与属性信息;将所述对象特征向量与属性信息压缩、编码、生成子聚类中心;计算所述子聚类中心的距离并将训练图片按批、当前查询样本的每个子空间、查询样本的顺序进行遍历;判断所有子空间是否遍历完,若遍历完,则生成查询索引,若未遍历完,则继续遍历;将所述查询索引与索引库中的本地索引集逐一遍历比对;判断所述本地索引集是否遍历完,若遍历完,则计算最近距离,输出1至10个最近距离的索引库中的索引,若未遍历完,则继续遍历。3.根据权利要求1所述的图像检索方法,其特征在于,所述搭建并训练Faiss模型,优化所述Faiss模型,将所述对象特征向量与属性信息输入所述Faiss模型,计算相似度并筛选出最相似的1至10张图片并输出包括:获取所述对象特征向量与属性信息;标记所述对象特征向量与属性信息,对所述对象特征向量压缩、编码、利用聚类算法生成样本类中心;根据查询特征,匹配对应的样本类中心,计算残差特征;根据所述残差特征,计算子聚类中心距离;根据所述子聚类中心距离,判断素有子空间是否遍历完,若遍历完,则生成查询残差索引,若未遍历完,则继续遍历;将所述查询残差索引与同类别的训练残差索引集逐一遍历比对;判断所述同类别的训练残差索引集是否遍历完,若遍历完,则计算最近距离,输出1至10个最近距离的索引库中的索引,若未遍历完,则继续遍历。4.根据权利要求1所述的图像检索方法,其特征在于,所述基于ResNet50卷积神经网络提取所述训练图片集的对象特征向量与属性信息还包括:对获取的图片进行预处理,筛选和提取出有效的数据样本;对图片样本不平衡进行数据增强操作;对ResNet50卷积神经网络进行调整,提取预训练所述ResNet50卷积神经网络的权重参
数作为初始值进行迁移学习。5.根据权利要求4所述的图像检索方法,其特征在于,所述对ResNet50卷积神经网络进行调整包括:...

【专利技术属性】
技术研发人员:徐梦佳杨周龙李斯
申请(专利权)人:上海东普信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1