基于深度学习的海报图像查重检索方法、装置和电子设备制造方法及图纸

本申请涉及图像查重和人工智能技术领域的一种基于深度学习的海报图像查重检索方法、装置和电子设备。所述方法通过获取海报图像数据库，并采用基于深度学习的特征提取网络提取该数据库中每张海报图像的关键元素的种类特征和视觉特征；根据关键元素的特征建立特征索引库；根据提取到的待查海报图像的关键元素种类特征在特征索引库中进行相似性检索，得到相似海报图像集合；将待查海报图像和相似海报集合中每张海报图像的关键元素视觉特征进行相似度比对，得到待查海报图像的查重结果。本方法通过预先建立特征索引库，对待查海报图像先后根据关键元素的种类特征和视觉特征在索引库中进行两次检索，提高了侵权海报图像查重的效率和准确度。效率和准确度。效率和准确度。

【技术实现步骤摘要】
基于深度学习的海报图像查重检索方法、装置和电子设备


[0001]本申请涉及图像查重和人工智能
，特别是涉及一种基于深度学习的海报图像查重检索方法、装置和电子设备。

技术介绍

[0002]海报设计作品中往往会着重刻画几个关键元素，通过对元素的视觉刻画和种类的选取来表达海报设计作品的主旨观念。因此海报设计作品的侵权查重较为复杂，侵权图像往往会是将较为有价值的元素进行复用、裁剪或二次创作的结果，侵权的海报设计作品并非总是与原图像视觉上高度相似。
[0003]现有的图像检索方法常常提取整体的画面特征，检索结果通常为整体上相同、或相似图像，虽然可以实现相同或相似图像的检索，从现有的图像检方法常常提取整体的画面特征，检索结果通常为整体上相同、或相似图像，因此现有图像查重检索方法不能满足海报图像侵权查重任务在查重效率和准确率方面的要求。其主要原因在于：(1)侵权海报图像与原图像在视觉上往往不完全相似；(2)海报侵权的定义复杂，仅颜色类似的图像并不构成侵权；(3)海报设计作品的核心价值往往在于其关键元素的刻画，例如颜色或构图等全局的相似在现实情况中并不足以构成侵权行为。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供基于深度学习的海报图像查重检索方法、装置和电子设备。
[0005]一种基于深度学习的海报图像查重检索方法，所述方法包括：
[0006]获取海报图像数据库；通过深度学习特征提取网络对所述海报图像数据库中的每张海报图像进行特征提取，得到每张海报图像的关键元素特征；所述关键元素特征包括关键元素种类特征和关键元素视觉特征。
[0007]根据所述海报图像数据库中的每张海报图像和每张海报图像的关键元素特征，构建关键元素特征索引库。
[0008]获取待查海报图像，并对所述待查海报图像通过深度学习特征提取网络进行特征提取，得到待查海报图像的关键元素种类特征和关键元素视觉特征。
[0009]根据所述待查海报图像的关键元素种类特征在关键元素特征索引库中进行相似性检索，得到相似海报图像集合。
[0010]计算所述待查海报图像与所述相似海报图像集合中每张海报图像的相同种类的关键元素的关键元素视觉特征之间的相似度，并对得到的相似度进行加权求和，得到所述待查海报图像与所述相似海报图像集合中每张海报图像的关键元素视觉相似度。
[0011]根据所述关键元素视觉相似度和所述相似海报图像集合，得到所述待查海报图像的查重结果。
[0012]在其中一个实施例中，获取海报图像数据库；通过深度学习特征提取网络对所述
海报图像数据库中的每张海报图像进行特征提取，得到每张海报图像的关键元素特征，包括：
[0013]获取海报图像数据库。
[0014]通过基于深度学习的全局特征提取网络提取所述海报图像数据库中每张海报图像的特征，得到所述海报图像数据库中每张海报图像的关键元素种类特征。
[0015]通过基于深度学习的局部特征提取网络提取所述海报图像数据库中每张海报图像的每个关键元素的视觉特征，得到所述海报图像数据库中每张海报图像的关键元素视觉特征。
[0016]在其中一个实施例中，通过基于深度学习的全局特征提取网络提取所述海报图像数据库中每张海报图像的特征，得到所述海报图像数据库中每张海报图像的关键元素种类特征，包括：
[0017]将所述海报图像数据库中海报图像输入到Yolov3网络中进行特征提取，得到目标元素种类预测结果和目标元素的边界框坐标。
[0018]将满足预设条件的目标元素种类预测结果作为关键元素，并将每张海报图像中的同类型的关键元素按照元素面积最大的原则进行了筛选，将筛选后的结果中包含的关键元素的种类组成的集合作为所述海报图像数据库中每张海报图像的关键元素种类特征。
[0019]在其中一个实施例中，通过基于深度学习的局部特征提取网络提取所述海报图像数据库中每张海报图像的每个关键元素的视觉特征，得到所述海报图像数据库中每张海报图像的关键元素视觉特征，包括：
[0020]根据关键元素的边界框坐标，采用轻量级的卷积神经网络Mobilenetv2提取所述海报图像数据库中每张海报图像的每个关键元素区域的视觉特征向量，得到所述海报图像数据库中每张海报图像的关键元素视觉特征；所述关键元素视觉特征包括与关键元素数量相同的关键元素的视觉特征向量。
[0021]在其中一个实施例中，根据所述海报图像数据库中的每张海报图像和每张海报图像的关键元素特征，构建关键元素特征索引库，包括：
[0022]将所述海报图像数据库中每张海报图像进行编号，并将所述海报图像数据库中每张海报图像的编号与所述海报图像数据库中每张海报图像的关键元素特征对应起来，得到关键元素特征索引库。
[0023]在其中一个实施例中，根据所述待查海报图像的关键元素种类特征在关键元素特征索引库中进行相似性检索，得到相似海报图像集合，包括：
[0024]将所述待查海报图像的关键元素种类特征中所包含的关键元素的种类名称逐一在所述关键元素特征索引库中进行相似性检索，得到相似海报图像集合；所述相似海报图像集合包括若干张与待查海报图像具有相似关键元素种类特征的所述关键元素特征索引库中的海报图像。
[0025]在其中一个实施例中，计算所述待查海报图像与所述相似海报图像集合中每张海报图像的相同种类的关键元素的关键元素视觉特征之间的相似度，并对得到的相似度进行加权求和，得到所述待查海报图像与所述相似海报图像集合中每张海报图像的关键元素视觉相似度，包括：
[0026]根据所述待查海报图像的所有关键元素的面积比例关系为每个关键元素赋予面
积权重值；所有面积权重值之和为1。
[0027]计算所述待查海报图像与所述相似海报图像集合中每张海报图像的相同种类的关键元素的关键元素视觉特征之间的余弦相似度。
[0028]根据所述待查海报图像的每个关键元素的面积权重值和对应的余弦相似度进行加权求和，得到所述待查海报图像与所述相似海报图像集合中每张海报图像的关键元素视觉相似度。
[0029]在其中一个实施例中，根据所述关键元素视觉相似度和所述相似海报图像集合，得到所述待查海报图像的查重结果，包括：
[0030]根据所述关键元素视觉相似度从大到小的顺序将所述相似海报图像集合中的海报图像进行排序，得到相似海报图像序列。
[0031]根据所述相似海报图像序列和预设判定阈值，得到所述待查海报图像的查重结果。
[0032]一种基于深度学习的海报图像查重检索装置，所述装置包括：
[0033]海报图像数据库关键元素特征提取模块，用于获取海报图像数据库；通过深度学习特征提取网络对所述海报图像数据库中的每张海报图像进行特征提取，得到每张海报图像的关键元素特征；所述关键元素特征包括关键元素种类特征和关键元素视觉特征。
[0034]关键元素特征索引库构建模块，用于根据所述海报图像数据库中的每张海报图像和每张海报图像的关键本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的海报图像查重检索方法，其特征在于，所述方法包括：获取海报图像数据库；通过深度学习特征提取网络对所述海报图像数据库中的每张海报图像进行特征提取，得到每张海报图像的关键元素特征；所述关键元素特征包括关键元素种类特征和关键元素视觉特征；根据所述海报图像数据库中的每张海报图像和每张海报图像的关键元素特征，构建关键元素特征索引库；获取待查海报图像，并对所述待查海报图像通过深度学习特征提取网络进行特征提取，得到待查海报图像的关键元素种类特征和关键元素视觉特征；根据所述待查海报图像的关键元素种类特征在关键元素特征索引库中进行相似性检索，得到相似海报图像集合；计算所述待查海报图像与所述相似海报图像集合中每张海报图像的相同种类的关键元素的关键元素视觉特征之间的相似度，并对得到的相似度进行加权求和，得到所述待查海报图像与所述相似海报图像集合中每张海报图像的关键元素视觉相似度；根据所述关键元素视觉相似度和所述相似海报图像集合，得到所述待查海报图像的查重结果。2.根据权利要求1所述的方法，其特征在于，获取海报图像数据库；通过深度学习特征提取网络对所述海报图像数据库中的每张海报图像进行特征提取，得到每张海报图像的关键元素特征，包括：获取海报图像数据库；通过基于深度学习的全局特征提取网络提取所述海报图像数据库中每张海报图像的特征，得到所述海报图像数据库中每张海报图像的关键元素种类特征；通过基于深度学习的局部特征提取网络提取所述海报图像数据库中每张海报图像的每个关键元素的视觉特征，得到所述海报图像数据库中每张海报图像的关键元素视觉特征。3.根据权利要求2所述的方法，其特征在于，通过基于深度学习的全局特征提取网络提取所述海报图像数据库中每张海报图像的特征，得到所述海报图像数据库中每张海报图像的关键元素种类特征，包括：将所述海报图像数据库中海报图像输入到Yolov3网络中进行特征提取，得到目标元素种类预测结果和目标元素的边界框坐标；将满足预设条件的目标元素种类预测结果作为关键元素，并将每张海报图像中的同类型的关键元素按照元素面积最大的原则进行了筛选，将筛选后的结果中包含的关键元素的种类组成的集合作为所述海报图像数据库中每张海报图像的关键元素种类特征。4.根据权利要求3所述的方法，其特征在于，通过基于深度学习的局部特征提取网络提取所述海报图像数据库中每张海报图像的每个关键元素的视觉特征，得到所述海报图像数据库中每张海报图像的关键元素视觉特征，包括：根据关键元素的边界框坐标，采用轻量级的卷积神经网络Mobilenetv2提取所述海报图像数据库中每张海报图像的每个关键元素区域的视觉特征向量，得到所述海报图像数据库中每张海报图像的关键元素视觉特征；所述关键元素视觉特征包括与关键元素数量相同的关键元素的视觉特征向量。
5.根据权利要求1所述的方法，其特征在于，根据所述海报图像数据库中的每张海报图像和每张海报图像的关键元素特征，构建关键元素特征索引库，包括：将所述海报图像数据库中每张海报图像进行编号，并将所述海报图像数据库中每张海报图像的编号与所述海报图像数据库中每...

【专利技术属性】
技术研发人员：刘芳，崔盛兰，张默涵，郑宝莹，宁斌，
申请(专利权)人：湖南大学，
类型：发明
国别省市：