一种结合浅层与深层特征的小样本丝织品图像检索方法技术

本发明专利技术公开一种结合浅层与深层特征的小样本丝织品检索方法。所述方法包括以下步骤：收集丝织品图像，建立丝织品样本库；建立卷积神经网络模型；使用有约束采样方法对丝织品样本库进行采样得到训练数据集；使用训练数据集训练卷积神经网络模型，得到训练完成的卷积神经网络模型；使用训练完成的卷积神经网络模型提取待检索丝织品图像的特征，并计算提取得到的待检索丝织品图像的特征与样本库中各个丝织品图像提取到的特征的欧式距离，根据欧式距离的大小得到基于图像特征的待检索丝织品图像的检索结果。所述方法可以得到更好的丝织品图像特征表达，且适应于小规模样本数据，较准确地检索到丝织品相似性结果。确地检索到丝织品相似性结果。确地检索到丝织品相似性结果。

【技术实现步骤摘要】
一种结合浅层与深层特征的小样本丝织品图像检索方法


[0001]本专利技术属于深度学习图像检索领域，具体涉及一种结合浅层与深层特征的小样本丝织品图像检索方法。

技术介绍

[0002]图像检索一直以来都是计算机视觉领域重要的研究课题，从20世纪90年代早期开始，研究人员便先后设计了图像的全局特征、局部特征等方法对图像检索任务进行探索和研究。由于SIFT(Scale
‑
Invariant Feature Transform)
[1]特征对图像平移、缩放和旋转具有明显的不变性，因此在传统的图像检索领域得到了广泛的应用。尽管十多年来传统人工特征的检索方法占据了图像检索领域，并在视觉检索方面取得了重大进展，但它的缺点也很明显。这类方法严重依赖于人工特征，需要依据任务和数据集人工设计描述符，无法通过端到端的方式进行训练。而随着卷积神经网络的蓬勃发展，深度学习时代的到来带来了新的气象。近年来，深度学习在诸多领域上取得了巨大的成功，其中包含图像检索领域。而在图像检索领域中，丝织品图像检索仍然缺乏研究。相近的任务有布料图像检索(Deng D,Wang R,Wu H,et al.Learning deep similarity models with focus ranking for fabric image retrieval[J].Image and Vision Computing,2018,70:11
‑
20.)，但其只关注浅层的布料纹理特征，而丝织品图像检索需要同时关注浅层纹理特征与深层语义特征。因此该研究并不适用于丝织品图像检索。

技术实现思路

[0003]为克服现有技术缺陷，本专利技术提出一种结合浅层与深层特征的小样本丝织品图像检索方法。
[0004]本专利技术的目的至少通过以下技术方案之一实现。
[0005]一种结合浅层与深层特征的小样本丝织品检索方法，包括以下步骤：
[0006]S1、收集丝织品图像，建立丝织品样本库；
[0007]S2、建立卷积神经网络模型；
[0008]S3、使用有约束采样方法对丝织品样本库进行采样得到训练数据集；
[0009]S4、使用训练数据集训练卷积神经网络模型，得到训练完成的卷积神经网络模型；
[0010]S5、使用训练完成的卷积神经网络模型提取待检索丝织品图像的特征，并计算提取得到的待检索丝织品图像的特征与样本库中各个丝织品图像提取到的特征的欧式距离，欧氏距离越小表示待检索丝织品图像与样本库中的丝织品图像越相似，根据欧式距离的大小得到基于图像特征的待检索丝织品图像的检索结果。
[0011]进一步地，步骤S2中，所述卷积神经网络模型基于U
‑
Net构建，卷积神经网络模型包括U
‑
Net层、3层卷积层、注意力模块、池化层和全连接层；
[0012]其中，U
‑
Net层包括从浅层网络至深层网络的跳跃连接，该跳跃连接将浅层网络的特征复制并拼接到深层网络的特征上，通过卷积操作对该拼接后的浅层网络的特征与深层
网络的特征进行融合；
[0013]输入卷积神经网络模型的丝织品图像先经过U
‑
Net层提取特征，再经过3层卷积层进行卷积计算后输入注意力模块中进行计算得到经过注意力加权的特征图，经过注意力加权的特征图输入池化层和全连接层输出丝织品图像的特征。
[0014]进一步地，U
‑
Net层共有14层卷积层，其中每2层卷积层为一组；第一卷积层组down1包括第一层卷积层和第二层卷积层，第二卷积层组down2包括第三层卷积层和第四层卷积层，第三卷积层组down3包括第五层卷积层和第六层卷积层，第四卷积层组bottom包括第七层卷积层和第八层卷积层，第五卷积层组up3包括第九层卷积层和第十层卷积层，第六卷积层组up2包括第十一层卷积层和第十二层卷积层，第七卷积层组up1包括第十三层卷积层和第十四层卷积层；
[0015]其中，每组卷积层组包括的两层卷积层中，前一层卷积层使用3x3大小的卷积核，填充为1，后接实例标准化、Leaky ReLU激活函数和取值0.2的随机失活；后一层卷积层使用3x3大小的卷积核，填充为1，后接实例标准化和Leaky ReLU激活函数；
[0016]在第一卷积层组down1、第二卷积层组down2、第三卷积层组down3的后面均接有2x2大小的最大池化，在第四卷积层组bottom、第五卷积层组up3、第六卷积层组up2的后面均接有2x2的二次线性插值上采样、卷积核大小为3x3填充为1的卷积、实例标准化和Leaky ReLU激活函数；
[0017]在第一卷积层组down1与第七卷积层组up1之间、第二卷积层组down2与第六卷积层组up2之间、第三卷积层组down3与第五卷积层组up3之间存在着跳跃连接，作为浅层特征信息与深层特征信息融合的重要手段；该跳跃连接的具体操作为，分别将第一卷积层组down1、第二卷积层组down2和第三卷积层组down3在最大池化前的特征图复制并拼接到第七卷积层组up1、第六卷积层组up2和第五卷积层组up3的输入特征图上，该拼接沿通道方向进行。
[0018]进一步地，3层卷积层中的前两层均使用大小为3x3的卷积核，后接批标准化、ReLU激活函数和2x2的最大池化层，卷积操作没有填充；3层卷积层中的最后一层使用大小为3x3的卷积核，后接批标准化、ReLU激活函数，卷积操作没有填充；
[0019]池化层使用层级数为3的空间金字塔池化层，空间金字塔池化层输出大小为21的向量；全连接层输出大小为32的向量。
[0020]进一步地，注意力模块中结合注意力机制和多任务学习，注意力模块中的操作具体包括以下步骤：
[0021]S2.1、使用平均池化技术对最后一层卷积层后的第一特征图D进行池化，得到1x1大小，64通道的第二特征图F；
[0022]S2.2a、将第二特征图F输入至全连接层，得到64大小的特征向量，再将该特征向量送入分类器进行图像分类。
[0023]S2.2b；、将第一特征图D与第二特征图F进行按通道乘操作，得到经过注意力加权的特征图G，将G送入后续空间金字塔池化层中；
[0024]其中，步骤S2.2a与步骤S2.2b为步骤S2.1之后的两个分支，可同时进行，互相独立；
[0025]按通道乘的操作具体为：将第二特征图F的每个通道中1x1大小的数值与第一特征
图D每个通道中HxW大小的矩阵一一对应，然后每个HxW矩阵中的每一个元素都乘上与之对应的1x1数值，其中，H为矩阵的行数，W为矩阵的列数。
[0026]进一步地，步骤S3中，所述有约束采样方法包括以下步骤：
[0027]S3.1、在样本库中对所有丝织品类别中的每个类别随机抽取5对相同类别的正样本对；每对正样本对之中的两张图片不一样，不同正样本对之间，可以抽到出现于其他正样本对中的图片；
[0028]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合浅层与深层特征的小样本丝织品检索方法，其特征在于，包括以下步骤：S1、收集丝织品图像，建立丝织品样本库；S2、建立卷积神经网络模型；S3、使用有约束采样方法对丝织品样本库进行采样得到训练数据集；S4、使用训练数据集训练卷积神经网络模型，得到训练完成的卷积神经网络模型；S5、使用训练完成的卷积神经网络模型提取待检索丝织品图像的特征，并计算提取得到的待检索丝织品图像的特征与样本库中各个丝织品图像提取到的特征的欧式距离，根据欧式距离的大小得到基于图像特征的待检索丝织品图像的检索结果。2.根据权利要求1所述的一种结合浅层与深层特征的小样本丝织品检索方法，其特征在于：步骤S2中，所述卷积神经网络模型基于U
‑
Net构建，卷积神经网络模型包括U
‑
Net层、3层卷积层、注意力模块、池化层和全连接层；其中，U
‑
Net层包括从浅层网络至深层网络的跳跃连接，该跳跃连接将浅层网络的特征复制并拼接到深层网络的特征上，通过卷积操作对该拼接后的浅层网络的特征与深层网络的特征进行融合；输入卷积神经网络模型的丝织品图像先经过U
‑
Net层提取特征，再经过3层卷积层进行卷积计算后输入注意力模块中得到经过注意力加权的特征图，经过注意力加权的特征图输入池化层和全连接层输出丝织品图像的特征。3.根据权利要求2所述的一种结合浅层与深层特征的小样本丝织品检索方法，其特征在于：U
‑
Net层共有14层卷积层，其中每2层卷积层为一组；第一卷积层组down1包括第一层卷积层和第二层卷积层，第二卷积层组down2包括第三层卷积层和第四层卷积层，第三卷积层组down3包括第五层卷积层和第六层卷积层，第四卷积层组bottom包括第七层卷积层和第八层卷积层，第五卷积层组up3包括第九层卷积层和第十层卷积层，第六卷积层组up2包括第十一层卷积层和第十二层卷积层，第七卷积层组up1包括第十三层卷积层和第十四层卷积层；其中，每组卷积层组包括的两层卷积层中，前一层卷积层使用3x3大小的卷积核，填充为1，后接实例标准化、Leaky ReLU激活函数和取值0.2的随机失活；后一层卷积层使用3x3大小的卷积核，填充为1，后接实例标准化和Leaky ReLU激活函数；在第一卷积层组down1、第二卷积层组down2、第三卷积层组down3的后面均接有2x2大小的最大池化，在第四卷积层组bottom、第五卷积层组up3、第六卷积层组up2的后面均接有2x2的二次线性插值上采样、卷积核大小为3x3填充为1的卷积、实例标准化和Leaky ReLU激活函数；在第一卷积层组down1与第七卷积层组up1之间、第二卷积层组down2与第六卷积层组up2之间、第三卷积层组down3与第五卷积层组up3之间存在着跳跃连接，作为浅层特征信息与深层特征信息融合的重要手段；该跳跃连接的具体操作为，分别将第一卷积层组down1、第二卷积层组down2和第三卷积层组down3在最大池化前的特征图复制并拼接到第七卷积层组up1、第六卷积层组up2和第五卷积层组up3的输入特征图上，该拼接沿通道方向进行。4.根据权利要求2所述的一种结合浅层与深层特征的小样本丝织品检索方法，其特征在于：3层卷积层中的前两层均使用大小为3x3的卷积核，后接批标准化、ReLU激活函数和2x2的最大池化层，卷积操作没有填充；3层卷积层中的最后一层使用大小为3x3的卷积核，
...

【专利技术属性】
技术研发人员：潘宇琳，韦佳，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：