图像处理方法及装置制造方法及图纸

本公开提供了一种图像处理方法及装置

【技术实现步骤摘要】
图像处理方法及装置、存储介质、电子设备


[0001]本公开的实施方式涉及计算机
，更具体地，本公开的实施方 式涉及图像处理方法及装置
、
存储介质
、
电子设备
。

技术介绍

[0002]随着互联网
、
云计算等相关技术的快速发展，图像
、
音频和视频等多 媒体数据在以前所未有的速度增长
。
作为人类感知世界的视觉基础，图像 数据能够帮助人们理解信息
、
表达信息以及传递信息，如何从海量的图像 数据中准确快速地检索到与用户查询相关的图像是多媒体检索领域研究 者极其关注的问题
。
由于在解决维度灾难
、
搜索效率和存储开销等问题上 的优势，哈希方法在大规模多媒体数据近似近邻查询中被广泛运用
。
而在 哈希方法中，需要先将原始图像转换成矢量特征表示，然后通过哈希投影 和量化编码得到最终使用哈希码表征的图像特征
。
因而，生成的哈希码的 表征准确度在很大程度上依赖于输入的图像特征向量的表征准确度
。
[0003]在图像特征提取时，图像中关键部分往往只占图像的部分区域，例如 一张“奔跑的马”的图像，马的位置往往在图像中部，其余大部分为无关 语义的背景
。
现有的图像特征提取方法，通常是利用单个深度学习模型来 提取图像的特征，容易导致在对图像进行量化处理时信息丢失严重的问题， 并且，图像处理时往往考虑的是图像整体，忽略了图像的主要描述对象， 使得图像特征提取准确度较低
。
[0004]本部分旨在为权利要求中陈述的本公开的实施方式提供背景或上下 文，此处的描述不因为包括在本部分中就承认是现有技术
。

技术实现思路

[0005]为克服相关技术中存在的问题，本公开提供一种图像处理方法及装置
、 存储介质
、
电子设备
。
[0006]依据本公开的第一方面，提供了一种图像处理方法，该方法包括：
[0007]利用预训练的图像分类模型，获取对目标图像特征提取所得到的初始 特征；
[0008]对所述初始特征按照预设池化方式进行池化处理，获得所述目标图像 对应的全局特征向量；
[0009]通过预训练的局部注意力模型对所述全局特征向量计算，生成所述目 标图像对应的局部特征向量；
[0010]根据预训练的全局注意力模型对所述全局特征向量和所述局部特征 向量计算，确定所述目标图像对应的深层特征向量，以便基于所述深层特 征向量确定所述目标图像所属的类别
。
[0011]可选的，所述预训练的局部注意力模型包括预训练全连接函数
、
预训 练激活函数和预训练卷积核，所述通过预训练的局部注意力模型对所述全 局特征向量计算，生成所述目标图像对应的局部特征向量，包括；
[0012]通过所述预训练全连接函数和所述预训练激活函数对所述全局特征 向量计算，得到所述全局特征向量对应的局部权重；
[0013]根据所述局部权重与所述初始特征，计算得到所述局部权重对应的局 部注意力特征；
[0014]通过所述预训练卷积核对所述局部注意力特征进行卷积操作，获得所 述目标图像对应的局部特征向量
。
[0015]可选的，所述根据所述局部权重与所述初始特征，计算得到所述局部 权重对应的局部注意力特征，包括：
[0016]按照所述初始特征的维度，对所述局部权重进行扩展，获得扩展后的 局部权重；
[0017]根据所述扩展后的局部权重与所述初始特征之间对位矩阵相乘，得到 所述局部权重对应的局部注意力特征
。
[0018]可选的，所述根据预训练的全局注意力模型对所述全局特征向量和所 述局部特征向量计算，确定所述目标图像对应的深层特征向量，包括：
[0019]利用预训练映射参数分别对所述全局特征向量和所述局部特征向量 进行转换，获得所述局部特征向量对应的第一映射向量以及所述全局特征 向量对应的第二映射向量和第三映射向量；
[0020]根据预设全局注意力公式对所述第一映射向量
、
所述第二映射向量和 所述第三映射向量计算，得到所述目标图像对应的深层特征向量
。
[0021]可选的，在所述确定所述目标图像对应的深层特征向量之后，还包括：
[0022]通过预设符号公式对所述深层特征向量进行转换，获得所述目标图像 使用哈希码表征的特征向量
。
[0023]可选的，所述方法还包括：
[0024]获取样本图像以及所述样本图像对应的真实类别；
[0025]将所述样本图像和所述真实类别作为一个训练样本对；
[0026]利用训练样本对对初始图像分类模型
、
初始局部注意力模型
、
初始全 局注意力模型进行迭代训练，以获取输出的样本深层特征向量符合所述真 实类别的所述预训练的图像分类模型
、
所述预训练的局部注意力模型以及 所述预训练的全局注意力模型
。
[0027]可选的，所述利用训练样本对对初始图像分类模型
、
初始局部注意力 模型
、
初始全局注意力模型进行迭代训练，以获取输出的样本深层特征向 量符合所述真实类别的所述预训练的图像分类模型
、
所述预训练的局部注 意力模型以及所述预训练的全局注意力模型，包括：
[0028]利用所述初始图像分类模型
、
所述初始局部注意力模型和所述初始全 局注意力模型，对所述样本图像进行特征处理，得到所述样本图像对应的 样本深层特征向量；
[0029]通过预设分类全连接层，确定所述样本深层特征向量对应的训练类别；
[0030]若所述训练类别符合所述真实类别，则将训练得到的图像分类模型确 定为所述预训练的图像分类模型，训练得到的局部注意力模型确定为所述 预训练的局部注意力模型，训练得到的全局注意力模型确定为所述预训练 的全局注意力模型；
[0031]若所述训练类别不符合所述真实类别，则调整所述初始图像分类模型
、 所述初始局部注意力模型和所述初始全局注意力模型中的训练参数，并重 新执行所述对所述样本
图像进行特征处理，得到所述样本图像对应的样本 深层特征向量的操作，直至所述训练类别符合所述真实类别
。
[0032]可选的，所述利用所述初始图像分类模型
、
所述初始局部注意力模型 和所述初始全局注意力模型，对所述样本图像进行特征处理，得到所述样 本图像对应的样本深层特征向量，包括：
[0033]利用所述初始图像分类模型，获取对所述样本图像特征提取所得到的 样本初始特征；
[0034]对所述样本初始特征按照所述预设池化方式进行池化处理，获得所述 样本图像对应的样本全局特征向量；
...

【技术保护点】

【技术特征摘要】
1.
一种图像处理方法，其特征在于，所述方法包括：利用预训练的图像分类模型，获取对目标图像特征提取所得到的初始特征；对所述初始特征按照预设池化方式进行池化处理，获得所述目标图像对应的全局特征向量；通过预训练的局部注意力模型对所述全局特征向量计算，生成所述目标图像对应的局部特征向量；根据预训练的全局注意力模型对所述全局特征向量和所述局部特征向量计算，确定所述目标图像对应的深层特征向量，以便基于所述深层特征向量确定所述目标图像所属的类别
。2.
根据权利要求1所述的方法，其特征在于，所述预训练的局部注意力模型包括预训练全连接函数
、
预训练激活函数和预训练卷积核，所述通过预训练的局部注意力模型对所述全局特征向量计算，生成所述目标图像对应的局部特征向量，包括；通过所述预训练全连接函数和所述预训练激活函数对所述全局特征向量计算，得到所述全局特征向量对应的局部权重；根据所述局部权重与所述初始特征，计算得到所述局部权重对应的局部注意力特征；通过所述预训练卷积核对所述局部注意力特征进行卷积操作，获得所述目标图像对应的局部特征向量
。3.
根据权利要求2所述的方法，其特征在于，所述根据所述局部权重与所述初始特征，计算得到所述局部权重对应的局部注意力特征，包括：按照所述初始特征的维度，对所述局部权重进行扩展，获得扩展后的局部权重；根据所述扩展后的局部权重与所述初始特征之间对位矩阵相乘，得到所述局部权重对应的局部注意力特征
。4.
根据权利要求1所述的方法，其特征在于，所述根据预训练的全局注意力模型对所述全局特征向量和所述局部特征向量计算，确定所述目标图像对应的深层特征向量，包括：利用预训练映射参数分别对所述全局特征向量和所述局部特征向量进行转换，获得所述局部特征向量对应的第一映射向量以及所述全局特征向量对应的第二映射向量和第三映射向量；根据预设全局注意力公式对所述第一映射向量
、
所述第二映射向量和所述第三映射向量计算，得到所述目标图像对应的深层特征向量
。5.
根据权利要求1所述的方法，其特征在于，在所述确定所述目标图像对应的深层特征向量之后，还包括：通过预设符号公式对所述深层特征向量进行转换，获得所述目标图像使用哈希码表征的特征向量
。6.
根据权利要求1‑5中任一项所述的方法，其特征在于，所述方法还包括：获取样本图像以及所述样本图像对应的真实类别；将所述样本图像和所述真实类别作为一个训练样本对；利用训练样本对对初始图像分类模型
、
初...

【专利技术属性】
技术研发人员：石佳影，许盛辉，潘照明，
申请(专利权)人：杭州网之易创新科技有限公司，
类型：发明
国别省市：