一种基于上下文深度语义信息的图像检索方法技术

本发明专利技术公开的一种基于上下文深度语义信息的图像检索方法，主要解决现有图像检索方法由于缺乏上下文环境信息而造成的准确率低的问题。实现步骤为：①使用自适应极化栅栏法确定图像关键点；②对卷积神经网络进行预训练和微调，构建包含区域分析层、迭代量化层的极化卷积神经网络；③提取关键点的上下文深度语义特征，并将其存入索引表，完成线下索引；④计算查询图像与数据库中每幅图像的相似度；⑤根据相似度从高到低的顺序输出检索结果。本发明专利技术使用上下文深度语义特征实现了图像关键点从区域到全局环境的匹配，提出的自适应极化栅栏法和构建的区域分析层符合全天空极光图像的成像特点，检索准确率高，可用于鱼眼镜头成像的大规模图像的精确检索。

An image retrieval method based on context depth semantic information

The invention discloses an image retrieval method based on context deep semantic information, which mainly solves the problem of low accuracy caused by the lack of contextual information in existing image retrieval methods. The implementation steps are as follows: the use of adaptive polarization fence method to determine the key points of image; the pre training and fine-tuning of the convolutional neural network, construct a regional polarization analysis of convolutional neural network layer, iterative quantization layer; the extraction of context features deep semantics of key points, and stored in the index table, the index line is completed; calculate the similarity of each image and image database; according to the similarity of the order from high to low output of search results. The invention uses deep semantics to achieve matching context feature image key point from the regional to the global environment, the method of adaptive polarization fence and regional analysis constructed in accord with the imaging characteristics of all sky auroral image, high retrieval rate, can be used for precise retrieval in large-scale image of the fisheye lens imaging.

【技术实现步骤摘要】
一种基于上下文深度语义信息的图像检索方法
本专利技术属于图像处理
，涉及深度学习算法和图像检索技术，可用于大规模极光图像的精确检索。
技术介绍
太阳风携带的高能带电粒子高速撞击地球磁场，沿着“漏斗”状的地磁力线沉降进入南北两极地区，激发电离层中大气粒子后产生的自然发光现象就是极光。为了深入研究极光现象，各国科学家们通过地面观测站和太空遥感卫星等平台采集了海量极光图像数据。然而，受天气变化和云雾干扰等影响，爆炸式增加的极光图像数据中包含了大量无效数据。为了在不受无效数据干扰的前提下研究某种特定日地空间事件，科学家们需要从海量数据中挑选出感兴趣的极光图像数据，即大规模极光图像检索。现实中，依靠科学家们肉眼筛选和分类的人工检索方式容易出现由视觉疲劳引起的主观误差，其检索速度也难以满足海量数据的处理需求。因此，建立自动的图像检索系统，实现大规模极光图像中有效数据的筛选和关键数据的分析，可以帮助空间物理学家在有限时间内获取太阳风与地球磁场活动的大量信息，为日地空间安全提供可靠的技术保障。为了实现自动的极光图像检索，图像处理和模式识别技术被广泛使用。例如，Sivic等人在文献“J.Sivi本文档来自技高网...

【技术保护点】
一种基于上下文深度语义信息的图像检索方法，其特征在于，所述方法包括如下步骤：(1)对输入的全天空极光图像数据库，利用自适应极化栅栏法确定全天空极光图像的k个关键点；(2)预先对卷积神经网络进行预训练和微调，再构建区域分析层、迭代量化层，将所述卷积神经网络升级为极化卷积神经网络，所述极化卷积神经网络包括五个卷积层、一个全连接层、一个区域分析层、一个迭代量化层；(3)对输入的所述全天空极光图像数据库中的每幅图像，分别以k个关键点为中心，确定大小为rs×rs的k个小尺度区域和大小为rl×rl的k个大尺度区域，并分别将k个小尺度区域和k个大尺度区域映射到每个卷积层输出的特征图上；(4)所述区域分析层分...

【技术特征摘要】
1.一种基于上下文深度语义信息的图像检索方法，其特征在于，所述方法包括如下步骤：(1)对输入的全天空极光图像数据库，利用自适应极化栅栏法确定全天空极光图像的k个关键点；(2)预先对卷积神经网络进行预训练和微调，再构建区域分析层、迭代量化层，将所述卷积神经网络升级为极化卷积神经网络，所述极化卷积神经网络包括五个卷积层、一个全连接层、一个区域分析层、一个迭代量化层；(3)对输入的所述全天空极光图像数据库中的每幅图像，分别以k个关键点为中心，确定大小为rs×rs的k个小尺度区域和大小为rl×rl的k个大尺度区域，并分别将k个小尺度区域和k个大尺度区域映射到每个卷积层输出的特征图上；(4)所述区域分析层分别对五个卷积层输出的特征图及特征图上的小尺度区域和大尺度区域进行最大池化操作，分别得到五个特征向量，分别级联五个特征向量及全连接层输出的特征向量，得到每个关键点的全局CNN特征fcnn-g、小尺度区域CNN特征大尺度区域CNN特征(5)所述迭代量化层对输入的每个关键点的小尺度区域CNN特征大尺度区域CNN特征全局CNN特征fcnn-g进行二值化处理，并级联二值化后的小尺度区域CNN特征二值化后的大尺度区域CNN特征二值化后的全局CNN特征fb-cnn-g，得到每个关键点的上下文深度语义特征(6)将每个关键点的上下文深度语义特征存入倒排索引表，完成线下索引；(7)对于输入的一幅查询图像Q，提取该查询图像的每个关键点的上下文深度语义特征然后计算其与线下索引保存的每个关键点的上下文深度语义特征的匹配函数；(8)计算所述查询图像Q与所述全天空极光图像数据库中每幅图像的相似度；(9)按照相似度取值从高到低的顺序对所述全天空极光图像数据库中图像进行排序，相似度取值最高的图像被认为是与查询图像最相似，输出排序结果完成线上查询。2.根据权利要求1所述的一种基于上下文深度语义信息的图像检索方法，其特征在于，所述步骤(1)中利用自适应极化栅栏法确定全天空极光图像的k个关键点，包括如下步骤：(1a)设定自适应极化栅栏法的参数，所述参数至少包括：参考径向间隔△ρ、参考角度间隔△θ、控制径向坐标分布的参数v和控制角度坐标分布的正参数w；(1b)确定关键点的离散的径向坐标ρ(i)和角度坐标θ(j)：其中，C为全天空极光图像的半径长度；ρ(i)为径向坐标，ρ(0)为径向坐标的初始值，i为径向指数，其取值为从1到G的有序整数，G为径向指数取值的最大值，径向坐标ρ(i)需要小于图像的半径长度C；v为控制径向坐标分布的参数，iv△ρ为径向间隔，当v为0时，径向间隔iv△ρ相同；当v取正值时，随着i的增大，径向间隔iv△ρ越大；当v取负值时，随着i的增大，径向间隔iv△ρ越小；θ(j)为角度坐标θ(j)，θ(0)为角度坐标的初始值，j为角度指数，其取值为从1到H的有序整数，H为角度指数取值的最大值，角度坐标θ(j)需要小于2π；w为控制角度坐标分布的正参数，△θ/iw为角度间隔，当w为0时，角度间隔△θ/iw相同；当w为1时，角度间隔△θ/iw反比于径向指数i；当w大于1时，随着i的增大，角度间隔△θ/iw越小；当w小于1时，随着i的增大，角度间隔△θ/iw越大；(1c)使用极化坐标系确定图像关键点的位置：其中，x(i,j)为关键点的横坐标，y(i,j)为关键点的纵坐标，每幅全天空极光图像共得到k个关键点。3.根据权利要求1所述的一种基于上下文深度语义信息的图像检索方法，其特征在于，所述步骤(2)预先对卷积神经网络进行预训练和微调，再构建区域分析层、迭代量化层，将所述卷积神经网络升级为极化卷积神经网络，包括如下步骤：(2a)使用ImageNet数据库对现有卷积神经网络进行预训练，得到每个卷积层以及每个全连接层的参数，所述卷积神经网络包括：五个卷积层、三个全连接层；(2b)预先对所述全天空极光图像数据库中的图像进行图像翻转、多尺度变换等数据扩增操作，生成新的图像，将所述新生成的图像加入到原有全天空极光图像数据库中，用扩增后的全天空极光图像数据库训练所述卷积神经网络，对所述卷积神经网络进行微调，更新其每个卷积层以及每个全连接层的参数；(2c)构建一个区域分析层，将其加入到所述卷积神经网络；(2d)构建一个迭代量化层，用其替代所述卷积神经网络中最后两个全连接层。4.根据权利要求3所述的一种基于上下文深度语义信息的图像检索方法，其特征在于，所述步骤(3)对输入的所述全天空极光图像数据库中的每幅图像，分别以k个关键点为中心，确定大小为rs×rs的k个小尺度区域和大小为rl×rl的k个大尺度区域，并分别将k个小尺度区域和k个大尺度区域映射到每个卷积层输出的特征图上，包括如下步骤：(3a)对输入的原全天空极光图像数据库中的每幅图像，分别以k个关键点为中心，确...

【专利技术属性】
技术研发人员：杨曦，杨东，王楠楠，高新波，宋彬，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61