一种基于分层卷积神经网络的图像检索方法技术

本发明专利技术公开的基于分层卷积神经网络的图像检索方法，主要解决现有全天空极光图像检索中准确率较低的问题。其实现步骤为：①采用自适应极化栅栏法确定全天空极光图像的局部关键点；②提取全天空极光图像的局部SIFT特征并构建视觉字典；③对卷积神经网络进行预训练和微调并构建极化区域池化层；④提取全天空极光图像的区域CNN特征和全局CNN特征；⑤对所有特征进行二值化处理并构建分层特征；⑥构建倒排索引表并分开保存全局CNN特征；⑦提取查询图像的分层特征并计算其与数据库图像的相似度，输出检索结果。本发明专利技术使用分层特征实现了局部关键点之间的匹配，解决了现有图像检索方法中虚警率较高的问题，具有检索准确率高的优点，适用于实时图像检索。

【技术实现步骤摘要】
一种基于分层卷积神经网络的图像检索方法
本专利技术属于图像处理
，涉及深度学习算法和图像检索技术，可用于大规模极光图像的精确检索。
技术介绍
极光是太阳风携带的高能带电粒子沿着地磁力线沉降，与地球大气层粒子相互碰撞所产生的高纬度自然发光现象，是唯一能够用肉眼观测到的反映日地空间作用过程的地球物理现象。因此，建立高效的图像检索系统，完成大规模极光图像中有效数据的筛选和关键数据的分析，可以帮助人类获取日地空间活动的大量信息。由于极光对日地空间具有显著的研究价值，近年来人类已经通过多种手段对其进行了探测。其中，地基光学成像探测是各国极地科学考察活动的重要项目。2003年11月，中国北极黄河站安装了一套三波段极光全天空成像系统，率先在国际上实现了对极光的多波段、高时空分辨率的全天空观测。全天空极光图像纹理信息丰富，其形态和亮度的变化对应着重要的日地空间耦合过程。然而，由于云雾干扰和天气影响，数据中存在很多没有信息的无效图像。同时，反映磁暴等日地空间事件的关键图像往往淹没在庞大的数据库中。因此，如何筛选出有效数据并完成关键数据的分析已经成为极光研究者们亟需解决的问题。早期的全天空极光图像本文档来自技高网...

【技术保护点】
一种基于分层卷积神经网络的图像检索方法，其特征在于，所述方法包括如下步骤：(1)对输入的全天空极光图像数据库D＝{I1,I2,…,IN}，使用自适应极化栅栏法确定全天空极光图像的k个局部关键点，得到每个局部关键点的位置信息，其中，In(n＝1,…,N)为所述数据库中的第n幅图像，N为所述数据库中图像的总个数；(2)对于所述数据库中的每幅图像，以所述k个局部关键点为中心，利用SIFT描述子提取特征，得到k个局部关键点的k个局部SIFT特征，N幅图像共得到kN个局部SIFT特征，将所述kN个局部SIFT特征量化到对应的视觉单词，并确定每个视觉单词对应的所有局部关键点；(3)使用汉明嵌入法对所述每个...

【技术特征摘要】
1.一种基于分层卷积神经网络的图像检索方法，其特征在于，所述方法包括如下步骤：(1)对输入的全天空极光图像数据库D＝{I1,I2,…,IN}，使用自适应极化栅栏法确定全天空极光图像的k个局部关键点，得到每个局部关键点的位置信息，其中，In(n＝1,…,N)为所述数据库中的第n幅图像，N为所述数据库中图像的总个数；(2)对于所述数据库中的每幅图像，以所述k个局部关键点为中心，利用SIFT描述子提取特征，得到k个局部关键点的k个局部SIFT特征，N幅图像共得到kN个局部SIFT特征，将所述kN个局部SIFT特征量化到对应的视觉单词，并确定每个视觉单词对应的所有局部关键点；(3)使用汉明嵌入法对所述每个的局部SIFT特征fsift进行二值化处理，得到二值化后的局部SIFT特征fb-sift，每个特征长度为8个字节；(4)对输入分层卷积神经网络的所述数据库中的图像，将极化区域池化层的输出送入第一个全连接层，得到每幅图像的每个局部关键点的区域CNN特征fcnn-r和全局CNN特征fcnn-g，其中，所述分层卷积神经网络包括五个卷积层、一个极化区域池化层、两个全连接层；(5)使用迭代量化法分别对每个局部关键点的区域CNN特征fcnn-r和全局CNN特征fcnn-g进行二值化处理，得到二值化后的区域CNN特征fb-cnn-r和二值化后的全局CNN特征fb-cnn-g，每个特征长度为16个字节；(6)构建所述数据库中每幅图像的每个局部关键点的分层特征fh＝[fb-sift,fb-cnn-r,fb-cnn-g]，将其存入倒排索引表，完成线下索引；(7)对于输入的一幅查询图像Q，提取该查询图像的每个局部关键点的分层特征然后计算其与线下索引保存的每个局部关键点的分层特征fh＝[fb-sift,fb-cnn-r,fb-cnn-g]的匹配函数；(8)计算所述查询图像Q与所述数据库中每一幅图像的相似度；(9)按照相似度取值从高到低的顺序对所述数据库中图像进行排序，相似度取值最高的图像被认为是与查询图像最相似，输出排序结果完成线上查询。2.根据权利要求1所述的一种基于分层卷积神经网络的图像检索方法，其特征在于，步骤(1)所述的使用自适应极化栅栏法确定全天空极光图像的k个局部关键点，得到每个局部关键点的位置信息，按如下公式进行：其中，x(i,j)和y(i,j)分别为局部关键点的横坐标和纵坐标，i为径向指数，其取值为从1到G的有序整数，G为径向指数取值的最大值，j为角度指数，其取值为从1到H的有序整数，H为角度指数取值的最大值，C为全天空极光图像的半径长度；ρ(i)为径向坐标，ρ(0)为径向坐标的初始值，△ρ为参考径向间隔，v为控制径向坐标分布的参数：当v为0时，径向间隔iv△ρ相同；当v取正值时，随着i的增大，径向间隔iv△ρ越大；当v取负值时，随着i的增大，径向间隔iv△ρ越小；θ(j)为角度坐标，θ(0)为角度坐标的初始值，△θ为参考角度间隔，w为控制角度坐标分布的正参数：当w为0时，角度间隔△θ/iw相同；当w为1时，角度间隔△θ/iw反比于径向指数i；当w大于1时，随着i的增大，角度间隔△θ/iw越小；当w小于1时，随着i的增大，角度间隔△θ/iw越大。3.根据权利要求1所述的一种基于分层卷积神经网络的图像检索方法，其特征在于，所述步骤(2)对于所述数据库中的每幅图像，以所述k个局部关键点为中心，利用SIFT描述子提取特征，得到k个局部SIFT特征，N幅图像共得到kN个局部SIFT特征，将所述kN个局部SIFT特征量化到对应的视觉单词，并确定每个视觉单词对应的所有局部关键点，包括如下步骤：(2a)对所述全天空极光数据库中每幅图像，以步骤(1)中获得的所述k个局部关键点为中心，利用SIFT描述子提取特征，得到k个局部SIFT特征，N幅图像共得到kN个局部SIFT特征；(2b)使用近似K均值聚类法对所述kN个局部SIFT特征进行聚类，每个聚类中心为一个视觉单词Wm(m＝1,…,M)，所有视觉单词组成视觉字典W＝{W1,W2,…,WM}，将每个局部SIFT特征量化到对应的视觉单词，即距离最近的聚类中心，M为所述视觉字典中视觉单词的总个数；(2c)根据量化到每个视觉单词的每个局部SIFT特征的局部关键点，确定该视觉单词对应的所有局部关键点。4.根据权利要求3所述的一种基于分层卷积神经网络的图像检索方法，其特征在于，所述步骤(4)对输入分层卷积神经网络的所...

【专利技术属性】
技术研发人员：杨曦，王楠楠，杨东，高新波，宋彬，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61