一种岩石图像检索方法及其系统技术方案

本发明专利技术公开了一种岩石图像检索方法，包括：实时获取图像数据，将图像数据输入到训练好的深度学习网络模型中，得到检索的结果图；所述述深度学习网络模型的训练过程包括：利用已收集的图像数据构建岩石图像数据集；将数据集输入到网络中，通过空间转移模块处理后，使网络能够主动地在空间上转换特征映射；将处理后的数据输入多粒度网络中，计算模型的总损失函数和mAP值，经过多次计算，当损失函数趋于稳定，且mAP值达到峰值时，完成深度学习网络模型的训练；本发明专利技术避免了仅利用表征对岩石图像进行分类，同时对岩石图像的细粒度特征有更精确的提取，有助于在有杂物遮挡、样本数量较少和质量较低、信息缺失等情况下提高岩石图像的检索准确率。

【技术实现步骤摘要】
一种岩石图像检索方法及其系统
本专利技术涉及计算机视觉技术中的图像检索领域，特别涉及一种岩石图像检索方法及其系统。
技术介绍
中国拥有着963.4057万平方公里的陆地面积，有着丰富多彩的地质现象，同时也有着国家地质公园214处。然而由于地质相对专业化，大多数人缺乏基本常识，让普通人即便身处其中也无法对地质有一个具象的认识。所以岩石图像的识别与检索具有重大的意义。随着信息时代的到来以及大数据时代数据量的爆炸增长，地质工作中岩样图像的检索与管理变得尤为重要，这既方便了专业人士在海量数据中有效的检索与组织管理岩石图像，也能够为非专业人士便利，同时也为普及地质知识做出了巨大贡献。但由于岩石图像的特殊性，有效的样本较少，样本质量也偏低，这给我们工作带来了很大的难度。近年来，随着深度学习的发展与新的神经网络的提出，并广泛的应用于图像检索领域。例如专利申请号为CN201811616888.6的《一种岩石种类智能区分识别及定位方法》公布了对多个岩石数字图像进行增强处理；用矩形框对测试集和训练集中图像中的每块岩石进行标注，并记录矩形框信息；通过基础特征提取网络对训练集中的图像进行特征提取；通过RPN网络对岩石特征图像进行区域建议提取；将处理后的训练集作为输入，采用交替训练法对FastR-CNN网络和RPN网络进行联合训练，获得训练好的网络模型；采用训练好的网络模型对待检测的原始岩石数字图像进行识别及岩石位置确定。该专利解决了现有技术不能识别多类岩石混合场景下的岩石种类和岩石定位难题，同时也提高了岩石种类识别的效率。但是该专利仅利用岩石的表面特征进行分类，如轮廓，颜色等粗粒度特征，不能够很好的描述岩石图像深层次的语义信息；岩石图像标注的困难且数据量少导致训练的模型缺乏鲁棒性；忽略了局部特征对于整体岩性的影响。
技术实现思路
为解决以上现有技术的问题，本专利技术为一种岩石图像检索方法，包括：实时获取图像数据，将图像数据输入到训练好的深度学习网络模型中，得到检索的结果图；所述述深度学习网络模型的训练过程包括：利用已收集的图像数据构建岩石图像数据集；将数据集输入到网络中，通过空间转移模块处理后，得到什么样的数据；将处理后的数据输入多粒度网络中，计算深度学习网络模型的总损失函数，经过多次计算，当损失函数趋于稳定，mAP值无变化时，完成深度学习网络模型的训练。优选的，深度学习网络模型的结构包括：空间转移模块、ResNet-50特征提取结构、分块特征提取结构以及分类器；所述空间转移模块显式地允许在网络中对数据进行空间变换操作；ResNet-50特征提取结构提取进行空间变换后图像的特征；分块特征提取结构将图像特征信息进行分割，进一步提取特征和计算损失函数；分类器根据损失函数的值对图像进行分类。优选的，空间转移模块包括本地网络、网格生成器和采样器；所述本地网络为一个子网络，包括三个卷积层和一个回归层；将数据输入到本地网络中，得到变换参数；所述网格生成器为根据本地网络层输出的变换参数构建采样网格，输入图像中的点经过采样变换后得到采样变换图；将采样网格得到的采样变换图和特征图同时输入采样器中，得到了采样变换后的特征图。优选的，将处理后的数据输入多粒度网络中的过程包括：所述多粒度网络处理数据的过程共有五个模块层，前三个模块层均由9个卷积层和3个激活层组成，第四模块层将其分支为三个独立的部分，将第二部分进行二等分切割，将第三部分进行三等分切割，且第二三部分未切割之前也保留，此时总共有8个部分，第五模块层对所有部分分别进行一次降维操作，此时每一部分维度为256；分别计算8个部分的损失函数；将8个损失函数进行联合，得到深度学习网络模型的总损失函数。进一步的，前三个模块的每个模块的处理数据的过程为：stage＝Enc()+2Res()Enc()＝2Conv()+Conv(Conv())Res()＝3Conv()优选的，计算8个部分的损失函数为：将目标样本，正样本，负样本数据集分别输入到损失函数中，构建三联对比损失计算模块；将输入到Ltriplet三联对比损失计算模块进行计算，得到三个部分的损失函数值；损失函数表达式为：其余五个部分输入到Lsoftmax分类损失计算模块进行计算，其公式为：优选的，最终的损失函数的计算公式为：一种岩石图像检索系统，该系统包括：岩石图像数据获取模块、图像数据预处理模块、深度学习网络模块以及分类结果输出模块；所述岩石图像数据获取模块用于获取图像数据，并将图像数据输入到图像数据预处理模块中；所述图像数据预处理模块对图像数据进行预处理的过程包括：旋转、缩放、截取的方式对图像进行扩充，并按照命名规则对扩充后的图像进行编号将编号后的图像输入到深度学习网络模块中；所述深度学习网络模块包括空间转移模块、ResNet-50特征提模块、图像分割模块、损失函数计算模块以及图像分类模块；所述空间转移模块获取编号后的图像，求出取编号后图像的变换参数，通过变换参数求构建采样网格；将采样网格映射到输入的图像中，得到采样变换图；将采样变换图输入到ResNet-50特征提模块；所述ResNet-50特征提模块用于提取采样变换图的特征信息，得到带有特征信息的采样变换图像；将带有特征信息的采样变换图像输入到图像分割模块；所述图像分割模块将带有特征信息的采样变换图像分割为8个部分，将这8个部分输入到损失函数计算模块中；所述损失函数计算模块用于计算8个部分的损失函数，并将求出总体损失函数；并将总体的损失函数发送给图像分类模块；所述图像分类模块根据损失函数的值对图像进行对比，得到输入图像的分类结果；所述分类结果输出模块用于获取图像分类模块的分类结果，并将结果显示在显示器上。本专利技术采用空间转移模块学习图片或特征的空间变换参数，将输入图片或者学习的特征在空间上进行对齐，从而减少物体由于空间中的旋转、平移、尺度、扭曲等几何变换对检索任务的影响；采用分块切割二的方式使得对于图像细粒度的特征提取更加精准，加强了局部特征对于图像整体性的影响。附图说明图1为本专利技术方法实施的总体流程图；图2为本专利技术构建的深度学习网络模型的总体结构图；图3为本专利技术中网络总体结构图；图4为本专利技术中检索系统流程图；图5为本专利技术的系统示意图。具体实施方式下面将结合附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术为一种岩石图像检索方法，如图1所示，该方法包括：实时获取图像数据，将图像数据输入到训练好的深度学习网络模型中，得到检索的结果图；深度学习网络模型的训练过程包括：利用已本文档来自技高网...

【技术保护点】
1.一种岩石图像检索方法，其特征在于，所述方法包括：实时获取图像数据，将图像数据输入到训练好的深度学习网络模型中，得到检索的结果图；/n深度学习网络模型的训练过程包括：利用已收集的图像数据构建岩石图像数据集；将数据集输入到网络中，通过空间转移模块处理后，使网络能够主动地在空间上转换特征映射；将处理后的数据输入多粒度网络中，计算深度学习网络模型的总损失函数和mAP值，经过多次计算，当损失函数趋于稳定，且mAP值达到峰值时，完成深度学习网络模型的训练；/n其中，mAP表示多个查询的正确率的平均值。/n

【技术特征摘要】
1.一种岩石图像检索方法，其特征在于，所述方法包括：实时获取图像数据，将图像数据输入到训练好的深度学习网络模型中，得到检索的结果图；
深度学习网络模型的训练过程包括：利用已收集的图像数据构建岩石图像数据集；将数据集输入到网络中，通过空间转移模块处理后，使网络能够主动地在空间上转换特征映射；将处理后的数据输入多粒度网络中，计算深度学习网络模型的总损失函数和mAP值，经过多次计算，当损失函数趋于稳定，且mAP值达到峰值时，完成深度学习网络模型的训练；
其中，mAP表示多个查询的正确率的平均值。


2.根据权利要求1所述的一种岩石图像检索方法，其特征在于，所述深度学习网络模型的结构包括：空间转移模块、ResNet-50特征提取结构、分块特征提取结构以及分类器；
所述空间转移模块显式地允许在网络中对数据进行空间变换操作；
ResNet-50特征提取结构提取进行空间变换后图像的特征；分块特征提取结构将图像特征信息进行分割，进一步提取特征和计算损失函数；分类器根据损失函数的值对图像进行分类；
其中，ResNet-50表示深度学习网络中的特征提取网络。


3.根据权利要求1所述的一种岩石图像检索方法，其特征在于，所述空间转移模块包括本地网络、网格生成器和采样器；
所述本地网络为一个子网络，包括三个卷积层和一个回归层；将数据输入到本地网络中，得到变换参数；
所述网格生成器为根据本地网络层输出的变换参数构建采样网格，输入图像中的点经过采样变换后得到采样变换图；
将采样网格得到的采样变换图和特征图同时输入采样器中，得到了采样变换后的特征图。


4.根据权利要求1所述的一种岩石图像检索方法，其特征在于，所述将处理后的数据输入多粒度网络中的过程包括：
所述多粒度网络处理数据的过程共有五个模块层，前三个模块层均由9个卷积层和3个激活层组成，第四模块层将其分支为三个独立的部分，将第二部分进行二等分切割，将第三部分进行三等分切割，且第二三部分未切割之前也保留，此时总共有8个部分，第五模块层对所有部分分别进行一次降维操作，此时每一部分维度为256；分别计算8个部分的损失函数；将8个损失函数进行联合，得到深度学习网络模型的总损失函数。


5.根据权利要求4所述的一种岩石图像检索方法，其特征在于，前三个模块的每个模块的处理数据的过程为：






stage＝Enc()+2Res()
Enc()＝2Conv()+Conv(Conv())
Res()＝3Conv()
其中，表示特征映射，s表示步长，h表示图像高度，w表示图像宽度，Enc()代表下采样操作，表示输入图像具有n个通道且分辨率为h*w，d表示维度，Res()代表残差块连接，Conv()代表卷积操作，stage表示五个模块层的层数。


6.根据权利要求4所述的一种岩石图像检索方法，其特征在于，计算8个部分的损失函数为：
将目标样本，正样本，负...

【专利技术属性】
技术研发人员：丰江帆，肖若水，金书季，漆双，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50