基于注意力与多尺度池化的岩渣图像处理方法和系统技术方案

本发明专利技术提供了一种基于注意力与多尺度池化的岩渣图像处理方法和系统，涉及图像处理领域，所提方法包括编码器、解码器、序列器

【技术实现步骤摘要】
基于注意力与多尺度池化的岩渣图像处理方法和系统


[0001]本专利技术涉及图像处理
，具体而言，涉及一种基于注意力与多尺度池化的岩渣图像处理方法和系统。

技术介绍

[0002]隧道设计与施工技术发展至今，应用于隧道工程建设的施工方法有多种，由于隧道施工的地质环境不同，选择的施工方法也不同。其中，掘进机施工在隧道建设中的优势日益明显，尤其对于超长距离的隧道工程，其带来的经济效益更加显著，因此随着越来越多地质复杂的长大隧道的修建，掘进机得以快速发展及应用。隧道掘进工程施工时受地质条件影响较大，在遭遇不良地质时，因不能及时调整掘进参数和掘进策略，掘进机被卡被困的情况时有发生，这使得掘进机在地质条件复杂的隧道施工过程中存在着很大的风险隐患。若能在掘进过程中实时掌握掌子面围岩条件的变化趋势，对不良地质进行预警，将会极大地降低施工风险。岩渣作为掘进破岩的直接产物，包含有丰富的地质信息，对隧道掘进施工现场产生的岩渣图像进行处理，得到岩渣粒径与形态的相关信息，为掘进机的掘进参数调整十分有价值。但是，仅依靠现有的图像识别方案无法对施工现场岩渣进行准确识别，或者识别准确率较低，无法保证施工安全。
[0003]因此，如何对施工现场的岩渣图像进行准确识别以保证施工安全成为亟待解决的技术问题。

技术实现思路

[0004]本专利技术旨在至少解决现有技术或相关技术中存在的技术问题之一，公开了一种基于注意力与多尺度池化的岩渣图像处理方法和系统，以岩渣图像识别为重点，为掘进机在掘进围岩过程中提供技术参考以调整掘进参数，本专利技术对提高掘进机施工的智能化水平、保证掘进机安全高效掘进具有重要意义。
[0005]本专利技术中涉及的一些术语解释：
[0006]U
‑
Net模型：U
‑
Net具有对称性编码器
‑
解码器结构。编码器算法遵循卷积网络的典型架构，由两个3
×
3的卷积(无填充卷积)重复组成，卷积过程中将特征通道的数量翻倍，每个卷积之后是一个ReLU单元和一个2
×
2的最大池化操作，池化操作的步幅为2，用于下采样。解码器中的每一步都包括一个特征映射的上采样操作，然后是将特征通道数量减半的两个3
×
3的卷积，每个卷积后面都有一个ReLU。最后一层使用1
×
1卷积将最后64通道的特征向量映射到所需的类数量。网络总共有23个卷积层，通常根据特征向量的尺寸被划分为五层，编码器和解码器中相同尺寸的特征向量，由跳跃连接相融合。
[0007]U
‑
Net网络以其特有的结构在图像分割领域取得了的成就，但同时这种网络结构也具有一定缺点。首先，U
‑
Net及其变体的一个常见限制是，为了学习更加抽象的特征表示，连续的池化操作或卷积操作降低了特征分辨率。尽管这种操作有利于分类或目标检测任务，但它常常阻碍需要丰富空间信息的密集预测任务。直观地说，在中间阶段保持高分辨率
的特征图可以提高分割性能。但是，它增加了特征图的大小，对于加速训练和缓解优化的难度来说并不是最优的。因此，在加速训练和保持高分辨率之间需要权衡。一般来说，U
‑
Net是编码器
‑
解码器结构。编码器的目标是逐步降低特征图的空间维数，捕获更多的高级语义特征。解码器的目标是恢复物体的细节和空间维度。因此，为了提高图像分割的性能，在编码器中捕获更多的高级特征，在解码器中保留更多的空间信息是很有必要的。原则上，高级特征包含丰富的语义信息但缺乏足够的分辨率，而低级特征包含丰富空间细节但缺乏全局语义信息。尽管在U
‑
Net系列网络中，空间信息可以通过跳跃连接来保存，但在浅层和深层特征之间存在的语义差距。常见的跳跃连接通常直接进行融合，这可能会添加太多无关的背景噪声。随着网络的加深，U
‑
Net网络的深层和浅层特征之间的差异逐渐变大，U
‑
Net网络中的普通跳跃连接不能很好地促进收缩路径和扩展路径中特征向量的融合，尤其是第一层的跳跃连接，它们具有最大卷积网络的跨度和最大语义的差异，并且对特征向量的融合有更高的要求。由于U
‑
Net网络的这些限制，使这种类型网络不能很好的处理岩渣图像这种语义变化较大，目标杂乱的图像。
[0008]序列器
‑
卷积（Sequencer
‑
Conv module，SC）算法：对于具有变化较多的图像，序列器分支提取浅层特征中的上下文信息，以获得更多的全局信息，卷积分支提取浅层特征的局部信息，然后将局部和全局特征进行聚合。该算法从浅层特征中提取了丰富的局部和全局特征，对于提高分割精度至关重要。尽管各种基于CNN的网络具有执行局部特征表示的能力，但它们仍然受到固定的感受野的限制。Transformer的提出弥补了CNN对全局信息提取上的不足。Transformer最初是用于自然语言处理，由于其出色的性能，Transformer也被用于图像分割。许多方法改进了用于图像分割的Transformer，并取得了令人满意的结果。Sequencer作为Transformer变体的一种，Sequencer利用长短期记忆机制（Long short
‑
term memory，LSTM）进行计算机视觉处理。与Transformer不同，Sequencer模型的长期依赖处理使用的是LSTM而不是自我关注层。很多实验表明，使用LSTM可以在建模长期依赖性方面实现竞争性性能，这对于上下文信息的提取具有重要作用，进而在全局信息提取上展现出优势。
[0009]多尺度池化（Multi
‑
kernel pooling module，MP）算法：U
‑
Net网络缺乏有效提取上下文信息的能力，多尺度网络最常用的一种方式是通过不同大小的感受野进行上下文特征提取，最后将各个分支的特征图像进行融合，典型的结构有Inception结构，该结构分别使用1
×
1的卷积，3
×
3的卷积，5
×
5的卷积和3
×
3的最大池化，将这四个分支对输入分别提取特征后进行融合。多尺度池化算法使用2
×
2、3
×
3、4
×
4三种不同大小感受野的池化操作来获取多尺度上下文信息，再将三个分支获取的特征与MP算法的输入进行融合，作为下一层的输入。多尺度算法通过修改scale控制参数（control parameter），来改变感受野的大小，通过不同尺度的感受野获取更加丰富的特征，以捕获更多细节。
[0010]像素注意力（Pixel attention module，PA）算法：从大量输入信息里面选择小部分的有用信息来重点处理，并忽略其他信息，这种能力就叫做注意力（Attention）。注意力算法模型的中心思想是在输入序列中引入注意力权重，来对具有相关信息的位置集合进行优本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力与多尺度池化的岩渣图像处理方法，其特征在于，包括：改进U
‑
Net模型，采用序列器
‑
卷积算法对输入的岩渣图像进行全局语义信息和局部细节信息的提取，输出第一运算结果；采用多尺度池化算法处理编码器算法输出的运算结果，获取更多上下文信息以弥补连续的卷积和池化带来的空间细节信息丢失，输出第二运算结果；采用像素注意力算法处理上述第二运算结果，有选择地关注岩渣特征信息，过滤背景信息和噪声，输出第三运算结果；第三运算结果经过解码器算法处理，与第一运算结果融合，得到分割图像；对所述分割图像进行先腐蚀后膨胀的处理，过滤所述分割图像上的噪点；对过滤噪点后的所述分割图像进行最小外接矩阵处理，以实现对岩渣碎块的标记。2.根据权利要求1所述的基于注意力与多尺度池化的岩渣图像处理方法，其特征在于，所述采用序列器
‑
卷积算法对输入的岩渣图像进行全局语义信息和局部细节信息的提取，输出第一运算结果的步骤，具体包括：所述岩渣图像通过双层卷积块，得到通道数为64的特征图X1，其中，每个双层卷积块均进行两次3
×
3的卷积操作，包括Batch Normalization和ReLU；将特征图X1通过一次1
×
1的卷积，再通过split操作分为两组特征向量X
s_in
和X
c_in
，尺寸不变，通道数各变为一半，X
s_in
进入Sequencer分支提取更加完整的全局信息得到X
s_out
，X
c_in
经过两次3
×
3的卷积获取详细的局部信息得到X
c_out
；将X
s_out
与X
c_out
进行concat操作后，再通过一次1
×
1的卷积，并与X1融合得到序列器
‑
卷积算法的输出结果X
sc_out
。3.根据权利要求2所述的基于注意力与多尺度池化的岩渣图像处理方法，其特征在于，所述采用多尺度池化算法处理所述编码器算法输出的运算结果，获取更多上下文信息以弥补连续的卷积和池化带来的空间细节信息丢失，输出第二运算结果的步骤，具体包括：对特征图X1进行下采样和双层卷积的操作得到长和宽缩小一倍，通道数增加一倍的特征图X2；对特征图X2进行下采样和双层卷积的操作得到长和宽缩小一倍，通道数增加一倍的特征图X3；对特征图X3进行下采样和双层卷积的操作得到长和宽缩小一倍，通道数增加一倍的特征图X4；将特征图X4分别进行内核为2
×
2，3
×<...

【专利技术属性】
技术研发人员：张艳，蓝庆艳，
申请(专利权)人：天津城建大学，
类型：发明
国别省市：