基于深度学习的多能X射线图像融合方法及装置制造方法及图纸

本发明专利技术涉及一种基于深度学习的多能X射线图像融合方法及装置，采集不同工件的不同能量X射线图作为训练数据集；将训练数据集的X射线图输入编码器，训练编码器和解码器，待训练网络稳定后，获得训练好的编码器和解码器；在训练好的编码器和解码器之间添加结合通道注意力和基于模糊熵的空间注意力的融合策略；输入不同能量的X射线图至训练好的编码器提取特征，再使用结合通道注意力和基于模糊熵的空间注意力的融合策略融合特征图，融合后的特征图再进入训练好的解码器输出融合结果。通过本发明专利技术方法及装置处理图像，能够有效反映工件信息，提高检测准确率。提高检测准确率。提高检测准确率。

Multi energy X-ray image fusion method and device based on deep learning

【技术实现步骤摘要】
基于深度学习的多能X射线图像融合方法及装置


[0001]本专利技术涉及一种基于深度学习的多能X射线图像融合方法及装置。

技术介绍

[0002]复杂结构的重要部件在航天、国防和工业应用领域发挥着不可替代的作用，生产厂家在制造这些工件时需要严格把控质量，X射线常被视为质量检测的工具。数字化X射线成像技术能完成一系列诸如缺陷检测和内部结构分析的工作，但受工件结构和材料方面的制约，大厚度比的检测对象在单能系统下存在过曝光和曝光不足的现象，难以反映全面的结构信息。具体的：在X射线图中，工件中较厚区域显示良好时，较薄的地方只有小部分X射线被吸收，可能出现曝光过度；相反，当工件较薄处显示良好时，较厚区域无法保证X射线穿过后的剩余强度，可能表现为曝光不足。图像融合能将不同传感器或同一传感器在不同成像条件下的信息融合起来，较好的提升图像分辨率和清晰度，增强和相互补充图像的相关特征。融合不同能量照射下的X射线图像能较好地解决工件检测时过曝光和曝光不足共存的问题。有两个重要因素决定了图像融合的最终结果：一是如何检测和提取源图像中的信息，二是设计合适的规则来融合提取的特征信息。
[0003]现有技术中，公开且较流行的图像融合方法可分为5类：空间域处理算法、变换域处理算法、稀疏表示算法、深度学习算法和复合算法。空间域处理算法以原始图像的像素点为基本单位，直接处理图像，典型例子是采用加权平均来获得融合权值图，处理速度快但容易引入噪声且很难自适应得确定每个特征的重要性。在变换域进行的图像融合方法用计算过程的复杂性换取相对较多细节的保留。基于分块的稀疏表示算法通过稀疏系数特征来融合图像，过程简单，但算法受分块策略和块尺寸大小的影响，常被不必要的背景信息干扰，训练得到的字典包含过多的不必要特征，融合结果存在空间上的不连续性，有时还含有黑边，不利于实际应用。基于深度学习的方法在红外与可见光图像融合、医学图像融合和多焦点图像融合上有着较多应用，体现出较好的融合效果和不错的鲁棒性，而深度学习下的多能X射线图像融合方法的公开文献资料有限。大多基于X射线的工件检测方法通过递增X管电压来获取不同厚度范围的透照子图，并通过子图的加权融合得到融合结果，但加权融合过程可能导致图像深度范围远远超过设备的显示能力，无法完整显示工件的结构信息。

技术实现思路

[0004]本专利技术的专利技术目的在于提供一种基于深度学习的多能X射线图像融合方法及装置，能够有效反映工件信息，提高检测准确率。
[0005]基于同一专利技术构思，本专利技术具有两个独立的技术方案：
[0006]1、一种基于深度学习的多能X射线图像融合方法，一种基于深度学习的多能X射线图像融合方法，包括如下步骤：
[0007]步骤1：采集不同工件的不同能量X射线图作为训练数据集；
[0008]步骤2：将训练数据集的X射线图输入编码器，训练编码器和解码器，待训练网络稳
定后，获得训练好的编码器和解码器；
[0009]步骤3：在训练好的编码器和解码器之间添加结合通道注意力和基于模糊熵的空间注意力的融合策略；
[0010]步骤4：输入不同能量的X射线图至训练好的编码器提取特征，再使用结合通道注意力和基于模糊熵的空间注意力的融合策略融合特征图，融合后的特征图再进入训练好的解码器输出融合结果。
[0011]进一步地，步骤2中，编码器由主支路和辅支路组成，所述主支路先用一个1
×
1卷积层对输入图像升高特征通道数，再用4层多尺度卷积块提取图像的全局特征；所述辅支路对输入图像使用可训练的边缘检测算子增强边缘信息，获得与主支路相同维度的特征图，辅支路与主支路唯一不同的是用可训练的边缘检测算子替代主支路的起始卷积层。
[0012]进一步地，步骤2中，编码器主支路和辅支路提取的特征相加后进入解码器，在解码器末端卷积层将图像通道数改为单通道，输出重建图像。
[0013]进一步地，步骤2中，辅支路采用的边缘检测算子为Sobel算子、Laplacian算子、Canny算子或LOG算子。
[0014]进一步地，步骤2中，主支路和辅支路均连接密集旁路，所述旁路用于提升特征复用能力。
[0015]进一步地，步骤2中，多尺度卷积块具有四条分支，每个卷积块均由卷积层、激活函数和批量归一化层组成。
[0016]进一步地，步骤2中，卷积块的激活函数采用Sigmoid函数，Relu函数，Tanh函数，Softmax函数或Leaky Relu函数。
[0017]进一步地，步骤2中，指导网络训练的复合损失函数由L1损失函数和基于图像块的一致性损失函数加权组合而成；所述基于图像块的一致性损失函数用于计算输入图像局部能量图和输出图像局部能量图的L1范数值损失，所述局部能量图中像素点计算方式为，一个图像块内的邻域像素与中间像素差值的平方和，再求平均。
[0018]进一步地，步骤3中，结合通道注意力和基于模糊熵的空间注意力的融合策略具体为，将特征图分别使用通道注意力模块和基于模糊熵的空间注意力模块进行融合，并将所述两个融合模块的输出取均值，作为特征图融合结果。
[0019]2、一种基于深度学习的多能X射线图像融合装置，用于执行上述方法。
[0020]本专利技术具有的有益效果：
[0021]本专利技术采集不同工件的不同能量X射线图作为训练数据集；将训练数据集的X射线图输入编码器，训练编码器和解码器，待训练网络稳定后，获得训练好的编码器和解码器；在训练好的编码器和解码器之间添加结合通道注意力和基于模糊熵的空间注意力的融合策略；输入不同能量的X射线图至训练好的编码器提取特征，再使用结合通道注意力和基于模糊熵的空间注意力的融合策略融合特征图，融合后的特征图再进入训练好的解码器输出融合结果。本专利技术利用神经网络强大的特征提取能力和结合通道注意力和基于模糊熵的空间注意力的特征融合策略，在考虑算法复杂度的同时很好的融合了工件不同能量X射线图中的有效信息，并且融合后的图像有着丰富的边缘细节，提出的算法对不同融合对象也表现出较强的鲁棒性，克服了外形不均匀且内部结构复杂工件的过曝光和曝光不足问题，完整清晰的显示复杂构件的内部信息，较大程度的提升了工件内部缺陷检测和测量的准确
率。
[0022]本专利技术编码器由主支路和辅支路组成，所述主支路先用一个1
×
1卷积层对输入图像升高特征通道数，再用4层多尺度卷积块提取图像的全局特征；所述辅支路对输入图像使用可训练的边缘检测算子增强边缘信息，获得与主支路相同维度的特征图；主支路和辅支路均连接密集旁路，所述旁路用于提升特征复用能力。本专利技术主支路采用4层多尺度卷积块提取图像的全局特征，通过辅支路增强图像边缘信息，进一步保证对图像特征的有效提取。
[0023]本专利技术结合通道注意力和基于模糊熵的空间注意力的融合策略具体为，将特征图分别使用通道注意力模块和基于模糊熵的空间注意力模块进行融合，并将所述两个融合模块的输出取均值，作为特征图融合结果。本专利技术通过上述融合策略，进一步保证很好融合了工件不同能量X本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的多能X射线图像融合方法，其特征在于，包括如下步骤：步骤1：采集不同工件的不同能量X射线图作为训练数据集；步骤2：将训练数据集的X射线图输入编码器，训练编码器和解码器，待训练网络稳定后，获得训练好的编码器和解码器；步骤3：在训练好的编码器和解码器之间添加结合通道注意力和基于模糊熵的空间注意力的融合策略；步骤4：输入不同能量的X射线图至训练好的编码器提取特征，再使用结合通道注意力和基于模糊熵的空间注意力的融合策略融合特征图，融合后的特征图再进入训练好的解码器输出融合结果。2.根据权利要求1所述的基于深度学习的多能X射线图像融合方法，其特征在于：步骤2中，编码器由主支路和辅支路组成，所述主支路先用一个1
×
1卷积层对输入图像升高特征通道数，再用4层多尺度卷积块提取图像的全局特征；所述辅支路对输入图像使用可训练的边缘检测算子增强边缘信息，获得与主支路相同维度的特征图，辅支路与主支路唯一不同的是用可训练的边缘检测算子替代主支路的起始卷积层。3.根据权利要求2所述的基于深度学习的多能X射线图像融合方法，其特征在于：步骤2中，编码器主支路和辅支路提取的特征相加后进入解码器，在解码器末端卷积层将图像通道数改为单通道，输出重建图像。4.根据权利要求2所述的基于深度学习的多能X射线图像融合方法，其特征在于：步骤2中，辅支路采用的边缘检测算子为Sobel算子、Laplacian算子、Canny算子或LOG算子。...

【专利技术属性】
技术研发人员：刘祎，刘宇航，桂志国，张权，颜溶標，
申请(专利权)人：中北大学，
类型：发明
国别省市：