多解码器全卷积神经网络及其相应的细观结构识别方法技术

本发明专利技术提出了一种多解码器全卷积神经网络及其相应的细观结构识别方法，将该多解码器全卷积神经网络用于陶瓷基复合材料预制体XCT切片的语义分割，并确定了网络结构的初始化方法、类别平衡、训练方法等。本发明专利技术解决了不同解码器带来的特征图中边缘模糊或者内容信息丢失的问题，结合深度学习和语义分割任务提高细观结构识别的准确率，增强算法的鲁棒性。本发明专利技术提供的多解码器全卷积神经网络可以用于不同编织类型的陶瓷基复合材料预制体，包括2.5维编织、三维四向编织结构等全部类型，适用范围广，识别的细观结构包括纤维束（经纱和纬纱）、孔洞、基体。

【技术实现步骤摘要】
多解码器全卷积神经网络及其相应的细观结构识别方法
本专利技术属于陶瓷基复合材料预制体细观结构识别领域，具体涉及一种用于编织陶瓷基复合材料XCT切片语义分割的多解码器全卷积神经网络。
技术介绍
陶瓷基复合材料(CMCs)复杂预制体的结构包括2.5D编织、三维四向编织等结构，其结构及预制体的细观组分决定了材料的力学性质及失效机制，在有限元分析模型中尽可能准确的考虑材料的内部真实结构已成为一种趋势。XCT扫描是一种无损检测方法，可以在不破坏材料的基础上准确观测到材料内部的真实细观结构。将扫描出的陶瓷基复合材料预制体的一系列XCT切片进行细观结构识别，即识别出预制体的每一种细观结构包括纤维、基体、孔洞。在计算机识别领域，将图片的每一个像素赋予相应类别的技术称为语义分割。语义分割后，得到的图片中不同的颜色代表不同的类别，使得更好地快速了解预制体的内部结构，对复杂预制体准确建立三维模型具有重要意义。对于2.5D编织结构一些学者通过Ostu最大阈值分割法对于2.5的编织结构XCT图片进行细观结构，并建立三维模型。如中国专利申请号为“201610838554.8”，专利技术名称为“一种复合材料细观结构的计算机图像识别技术和三维建模方法”的专利。该方法首先识别2.5D编织结构XCT图片基体部分，编号基体部分，利用基体左右对称性对其进行配对，选择基体合适的上下边界点进行边界拟合，基体上下之间的是经纱，左右之间是纬纱。然而，该方法由于对基体的识别采用了对称性，这就使得倘若切片中的基体部分只包括左半部分或者右半部分时，识别算法即失效。并且，其只是适用于2.5D结构，适用范围窄。对于三维四向编织结构，一些学者根据预先设定的几何参数建立三维编织复合材料单胞理论模型，与经过阈值和去噪处理的XCT切片图进行计算比对，更改理论模型的预设值，通过优化算法得到最后的识别效果图。如中国专利申请号为“201810537212.1”，专利技术名称为“一种复合材料细观结构的计算机图像识别技术和三维建模方法”的专利。然而，在使用阈值分割的识别过程中，XCT图片中的不同细观结构的灰度变化范围是很大的，对于每一张切片寻找一个最优的阈值进行分割是困难的。并且，其识别方法只适用在三维结构中。随着深度学习在物体识别和语义分割方面的成功以及数据集的不断增加，在计算机视觉领域深度学习中的卷积神经网络吸引了越来越多的人进行研究。语义分割神经网络包括FCN、SegNet、U-Net等，以上网络均是单解码器全卷积神经网络。其中，FCN和U-Net是将深层与浅层的特征通道相连接，SegNet是将解码器部分的特征映射与编码器部分最大池化索引相结合来锐化物体边缘，得到具有浅层边缘和深层高级语义信息的特征图。然而，不管是深层与浅层的通道连接的解码器，还是采用池化索引方法的解码器，均会造成不同类型信息的丢失，不能最大保证信息的全面性。实验证明，将以上网络直接应用在陶瓷基复合材料复杂预制体的细观结构识别上得到的准确度是不理想的。综上，目前的识别算法很多都是适用在某一种或者某一类的编织结构中，适用范围窄。并且，将深度学习卷积神经网络的内容应用在陶瓷基复合材料预制体的识别方面研究未见报道。因此，基于深度学习的陶瓷基复合材料复杂预制体XCT切片的语义分割需要进一步研究。
技术实现思路
本专利技术针对现有技术中的不足，提供一种多解码器全卷积神经网络用于陶瓷基复合材料预制体XCT切片的语义分割，并确定了网络结构的初始化方法、类别平衡、训练方法等，解决了不同解码器带来的特征图中边缘模糊或者内容信息丢失的问题，结合深度学习和语义分割任务提高细观结构识别的准确率，增强算法的鲁棒性。该多解码器全卷积神经网络可以用于不同编织类型的陶瓷基复合材料预制体，包括2.5维编织、三维四向编织结构等全部类型，适用范围广，识别的细观结构包括纤维束(经纱和纬纱)，孔洞，基体。为实现上述目的，本专利技术采用以下技术方案：多解码器全卷积神经网络，其特征在于：由一个编码器网络和三个解码器网络组成；所述编码器网络依次由五个编码器和一个用来压缩特征通道的1x1卷积层构成，前四个编码器均依次由两个卷积层和一个池化层构成，第五个编码器由两个卷积层构成，每个编码器的两个卷积层特征通道数目相同，每个编码器的第一个卷积层之后采用非线性处理，第二个卷积层之后采用批正则化和非线性处理，之后进行最大池化来缩小图片分辨率；所述三个解码器网络分别为：最大池化索引解码器网络、通道连接解码器网络、通道融合解码器网络；所述最大池化索引解码器网络依次由四个最大池化索引解码器构成，每个最大池化索引解码器均依次由一个上采样层和两个卷积层构成，每个最大池化索引解码器的两个卷积层特征通道不同；首先采用双线性上采样放大图片，并将编码器网络在池化过程中得到的池化索引与索引值赋予上采样特征通道的对应位置；在前三个最大池化索引解码器中，每个最大池化索引解码器第一个卷积层的数据来自于前一层上采样层得到的特征通道，之后采用非线性处理，第二个卷积层之后采用批正则化以及非线性处理；其中，第四个最大池化索引解码器卷积层之后仅采用非线性处理，其他操作与前三个最大池化索引解码器相同；所述通道连接解码器网络依次由四个通道连接解码器构成，每个通道连接解码器均依次由一个反卷积层和两个卷积层构成，每个通道连接解码器的两个卷积层特征通道数目相同，与前四个编码器对称；首先采用反卷积放大图片，每个通道连接解码器第一个卷积层的数据来自于反卷积层放大后的特征通道以及编码器网络对称位置的特征通道，且来自编码器的特征通道使用1x1卷积进行通道压缩，然后将两者特征通道进行连接，并采用非线性处理；在前三个通道连接解码器中，每一个通道连接解码器最后一个卷积层采用批正则化和非线性处理；其中，第四个通道连接解码器卷积层之后仅采用非线性处理，其他操作与前三个通道连接解码器相同；所述通道融合解码器网络依次由四个通道融合解码器构成，前三个通道融合解码器均依次由一个卷积层和一个反卷积层构成，第四个通道融合解码器由一个卷积层组成，每个卷积层和反卷积层之后均采用非线性处理，每个通道融合解码器的数据由每个最大池化索引解码器和每个通道连接解码器的最后一个卷积层特征通道融合而成，即对应通道相加，并采用1x1卷积将通道压缩为要分类的细观结构数目，然后和上一个通道融合解码器得到的特征通道相加。同时，本专利技术还提出了基于如上所述的多解码器全卷积神经网络的语义分割的陶瓷基复合材料预制体的细观结构识别方法，其特征在于，包括以下步骤：步骤一、构造用于训练陶瓷基复合材料的XCT图像数据集；步骤二、对于语义分割数据集进行数据增强的预处理，使得图像数据集更加全面；步骤三、使用不同的网络对不同编织结构的预制体进行语义分割；步骤四、建立用于陶瓷基复合材料预制体语义分割的多解码器全卷积神经网络的网络模型，进行调试，确保模型可以正常运行；步骤五、按照上述网络模型，在caffe神经网络框架中，构建多解码器全卷积神经网络；步骤六、使用Adam随机梯度算法对多解码器全卷积神经网络进行训练，使用MSRA方法对神经网络的权重进行初始化，使用constant方法对神经网络的的偏置值进行初始化，训练完成后得到权重文件；步骤七、根据每个像素的细观结构概率确定对应像素的类别，最后得到完本文档来自技高网...

【技术保护点】
1.多解码器全卷积神经网络，其特征在于：由一个编码器网络和三个解码器网络组成；所述编码器网络依次由五个编码器和一个用来压缩特征通道的1x1卷积层构成，前四个编码器均依次由两个卷积层和一个池化层构成，第五个编码器由两个卷积层构成，每个编码器的两个卷积层特征通道数目相同，每个编码器的第一个卷积层之后采用非线性处理，第二个卷积层之后采用批正则化和非线性处理，之后进行最大池化来缩小图片分辨率；所述三个解码器网络分别为：最大池化索引解码器网络、通道连接解码器网络、通道融合解码器网络；所述最大池化索引解码器网络依次由四个最大池化索引解码器构成，每个最大池化索引解码器均依次由一个上采样层和两个卷积层构成，每个最大池化索引解码器的两个卷积层特征通道不同；首先采用双线性上采样放大图片，并将编码器网络在池化过程中得到的池化索引与索引值赋予上采样特征通道的对应位置；在前三个最大池化索引解码器中，每个最大池化索引解码器第一个卷积层的数据来自于前一层上采样层得到的特征通道，之后采用非线性处理，第二个卷积层之后采用批正则化以及非线性处理；其中，第四个最大池化索引解码器卷积层之后仅采用非线性处理，其他操作与前三个最大池化索引解码器相同；所述通道连接解码器网络依次由四个通道连接解码器构成，每个通道连接解码器均依次由一个反卷积层和两个卷积层构成，每个通道连接解码器的两个卷积层特征通道数目相同，与前四个编码器对称；首先采用反卷积放大图片，每个通道连接解码器第一个卷积层的数据来自于反卷积层放大后的特征通道以及编码器网络对称位置的特征通道，且来自编码器的特征通道使用1x1卷积进行通道压缩，然后将两者特征通道进行连接，并采用非线性处理；在前三个通道连接解码器中，每一个通道连接解码器最后一个卷积层采用批正则化和非线性处理；其中，第四个通道连接解码器卷积层之后仅采用非线性处理，其他操作与前三个通道连接解码器相同；所述通道融合解码器网络依次由四个通道融合解码器构成，前三个通道融合解码器均依次由一个卷积层和一个反卷积层构成，第四个通道融合解码器由一个卷积层组成，每个卷积层和反卷积层之后均采用非线性处理，每个通道融合解码器的数据由每个最大池化索引解码器和每个通道连接解码器的最后一个卷积层特征通道融合而成，即对应通道相加，并采用1x1卷积将通道压缩为要分类的细观结构数目，然后和上一个通道融合解码器得到的特征通道相加。...

【技术特征摘要】
1.多解码器全卷积神经网络，其特征在于：由一个编码器网络和三个解码器网络组成；所述编码器网络依次由五个编码器和一个用来压缩特征通道的1x1卷积层构成，前四个编码器均依次由两个卷积层和一个池化层构成，第五个编码器由两个卷积层构成，每个编码器的两个卷积层特征通道数目相同，每个编码器的第一个卷积层之后采用非线性处理，第二个卷积层之后采用批正则化和非线性处理，之后进行最大池化来缩小图片分辨率；所述三个解码器网络分别为：最大池化索引解码器网络、通道连接解码器网络、通道融合解码器网络；所述最大池化索引解码器网络依次由四个最大池化索引解码器构成，每个最大池化索引解码器均依次由一个上采样层和两个卷积层构成，每个最大池化索引解码器的两个卷积层特征通道不同；首先采用双线性上采样放大图片，并将编码器网络在池化过程中得到的池化索引与索引值赋予上采样特征通道的对应位置；在前三个最大池化索引解码器中，每个最大池化索引解码器第一个卷积层的数据来自于前一层上采样层得到的特征通道，之后采用非线性处理，第二个卷积层之后采用批正则化以及非线性处理；其中，第四个最大池化索引解码器卷积层之后仅采用非线性处理，其他操作与前三个最大池化索引解码器相同；所述通道连接解码器网络依次由四个通道连接解码器构成，每个通道连接解码器均依次由一个反卷积层和两个卷积层构成，每个通道连接解码器的两个卷积层特征通道数目相同，与前四个编码器对称；首先采用反卷积放大图片，每个通道连接解码器第一个卷积层的数据来自于反卷积层放大后的特征通道以及编码器网络对称位置的特征通道，且来自编码器的特征通道使用1x1卷积进行通道压缩，然后将两者特征通道进行连接，并采用非线性处理；在前三个通道连接解码器中，每一个通道连接解码器最后一个卷积层采用批正则化和非线性处理；其中，第四个通道连接解码器卷积层之后仅采用非线性处理，其他操作与前三个通道连接解码器相同；所述通道融合解码器网络依次由四个通道融合解码器构成，前三个通道融合解码器均依次由一个卷积层和一个反卷积层构成，第四...

【专利技术属性】
技术研发人员：高希光，贾蕴发，宋迎东，张盛，董洪年，于国强，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏,32