【技术实现步骤摘要】
本专利技术涉及航空计算机，特别涉及一种基于深度神经网络模型的航空结构件识别方法。
技术介绍
1、航空结构件在使用深度神经网络训练识别过程中存在着数据获取困难的问题，为解决该问题采用拍摄视频的方式获取零件图片，构建零件数据集。然而在视频拍摄过程中存在大量的背景区域和杂物干扰使得数据集中数据质量不高，不利于后续识别网络的构建和训练。由于需要采集多个角度，采用的方法为：将零件放置在托盘上旋转一周并对其进行录像，该过程每次录制时长为1分钟，能够采集约1500张图像，但是由于零件图像数据集中背景杂物干扰多，直接对其进行处理速度较慢，就会导致数据处理慢效率低下。
技术实现思路
1、为了解决采集到的零件图像数据集中背景杂物干扰多，数据处理慢的问题，本专利技术提出一种基于深度神经网络模型的航空结构件图像预处理方法。
2、为了实现上述技术效果，本专利技术通过下述技术方案实现：
3、一种基于深度神经网络模型的航空结构件图像预处理方法，包括如下步骤：
4、步骤1.构建深度卷积神经网络训练及测试数据集；
5、步骤2.基于resnet-50及deeplabv3+网络结构构建深度卷积神经网络模型；
6、步骤3.训练模型，选择测试集中表现最优的网络模型；
7、步骤4.裁剪所有视频的指定帧图像，并使用深度卷积神经网络模型计算这些视频帧的掩码图像，并将掩码图像保存；
8、步骤5.按帧读取视频文件，拷贝1份保存在内存中，对视频帧进行灰
9、步骤6.计算当前目标零件位置的中心点和面积，与上一帧的目标零件位置的中心点和位置进行比较；
10、步骤7.通过比较判断零件裁剪是否正确，如果不正确，丢弃该帧图像，如果正确，继续进行下一帧读取；
11、步骤8.将目标零件区域的坐标变换至原图中，使用变换后的坐标对拷贝的原图进行裁剪，将裁剪后的零件图像保存。
12、进一步地，构建深度卷积神经网络模型，模型基于resnet-50的deeplabv3+语义分割网络，对网络模型进行改造，增强网络对图像的深层次特征的融合，模型的输入为长宽均为512像素大小的彩色图片，输出为长宽均为512像素大小的单通道图片；
13、随机选择200个视频，将这200个视频的第一帧图像裁剪下来，对这些图像按照训练集占比80％测试集占比20％进行划分，训练集和测试集中不交叉，对训练集和测试集进行标注，其中托盘区域为白色，背景区域为黑色。
14、使用训练集对搭建的模型进行训练，训练轮次为100轮，损失函数选择交叉熵函数，学习率设置为0.001；每训练完一轮后保存该轮模型的训练结果，使用测试集对该结果进行测试，记录测试集上的损失函数值；训练完毕后选择最小损失函数对应的权重文件作为最终权重文件，其余权重文件删除。
15、对所有采集到的视频的第0,350,700,1050帧图像进行裁剪，并将其保留在同一个文件夹下，命名方式为视频名称加上该帧在整个视频中的顺序；
16、调用保存好的参数文件和模型，将所有的帧压缩至长宽均为512像素的图片，将其输入给模型进行运算，运算后的结果存储在另一个文件夹下，文件名称不变；
17、读取视频，将视频帧拷贝一份，将视频帧灰度化处理，并将其压缩至长宽均为512像素；读取该视频名称所对应掩码图片组，将其按照裁剪帧位置从小到大排列，每过350帧图片换一张掩码图；使用该掩码图跟灰度化后的视频帧进行与运算。然后使用阈值分割，寻找最大边界所围成的面积。获取围成该最大面积轮廓在长和宽上的最小值及最大值；
18、根据最大轮廓在长和宽上的最大值及最小值所围成的矩形区域，计算该矩形区域的面积和中心点位置。将上一帧图像的面积大小和中心点位置作为当前帧面积大小和中心点位置的参考值。当前帧的面积和中心点位置与上一帧的面积和位置之间的差距较小时视为裁剪正确，否则视为错误，其中第一帧默认裁剪正确；
19、如果裁剪正确，将最大轮廓在长和宽上的最大值及最小值通过变化得到目标零件区域在原图中的位置，从拷贝的视频帧中将该区域裁剪下来，保存在指定文件夹下。
20、进一步地，深度卷积神经网络模型中包括5个encoderblock和3个decoderblock，其中encoderblock4的输出和encoderblock5的输出使用1*1的卷积核进一步融合，其结果跟aspp结构的输出进一步融合，传输给decoderblock1，decoderblock1同时接收来自encoderblock3的输出作为输入；decoderblock2接收来自encoderblock2的输出和decoderblock1的输出，encoderblock3只接收decoderblock2的输出，最终输出目标语义分割图像。
21、再进一步地，深度卷积神经网络模型的解码内容为：decoderblock1接收来特征图深度融合后的输出结果和encoderblock3的输出作为输入数据，对来自aspp图像空间金字塔的特征图首先进行步长为2的上采样，将特征图大小调整至长宽均为64像素，将其与encoderblock3模块的输出进行堆叠，然后对堆叠的数据使用256个3*3的卷积核对其进行卷积，提取特征输出给decoderblock2；
22、decoderblock2接收来自encoderblock2的输出和decoderblock1的输出作为输入，对decoderblock1的输出做步长为2的上采样，将特征图调整至长宽均为128像素，使其与encoderblock2的输出进行堆叠，使用128个3*3大小的卷积核对特征图进行解码，输出给下一个decoderbolck3；
23、decoderbolck3只接收来自decoderblock2的输出作为输入，对decoderblock2的输出进行步长为4的上采样，将特征图大小调整至长宽均为512大小，使用三个卷积核大小为3*3卷积核个数依次为64,32,1的卷积层对输入进行卷积，其中最后一层卷积层的激活函数为softmax激活函数，最终输出长宽均为512大小的单通道图片。
24、进一步地，步骤4中视频处理掩码帧获取：对所有的视频提取视频的第0,350,700,1050帧图像，并将其命名为视频名称加上下划线加上所在帧数命名。
25、再进一步地，视频帧的掩码图像生成：使用保存的参数模型对裁剪的所有视频帧进行压缩，压缩后图像大小为长512像素，宽512像素；将压缩后的图像传输给参数模型进行计算，将输出的图片保存至另外一个文件夹，文件名称为视频帧原名称。
26、进一步地，对视频进行灰度化处理：获取视频并从存放掩码图像的文件夹下，根据视频名称，依次获取该视频的第0，350,700,1050帧图像所对应的掩码图像，将其按照视频帧从小到大的顺序存储在同一个数组mask_array中本文档来自技高网...
【技术保护点】
1.一种基于深度神经网络模型的航空结构件图像预处理方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于深度神经网络模型的航空结构件图像预处理方法，其特征在于，构建深度卷积神经网络模型，模型基于Resnet-50的DeepLabV3+语义分割网络，对网络模型进行改造，增强网络对图像的深层次特征的融合，模型的输入为长宽均为512像素大小的彩色图片，输出为长宽均为512像素大小的单通道图片；
3.根据权利要求1所述的一种基于深度神经网络模型的航空结构件图像预处理方法，其特征在于，深度卷积神经网络模型中包括5个EncoderBlock和3个DecoderBlock，其中EncoderBlock4的输出和EncoderBlock5的输出使用1*1的卷积核进一步融合，其结果跟ASPP结构的输出进一步融合，传输给DecoderBlock1，DecoderBlock1同时接收来自EncoderBlock3的输出作为输入；DecoderBlock2接收来自EncoderBlock2的输出和DecoderBlock1的输出，EncoderBlock3只接收Dec
4.根据权利要求3所述的一种基于深度神经网络模型的航空结构件图像预处理方法，其特征在于，深度卷积神经网络模型的解码内容为：DecoderBlock1接收来特征图深度融合后的输出结果和EncoderBlock3的输出作为输入数据，对来自Aspp图像空间金字塔的特征图首先进行步长为2的上采样，将特征图大小调整至长宽均为64像素，将其与EncoderBlock3模块的输出进行堆叠，然后对堆叠的数据使用256个3*3的卷积核对其进行卷积，提取特征输出给DecoderBlock2；
5.根据权利要求1所述的一种基于深度神经网络模型的航空结构件图像预处理方法，其特征在于，步骤4中视频处理掩码帧获取：对所有的视频提取视频的第0,350,700,1050帧图像，并将其命名为视频名称加上下划线加上所在帧数命名。
6.根据权利要求1所述的一种基于深度神经网络模型的航空结构件图像预处理方法，其特征在于，视频帧的掩码图像生成：使用保存的参数模型对裁剪的所有视频帧进行压缩，压缩后图像大小为长512像素，宽512像素；将压缩后的图像传输给参数模型进行计算，将输出的图片保存至另外一个文件夹，文件名称为视频帧原名称。
7.根据权利要求1所述的一种基于深度神经网络模型的航空结构件图像预处理方法，其特征在于，对视频进行灰度化处理：获取视频并从存放掩码图像的文件夹下，根据视频名称，依次获取该视频的第0，350,700,1050帧图像所对应的掩码图像，将其按照视频帧从小到大的顺序存储在同一个数组mask_array中；
8.根据权利要求7所述的一种基于深度神经网络模型的航空结构件图像预处理方法，其特征在于，视频帧frm压缩方法如下：
9.根据权利要求7所述的一种基于深度神经网络模型的航空结构件图像预处理方法，其特征在于，当处理的视频帧frm为第一帧图像时，记录当前帧的area′,center′，将此视频帧frm的area′,center′设置为下一帧图像目标零件区域的参考面积和参考中心点坐标，当视频帧frm为第一帧以后的帧时，根据公式3，公式4计算当前视频帧frm的面积大小和中心点坐标area,center；根据公式5,公式6计算当前帧在面积detaArea和中心点距离distanCe之间的差异来判断目标零件裁剪区域是否正确；
10.根据权利要求9所述的一种基于深度神经网络模型的航空结构件图像预处理方法，其特征在于，detaArea<0.3且distance<100视为裁剪正确，否则视为裁剪错误；对裁剪错误的帧将丢弃，读取下一帧图像进行处理；如果裁剪正确，将当前视频帧frm的area,center设置为下一帧的参考面积和中心点坐标area′,center′。
11.根据权利要求1所述的一种基于深度神经网络模型的航空结构件图像预处理方法，其特征在于，原图进行裁剪具体为：将获取到的当前视频帧frm的宽和高的最小值x_min，y_min最大值x_max，y_max，根据公式7，公式8,公式9，公式10计算目标零件区域在src_img图像中的实际位置：
...【技术特征摘要】
1.一种基于深度神经网络模型的航空结构件图像预处理方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于深度神经网络模型的航空结构件图像预处理方法，其特征在于，构建深度卷积神经网络模型，模型基于resnet-50的deeplabv3+语义分割网络，对网络模型进行改造，增强网络对图像的深层次特征的融合，模型的输入为长宽均为512像素大小的彩色图片，输出为长宽均为512像素大小的单通道图片；
3.根据权利要求1所述的一种基于深度神经网络模型的航空结构件图像预处理方法，其特征在于，深度卷积神经网络模型中包括5个encoderblock和3个decoderblock，其中encoderblock4的输出和encoderblock5的输出使用1*1的卷积核进一步融合，其结果跟aspp结构的输出进一步融合，传输给decoderblock1，decoderblock1同时接收来自encoderblock3的输出作为输入；decoderblock2接收来自encoderblock2的输出和decoderblock1的输出，encoderblock3只接收decoderblock2的输出，最终输出目标语义分割图像。
4.根据权利要求3所述的一种基于深度神经网络模型的航空结构件图像预处理方法，其特征在于，深度卷积神经网络模型的解码内容为：decoderblock1接收来特征图深度融合后的输出结果和encoderblock3的输出作为输入数据，对来自aspp图像空间金字塔的特征图首先进行步长为2的上采样，将特征图大小调整至长宽均为64像素，将其与encoderblock3模块的输出进行堆叠，然后对堆叠的数据使用256个3*3的卷积核对其进行卷积，提取特征输出给decoderblock2；
5.根据权利要求1所述的一种基于深度神经网络模型的航空结构件图像预处理方法，其特征在于，步骤4中视频处理掩码帧获取：对所有的视频提取视频的第0,350,700,1050帧图像，并将其命名为视频名称加上下划线加上所在帧数命名。
6.根据权利要求1所述的一种基于深度神经网络模型的航空结构件图像...
【专利技术属性】
技术研发人员：舒建国，宋戈，郭国彬，封刚，黄松，申俊，张娜，秦艇，
申请(专利权)人：成都飞机工业集团有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。