结合多曝光融合的叶片反光编码图像条纹修复系统及方法技术方案

本发明专利技术设计结合多曝光融合的叶片反光编码图像条纹修复系统及方法，所述修复系统包括：图像采集模块

【技术实现步骤摘要】
结合多曝光融合的叶片反光编码图像条纹修复系统及方法


[0001]本专利技术属于航空发动机叶片三维测量领域，尤其涉及结合多曝光融合的叶片反光编码图像条纹修复系统及方法
。

技术介绍

[0002]结构光三维重建是主动式的三维重建方法之一，用于重建待测物体表面的三维形貌数据
。
由于是非接触式测量，可以有效避免接触式测量的低效性和不稳定性，并且适应复杂的测量环境
。
此外，三维扫描测量速度快
、
获取信息量大，因此在现代工业检测中广泛应用
。
但是，对于自由曲面物体的形貌重建，该方法存在一定的问题
。
自由曲面部分会产生严重的反光现象，遮挡投射在曲面上的编码条纹
。
这就导致反光区域在进行三维重建时缺少足够的空间位置信息，从而严重影响最终的重建精度
。
[0003]目前，在工业界中针对自由曲面造成的反光问题的解决方法主要分为基于人工的方式和基于算法处理的方式
。
人工方式通常通过人工在曲面反光部分进行贴点和喷粉的方式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
结合多曝光融合的叶片反光编码图像条纹修复系统，其特征在于，包括：图像采集模块
、
图像融合模块
、
掩膜图像制作模块
、
图像注释模块
、
生成器模块和鉴别器模块；其中，图像采集模块包括光系统左
、
右相机，用于采集不同曝光的叶片条纹图像，所述叶片条纹图像包括结构光系统左相机采集叶片条纹序列图像
、
右相机采集叶片条纹序列图像；图像融合模块通过现有曝光图融合算法融合同一位姿下不同曝光的叶片条纹图像，得到曝光融合后的叶片条纹图像；掩膜图像制作模块制作不规则掩膜图像；图像注释模块对叶片条纹图像中存在的反光和条纹混淆
、
缺失的部分进行注释，得到注释后的叶片条纹图像，即标签图像；生成器模块以多曝光算法融合后的叶片条纹图像和不规则掩膜图像作为输入进行特征提取和重建，生成精修复叶片条纹图像；鉴别器模块对生成器生成的叶片条纹图像和制作的标签图像进行真假判别
。2.
根据权利要求1所述的结合多曝光融合的叶片反光编码图像条纹修复系统，其特征在于，所述生成器模块包括：粗阶段修复模块和精阶段修复模块；所述粗阶段修复模块包括：粗阶段编码器模块
、
粗阶段解码器模块；用于对叶片条纹图像和掩膜图像进行特征提取和重建以获得粗修复叶片条纹图像；所述精阶段修复模块包括：精阶段纹理编码器模块
、
精阶段结构编码器模块
、
精阶段解码器模块；用于对由粗阶段修复模块获得的粗修复叶片条纹图像进行特征提取和重建以获得高质量叶片条纹图像
。3.
根据权利要求1所述的结合多曝光融合的叶片反光编码图像条纹修复系统，其特征在于，所述鉴别器模块包括：边缘检测模块
、
鉴别器结构分支模块
、
鉴别器纹理分支模块；所述边缘检测模块用于对生成器获得的精修复叶片条纹图像进行边缘检测获得精修复叶片条纹图像的边缘信息；所述鉴别器结构分支模块用于将边缘检测模块获得的边缘信息作为输入，并进行多阶段下采样操作，在提取特征信息的同时降低了输入图像的分辨率；所述鉴别器纹理分支模块用于对生成器获得的精修复叶片条纹图像进行纹理特征提取
。4.
根据权利要求2所述的结合多曝光融合的叶片反光编码图像条纹修复系统，其特征在于，所述粗阶段编码器模块用于对输入的叶片条纹图像加入掩膜后进行多阶段下采样操作，在提取特征信息的同时降低了输入图像的分辨率；所述粗阶段解码器模块用于将粗阶段编码器模块的输出恢复至原始分辨率完成图像解码重建，得到粗修复叶片条纹图像；所述精阶段纹理编码器模块用于对粗阶段修复模块得到的粗修复叶片条纹图像进行多阶段下采样操作，在提取特征信息的同时降低了输入图像的分辨率，并通过
CA
模块进行特征匹配；所述精阶段结构编码器模块用于对粗阶段修复模块得到的粗修复叶片条纹图像进行多阶段下采样操作，在提取特征信息的同时降低了输入图像的分辨率，并通过空洞卷积对被覆盖区域含有的结构信息进行合理预测；所述精阶段解码器模块用于对精阶段纹理编码器模块和精阶段结构编码器模块获得的特征信息级联，并将级联后的特征恢复至原始分辨率完成图像解码重建，得到精修复叶片条纹图像；所述
CA
模块用于将被掩模覆盖的缺失像素中的特征
\
前景与掩模区域之外的有效像素特征
\
背景进行匹配
。5.
结合多曝光融合的叶片反光编码图像条纹修复方法，基于上述权利要求1结合多曝
光融合的叶片反光编码图像条纹修复系统实现，其特征在于，具体包括以下步骤：步骤1：通过图像采集模块采集不同曝光的叶片条纹图像序列作为预处理的叶片条纹图像；步骤2：通过图像融合模块中已有的多曝光图融合算法对同一位姿下不同曝光的叶片条纹图像进行融合，得到融合后的叶片条纹图像；步骤3：通过掩膜图像制作模块制作具有不同掩膜占比率的不规则掩膜图像；步骤4：通过图像注释模块注释采集到的叶片条纹图像中存在反光和条纹混淆
、
缺失的部分，得到注释后的叶片条纹图像；步骤5：将融合后的叶片条纹图像和不规则掩膜图像输送到生成器中进行粗阶段条纹修复和精阶段条纹修复，得到精修复叶片条纹图像；步骤6：将生成器生成的精修复叶片条纹图像输送到鉴别器中进行特征提取和重建生成图像，对生成图像进行真假判别
。6.
根据权利要求5所述的结合多曝光融合的叶片反光编码图像条纹修复方法，其特征在于，所述步骤5包括：步骤
5.1
：将融合后的叶片条纹图像和不规则掩膜图像相乘得到带有掩膜的叶片条纹图像，并将其作为生成器粗阶段修复的输入，分辨率为
S*S
；步骤
5.2
：输入进入粗阶段修复模块中的粗阶段编码器模块，通过1个卷积核大小为
5*5*64
，膨胀因子为1的门控卷积得到特征
A0
；步骤
5.3
：将特征
A0
通过1个卷积核大小为
3*3*128
，膨胀因子为1，步距为
2*2
的门控卷积和一个卷积核大小为
3*3*128
，膨胀因子为1，步距为
1*1
的门控卷积得到特征
A1
，
A1
的分辨率为
(S/2)*(S/2)
；步骤
5.4
：将特征
A1
通过1个卷积核大小为
3*3*256
，膨胀因子为1，步距为
2*2
的门控卷积和1个卷积核大小为
3*3*256
，膨胀因子为1，步距为
1*1
的门控卷积得到特征
A2
，
A2
的分辨率为
(S/4)*(S/4)
；步骤
5.5
：将特征
A2
通过4个卷积核大小为
3*3*256
，步距为
1*1
，膨胀因子分别为2，4，8，
16
的门控卷积得到特征
A3
，
A3
的分辨率为
(S/4)*(S/4)
；步骤
5.6
：将特征
A3
通过2个卷积核大小为
3*3*256
，膨胀因子为1，步距为
1*1
的门控卷积得到特征
A4
，
A4
的分辨率为
(S/4)*(S/4)
；步骤
5.7
：将特征
A4
通过一个卷积核大小为
4*4*128
，膨胀因子为1，步距为
1/2*1/2
和一个卷积核大小为
4*4*64
，膨胀因子为1，步距为
1/2*1/2
的门控反卷积得到特征
A5
，
A5
的分辨率为
S*S
；步骤
5.8
：将特征
A5
通过一个卷积核大小为
3*3*3
，膨胀因子为1，步距为
1*1
的门控反卷积得到粗修复叶片条纹图像；步骤
5.9
：将粗修复叶片条纹图像送入...

【专利技术属性】
技术研发人员：宋克臣，张天乐，颜云辉，李骏，
申请(专利权)人：东北大学，
类型：发明
国别省市：