【技术实现步骤摘要】
本专利技术涉及图像处理，具体地说基于sknet注意力机制的鱼眼图像矫正方法及系统。
技术介绍
1、近年来，随着机器人视觉和虚拟现实技术的迅速发展，鱼眼摄像机因其大视角和小体积，在特殊用途图像采集领域广泛应用，如监视系统、安全系统和各种会议。然而，鱼眼图像伴随着畸变，尤其在外围区域畸变严重，因此，鱼眼图像的畸变矫正变得至关重要，以符合人类视觉和减少特征提取的干扰。
2、鱼眼镜头是一种具有超大视场角的光学镜头，广泛用于视频监控、全景拍摄和高空测量等领域。然而，在测量领域，鱼眼镜头的非线性畸变会导致较大的误差，影响实际应用。目前，鱼眼相机成像系统通过计算机图像视觉技术对图像畸变进行矫正，鱼眼图像的畸变矫正算法在面对畸变图像的挑战时应运而生，成为研究重点，以满足高精度测量和实际应用的需求。通过应用鱼眼矫正技术，可以将鱼眼镜头采集的图像转换为更符合人眼观察习惯的直角投影图像，从而消除或减少图像的畸变，鱼眼矫正技术有助于提高图像的可视化效果，提供更准确的图像信息，以及改善后续算法和应用的性能。
3、如何对鱼眼图像进行矫正，减少陡峭急剧和陡峭消失的问题，是需要解决的技术问题。
技术实现思路
1、本专利技术的技术任务是针对以上不足，提供基于sknet注意力机制的鱼眼图像矫正方法及系统，来解决如何对鱼眼图像进行矫正，减少陡峭急剧和陡峭消失的问题的技术问题。
2、第一方面，本专利技术一种基于sknet注意力机制的鱼眼图像矫正方法，包括如下步骤：
3、图像
4、流估计模型构建：构建流估计网络模型，所述流估计网络模型为u型编码器-解码器结构，用于对输入的鱼眼图像进行外观特征提取、并将外观特征图映射为流，输出多尺度外观流；
5、畸变矫正模型构建：构建畸变矫正网络模型，所述畸变矫正网络模型包括生成器、矫正层和鉴别器，所述生成器包括u型编码器-解码器结构，编码器引入有sknet注意力机制层，用于对输入的鱼眼图像进行畸变特征提取、输出多尺度畸变特征图；所述矫正层用于以多尺度外观流和多尺度畸变特征图为输入、基于外观流对相应尺度的畸变特征图进行矫正，输出多尺度矫正后畸变特征图；所述编码器用于基于输入的多尺度矫正后畸变特征图进行图像重建，输出多尺度校正后图像；所述鉴别器引入有谱归一化层，用于以多尺度校正后图像为输入、判断每个尺度校正后图像是否为真实图像，并预测输出每个尺度校正后图像的类别标签以及对应的类别概率，类别标签包括真实图像和伪造图像；
6、模型训练：基于样本集对流估计网络模型和畸变矫正网络模型进行模型训练，得到训练后流估计网络模型以及训练后畸变矫正网络模型；
7、图像矫正：以待矫正的鱼眼图像为输入，通过训练后流估计网络模型以及训练后畸变矫正网络模型预测输出每个尺度校正后图像的类别标签以及类别类别概率，基于类别类别概率得到最终校正后图像。
8、作为优选，对于所述流估计网络模型，编码器包括n个卷积结构，解码器包括n-1个反卷积结构；
9、每个卷积结构作为下采样结构包括依次连接的卷积层、归一化层和leaky relu激活函数，用于对输入的图像进行降采样操作和外观特征提取，输出外观特征图；
10、每个反卷积结构作为上采样结构包括一个残差模块和一个反卷积层，用于对输入的外观特征图进行上采样操作，输出n-1个尺度的外观特征图；
11、每个反卷积结构的输出端连接有卷积层，卷积层用于对输入的外观特征图进行卷积操作、并将外观特征图映射为流，得到外观流。
12、作为优选，生成器包括编码器、解码器、矫正层、图像处理结构和图像矫正结构，编码器包括n个卷积结构和n-1个反卷积结构，解码器包括n-1个反卷积结构；
13、对于前n-1个卷积结构，每个卷积结构作为下采样结构包括卷积层和leaky relu激活函数，且每个下采样结构引入有sknet注意力机制层，用于对输入的鱼眼图像进行下采样操作以及畸变特征提取，输出对应尺度的畸变特征图；
14、对于第n个卷积结构，所述卷积结构包括leaky relu激活函数，用于对输入的畸变特征图进行特征变换，输出畸变特征图；
15、矫正层基于渐进互补机制与流估计网络模型连接，用于执行如下：以多尺度外观流和多尺度畸变特征图为输入，对于每个尺度的畸变特征图，基于对应尺度的外观流对畸变特征图进行空间变换以矫正畸变特征图，输出对应尺度的矫正后畸变特征图，其中外观流和畸变特征图均共n路且一一对应；
16、对于每个反卷积结构，所述卷积结构作为上采样结构包括卷积层和relu激活函数，用于对对应尺度的矫正后畸变特征图进行上采样操作，输出对应尺度的矫正后畸变特征图；
17、每个反卷积结构的输出端配置有图像处理结构，图像处理结构包括卷积层、tanh激活函数和torgb函数，用于对输入的矫正后畸变特征图进行卷积操作以及激活操作、并通过torgb函数将矫正后畸变特征图转换为rgb图像，得到rgb图像形式的矫正后畸变特征图；
18、所述图像矫正结构为卷积层，用于以多尺度rgb图像形式的矫正后畸变特征图为输入，对每个尺度的矫正后畸变特征图进行下采样操作，输出多尺度校正后图像。
19、作为优选，所述鉴别器包括m个卷积网络结构，每个卷积网络结构均包括卷积层、leakyrelu激活函数和谱归一化层，用于以每个尺度校正后图像为输入、判断校正后图像是否为真实图像，输出类别标签和类别类别概率，类别标签包括真实图像和伪造图像。
20、作为优选，基于多尺度校正后图像以及对应尺度的真实图像、通过wasserstein距离损失函数构建对抗损失函数，所述对抗损失函数用于对生成器和鉴别器进行模型训练；
21、基于多尺度校正后图像以及对应尺度的真实图像构建多尺度损失函数，将对抗损失函数和对尺度损失函数加权作为流估计网络模型和畸变矫正网络模型的总损失函数，基于总损失函数对流估计网络模型和畸变矫正网络模型进行模型训练，得到训练后流估计网络模型和训练后畸变矫正网络模型。
22、第二方面，本专利技术一种基于sknet注意力机制的鱼眼图像矫正系统，用于通过如第一方面任一项所述的一种基于sknet注意力机制的鱼眼图像矫正方法实现鱼眼图像矫正，所述系统包括图像采集模块、流估计模型构建模块、畸变矫正模型构建模块、模型训练模块以及图像矫正模块；
23、图像采集模块用于执行如下：获取真实图像以及对应的鱼眼图像构建样本集；
24、流估计模型构建模块用于执行如下：构建流估计网络模型，所述流估计网络模型为u型编码器-解码器结构，用于对输入的鱼眼图像进行外观特征提取、并将外观特征图映射为流，输出多尺度外观流；
25、畸变矫正模型构建模块用于执行如下：构建畸变矫正网络模型，所述畸变矫正网络模型包括生成器、矫正层和鉴别器，所述生成器包括u型编码器-解码器结构，编码器引入有sknet本文档来自技高网...
【技术保护点】
1.一种基于SKNet注意力机制的鱼眼图像矫正方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于SKNet注意力机制的鱼眼图像矫正方法，其特征在于，对于所述流估计网络模型，编码器包括N个卷积结构，解码器包括N-1个反卷积结构；
3.根据权利要求1所述的基于SKNet注意力机制的鱼眼图像矫正方法，其特征在于，生成器包括编码器、解码器、矫正层、图像处理结构和图像矫正结构，编码器包括N个卷积结构和N-1个反卷积结构，解码器包括N-1个反卷积结构；
4.根据权利要求1所述的基于SKNet注意力机制的鱼眼图像矫正方法，其特征在于，所述鉴别器包括M个卷积网络结构，每个卷积网络结构均包括卷积层、LeakyReLU激活函数和谱归一化层，用于以每个尺度校正后图像为输入、判断校正后图像是否为真实图像，输出类别标签和类别类别概率，类别标签包括真实图像和伪造图像。
5.根据权利要求1所述的基于SKNet注意力机制的鱼眼图像矫正方法，其特征在于，基于多尺度校正后图像以及对应尺度的真实图像、通过Wasserstein距离损失函数构建对抗损失函数，所
6.一种基于SKNet注意力机制的鱼眼图像矫正系统，其特征在于，用于通过如权利要求1-5任一项所述的一种基于SKNet注意力机制的鱼眼图像矫正方法实现鱼眼图像矫正，所述系统包括图像采集模块、流估计模型构建模块、畸变矫正模型构建模块、模型训练模块以及图像矫正模块；
7.根据权利要求6所述的基于SKNet注意力机制的鱼眼图像矫正系统，其特征在于，对于所述流估计网络模型，编码器包括N个卷积结构，解码器包括N-1个反卷积结构；
8.根据权利要求6所述的基于SKNet注意力机制的鱼眼图像矫正系统，其特征在于，生成器包括编码器、解码器、矫正层、图像处理结构和图像矫正结构，编码器包括N个卷积结构和N-1个反卷积结构，解码器包括N-1个反卷积结构；
9.根据权利要求6所述的基于SKNet注意力机制的鱼眼图像矫正系统，其特征在于，所述鉴别器包括M个卷积网络结构，每个卷积网络结构均包括卷积层、LeakyReLU激活函数和谱归一化层，用于以每个尺度校正后图像为输入、判断校正后图像是否为真实图像，输出类别标签和类别类别概率，类别标签包括真实图像和伪造图像。
10.根据权利要求6所述的基于SKNet注意力机制的鱼眼图像矫正系统，其特征在于，所述模型训练模块用于基于多尺度校正后图像以及对应尺度的真实图像、通过Wasserstein距离损失函数构建对抗损失函数，所述对抗损失函数用于对生成器和鉴别器进行模型训练；
...【技术特征摘要】
1.一种基于sknet注意力机制的鱼眼图像矫正方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于sknet注意力机制的鱼眼图像矫正方法，其特征在于，对于所述流估计网络模型，编码器包括n个卷积结构，解码器包括n-1个反卷积结构；
3.根据权利要求1所述的基于sknet注意力机制的鱼眼图像矫正方法，其特征在于，生成器包括编码器、解码器、矫正层、图像处理结构和图像矫正结构，编码器包括n个卷积结构和n-1个反卷积结构，解码器包括n-1个反卷积结构；
4.根据权利要求1所述的基于sknet注意力机制的鱼眼图像矫正方法，其特征在于，所述鉴别器包括m个卷积网络结构，每个卷积网络结构均包括卷积层、leakyrelu激活函数和谱归一化层，用于以每个尺度校正后图像为输入、判断校正后图像是否为真实图像，输出类别标签和类别类别概率，类别标签包括真实图像和伪造图像。
5.根据权利要求1所述的基于sknet注意力机制的鱼眼图像矫正方法，其特征在于，基于多尺度校正后图像以及对应尺度的真实图像、通过wasserstein距离损失函数构建对抗损失函数，所述对抗损失函数用于对生成器和鉴别器进行模型训练；
6.一种基于sknet注意力机制的鱼眼图像矫正系统，其特征在于，用于通过如权利要求1-5任一项所...
【专利技术属性】
技术研发人员：董安明，金占杰，禹继国，李素芳，韩玉冰，张丽，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。