【技术实现步骤摘要】
本专利技术属于rgb-d图像融合，涉及一种应用于空拍机的图像拼接方法及存储介质。
技术介绍
1、当无人机等空拍机在进行场景重建时，需要采用视觉方式对环境进行拼接，但是空拍机在移动过程中，影像会出现模糊不清的问题，这会照成影像拼接困难，所以一般需要空拍机慢速移动，以获取更好的图像品质。但是，当空拍机移动时，如果拍摄的画面中有高速移动的物体，仍然会增加影像模糊不清的可能性，从而提升图像拼接难度。此时通常做法是降低影像中模糊区块的特征重要性，但是此状况是由一个移动物体所产生的，一般会在画面中连续出现，应该将此物体的特征纳入拼接考量以提高拼接的准确性。
2、目前的slam技术(simultaneous localization and mapping缩写,意为“同步定位与建图”,主要用于解决机器人在未知环境运动时的定位与地图构建问题)，会计算每一张图像的特征，当图像模糊时，特征可能变少或计算出错误的特征，从而造成追踪错误；这时会直接拿取下一张或是下n张图像重新进行特征匹配，但是这样可能会丢失或遗漏当前可能有用的影像数据。另一种方法是利用无人机重复拍摄同一角度，同时进行影像修复,再将完整图像进行特征匹配，该方法对算法要求高，且会造成大量数据冗余。
技术实现思路
1、针对上述现有技术的不足，本专利技术所要解决的技术问题是：提供一种拼接准确性高的应用于空拍机的图像拼接方法及存储介质。
2、为达到上述目的，本专利技术提供如下技术方案：
3、一种应用于空拍机的图像
4、s1、在空拍机上搭载惯性测量单元、rgb相机和深度相机，对惯性测量单元、rgb相机和深度相机进行时间同步，并将空拍机惯性测量单元的位置姿态数据、rgb相机的rgb图像和深度相机的深度图像在相同的坐标系上对齐；
5、s2、通过空拍机的位置姿态数据和rgb图像训练多层感知器模型得到图像清晰化处理模型；所述图像清晰化处理模型用于根据一个时段内的rgb图像和对应的位置姿态数据，对rgb图像进行清晰化处理，并根据输入的位置姿态数据输出对应位置的清晰化处理后的rgb图像；
6、s3、在空拍机飞行过程中实时获取rgb相机生成的rgb图像，并在每获取一帧rgb图像时，同时获取惯性测量单元的位置姿态数据和深度相机生成的深度图像；
7、s4、以获取的rgb图像和位置姿态数据作为训练集对图像清晰化处理模型进行训练，并获取清晰化处理后的rgb图像；
8、s5、将清晰化处理后的rgb图像分别与对应时刻获取的深度图像进行融合，得到rgb-d图像，并对得到的rgb-d图像进行拼接。
9、进一步的，所述图像清晰化处理模型包括空间投影模型和像素模糊模型；所述空间投影模型用于将三维空间中的相机至物体的射线投影至二维的像素平面，所述像素模糊模型用于通过模糊的图像训练预测生成清晰图像。
10、进一步的，所述空间投影模型的损失函数为图像之间的三维空间坐标与二维角度的均方误差lg。
11、进一步的，所述像素模糊模型采用清晰像素点的照度与模糊卷积核h进行卷积，其公式为：
12、bp＝f(cp'*h)
13、其中，下标p表示像素点的序号；cp'表示像素点p对应的场景照度；f表示rgb相机响应函数，用于实现从照度到强度的映射的变化；bp表示得到的模糊像素。
14、进一步的，所述像素模糊模型的损失函数lb为
15、
16、其中，r表示图像中所有像素点的集合；表示模型预测得到的模糊图像；bgt表示真实像素区块的模糊图像。
17、进一步的，所述惯性测量单元的位置姿态数据包括位置数据(x,y,z)和航行角数据其中x、y、z。分别表示空拍机在像素坐标系的三个坐标轴上的坐标；θ分别表示空拍机飞行方向与水平面的夹角和与垂直平面的夹角。
18、进一步的，将空拍机惯性测量单元的位置姿态数据、rgb相机的rgb图像和深度相机的深度图像在相同的坐标系上对齐的方法包括：
19、在像素坐标系中将rgb图像与深度图像对齐，使rgb图像和深度图像处于相同的像素坐标系；
20、在笛卡儿坐标系中将位置姿态数据与深度图像对齐，使位置姿态数据和深度图像处于相同的笛卡儿坐标系；
21、将空拍机与惯性测量单元的位置姿态数据对齐，使位置姿态数据、rgb图像和深度图像在相同的坐标系上对齐。
22、进一步的，所述s3步骤包括以下子步骤：
23、s301、生成用于存储rgb图像的队列sigma和用于存储位置姿态数据的队列m，所述队列sigma和队列m存储的元素数量相同；
24、s302、在空拍机飞行过程中实时获取rgb相机生成的rgb图像，并以一帧rgb图像作为一个元素存储至队列sigma；在每获取一帧rgb图像时，同时获取惯性测量单元的位置姿态数据和深度相机生成的深度图像；并以惯性测量单元的一组位置姿态数据作为一个元素存储至队列m；
25、所述s4步骤包括以下子步骤：
26、s401、将队列sigma中最早的一帧rgb图像的获取时刻作为当前拼接时刻，并以队列sigma中的元素和队列m中的元素作为训练集对图像清晰化处理模型进行训练；
27、s402、将队列m中最早的元素输入训练后的图像清晰化处理模型，将输出的rgb图像作为当前拼接rgb图像；
28、所述s5步骤包括：
29、从获取的深度图像中提取当前拼接时刻对应的深度图像与当前拼接rgb图像进行融合，得到当前rgb-d图像；对于当前rgb-d图像为第二帧rgb-d图像或第二帧之后的rgb-d图像，将当前rgb-d图像与前一帧rgb-d图像进行拼接；返回执行s302步骤。
30、进一步的，所述空拍机为无人机。
31、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现应用于空拍机的图像拼接方法。
32、本专利技术中，提供了一种可应用于高速飞行的空拍机的图像拼接方法，利用多层感知器模型还原清晰的rgb图像后再进行融合和拼接，并采取先进先出的队列存储位置姿态数据和rgb图像；使多层感知器模型在初始化后可以保持快速的优化时间，从而快速完成对图像的清晰化处理，具备因空拍机高速飞行或拍摄范围内有高速运动的物体使相机画面产生模糊也能进行特征匹配和准实时拼接的能力。
本文档来自技高网...【技术保护点】
1.一种应用于空拍机的图像拼接方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的应用于空拍机的图像拼接方法，其特征在于：所述图像清晰化处理模型包括空间投影模型和像素模糊模型；所述空间投影模型用于将三维空间中的相机至物体的射线投影至二维的像素平面，所述像素模糊模型用于通过模糊的图像训练预测生成清晰图像。
3.根据权利要求2所述的应用于空拍机的图像拼接方法，其特征在于：所述空间投影模型的损失函数为图像之间的三维空间坐标与二维角度的均方误差Lg。
4.根据权利要求3所述的应用于空拍机的图像拼接方法，其特征在于：所述像素模糊模型采用清晰像素点的照度与模糊卷积核h进行卷积，其公式为：
5.根据权利要求4所述的应用于空拍机的图像拼接方法，其特征在于：所述像素模糊模型的损失函数Lb为
6.根据权利要求1所述的应用于空拍机的图像拼接方法，其特征在于：惯性测量单元的位置姿态数据包括位置数据(x,y,z)和航行角数据其中x、y、z。分别表示空拍机在像素坐标系的三个坐标轴上的坐标；θ分别表示空拍机飞行方向与水平面的夹角和与垂直平面的夹
7.根据权利要求6所述的应用于空拍机的图像拼接方法，其特征在于，将空拍机惯性测量单元的位置姿态数据、RGB相机的RGB图像和深度相机的深度图像在相同的坐标系上对齐的方法包括：
8.根据权利要求1至7任一项所述的应用于空拍机的图像拼接方法，其特征在于，所述S3步骤包括以下子步骤：
9.根据权利要求8所述的应用于空拍机的图像拼接方法，其特征在于：所述空拍机为无人机。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的应用于空拍机的图像拼接方法。
...【技术特征摘要】
1.一种应用于空拍机的图像拼接方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的应用于空拍机的图像拼接方法，其特征在于：所述图像清晰化处理模型包括空间投影模型和像素模糊模型；所述空间投影模型用于将三维空间中的相机至物体的射线投影至二维的像素平面，所述像素模糊模型用于通过模糊的图像训练预测生成清晰图像。
3.根据权利要求2所述的应用于空拍机的图像拼接方法，其特征在于：所述空间投影模型的损失函数为图像之间的三维空间坐标与二维角度的均方误差lg。
4.根据权利要求3所述的应用于空拍机的图像拼接方法，其特征在于：所述像素模糊模型采用清晰像素点的照度与模糊卷积核h进行卷积，其公式为：
5.根据权利要求4所述的应用于空拍机的图像拼接方法，其特征在于：所述像素模糊模型的损失函数lb为
6.根据权利要求1所述的应用于空拍机...
【专利技术属性】
技术研发人员：吴峻豪，林昌盛，
申请(专利权)人：盛泰光电科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。