一种基于YUV色彩空间的图像快速拼接方法技术

本发明专利技术公开了一种基于YUV色彩空间的图像快速拼接方法，针对行车机构平面运动的特性建立了像素映射方程，结合编码器获取的相机位置和深度相机获取的图像深度建立像素映射表，从而实现图像像素在不同视角之间的快速变换；将像素映射方程由单个像素推广到了矩阵形式，从而可以对整张图片或者多张图片进行并行映射，可以实现大场景，多数量图片的快速拼接，针对图像拼接过程中，针对直接使用加权平均进行图像融合可能存在拼缝的问题，在保证图像拼接效果的同时，缩短了图像拼接的时间。缩短了图像拼接的时间。缩短了图像拼接的时间。

【技术实现步骤摘要】
一种基于YUV色彩空间的图像快速拼接方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于YUV色彩空间的图像快速拼接方法。

技术介绍

[0002]目前主流的全景图片拼接流程都是采用相机图片进行特征匹配的方法进行全景图片拼接。在专利“一种基于SIFT特征的传送带表面物体图像拼接方法”(专利号：202110329935.4)中，使用SIFT特征进行匹配进行拼接；在专利“一种基于端到端神经网络的多路图片拼接方法”(专利号：202010553739.0)中，使用神经网络去估计图像特征和最优单应性矩阵，从而实现图像拼接。在专利“一种基于深度学习的手机实时全景拍摄方法”(专利号：202111269335.X)中也是使用SIFT特征去进行图像拼接。
[0003]但是，目前基于图像特征拼接的方法有三个问题：一是如果环境纹理和颜色信息比较简单，可能获取不到足够多很好的特征，造成特征匹配失败；二是特征的计算和匹配也很耗时；三是特征点匹配计算的单应性矩阵会造成累积误差。当然可以通过BA优化的手段去消除累积误差，但是当图像数量很多时，拼接图像的耗时将会很长。
[0004]在专利“全景视频快速拼接方法及系统”(专利号：201911001401.8)则利用了相机平移距离相对于拍摄物体距离可忽略不计的特性，提出了一种全景快速拼接方法，但是这种拼接方法在行车运动的场景下，相机的平移距离不可以忽略，所以这种拼接方法不适用。
[0005]鉴于此，实有必要提供一种新型的基于YUV色彩空间的图像快速拼接方法以克服上述缺陷。

技术实现思路

[0006]本专利技术的目的是提供一种基于YUV色彩空间的图像快速拼接方法，实现图像像素在不同视角之间的快速变换并进行并行映射，可以实现大场景，多数量图片的快速拼接融合。
[0007]为了实现上述目的，本专利技术提供一种基于YUV色彩空间的图像快速拼接方法，包括如下步骤：
[0008]S1：控制行车的运动机构对待拼接场景进行全局扫描，采集同一时刻相机位置t、RGB图像数据、深度图像数据，通过相机外参和相机内参将深度图数据映射到RGB图像中，得到每一个像素的深度值z；
[0009]S2：利用像素映射方程将所有图片的像素转换到初始视角的图片像素；
[0010]S3：对所有变换后的RGB值进行融合得到拼接的全景图像；
[0011]优选的，步骤S2还还包括步骤S21：利用三角测量原理得到同一个点在两个不同像素位置的关系为：
[0012][0013]其中，P1是这个点在位置1处相机图像中的像素的齐次坐标，维度为3x1，z1是该点在位置1处相机图像中的深度；
[0014]P2是这个点在位置2处相机图像中的像素的齐次坐标，维度为3x1，z2是该点在位置2处相机图像中的深度；
[0015]K是相机内参；R是相机的旋转向量，t是相机的位置平移向量，
[0016]相机的旋转向量R是一个单位矩阵，相机深度z1＝z2，像素映射方程可以变为：
[0017][0018]将像素映射方程变为：
[0019]P
1(3，n)
＝P
2(3，n)
‑
Kt
(3，n)
*diag(z
(n，1)
)
‑1；
[0020]通过上述P
1(3，n)
＝P
2(3，n)
‑
Kt
(3，n)
*diag(z
(n，1)
)
‑1的像素映射方程对一张图片进行并行映射，其中P
1(3，n)
是映射后的像素坐标的齐次坐标，维度为3xn，每一列均是一个映射后的像素坐标；P
2(3，n)
是映射前的像素坐标的齐次坐标，维度为3xn，每一列均是一个映射前的像素坐标；z
(n，1)
是像素坐标对应的深度向量，维度为nx1，每一行均是映射前像素的深度值；
[0021]diag(z
(n，1)
)是对深度向量对角化，就是将n维向量映射到nxn方阵的对角线上，其余元素为0；diag(z
(n，1)
)
‑1就是给对角化后的矩阵取逆；t
(3，n)
是相机位置平移向量，维度为3xn，每一行均分别对应在三个坐标轴上相机的平动位移；
[0022]对于同一张图片来说，n行的值相同，将映射方程变成矩阵形式之后使用GPU对图像像素变换并行映射，
[0023]如果需要对m张图片进行并行映射，则使用像素映射方程：
[0024]P
1(3，n*m)
＝P
2(3，n*m)
‑
Kt
(3，n*m)
*diag(z
(n*m，1)
)
‑1：
[0025]通过像素映射方程得到的是初始视角的图片像素和其他相机视角位置图片像素的一个映射关系，通过这个映射关系将其他相机视角位置图像的RGB图像变换到初始视角下的相机图像，
[0026]RGB_origin[P
1(3，n)
(0：1，：)]＝RGB[P
2(3，n)
(0：1，：)]；
[0027]其中P
1(3，n)
(0：1，：)代表取P
1(3，n)
齐次坐标中的前两行元素，RGB_origin代表在初始视角下的相机图像，RGB代表相机运动过程中采集到的相机图像。
[0028]优选的，步骤S3还包括步骤S31：将经过转换到的初始视角的图片像素的图像作为待拼接图像，将得到的全景图像和待拼接图像分别转成灰度图，并进行二值化，通过按位与操作得到重叠区域的图像；
[0029]将初始视角的全景图片重叠区域和待拼接图像重叠区域的RGB值分别转到YUV色彩空间，计算初始视角的全景图片和待拼接图像重叠区域Y分量比值的亮度系数k，亮度系数：
[0030][0031]其中，YUV
B1
(0，：)代表B1中所有像素的Y分量，YUV
B2
(0，：)代表B2中所有像素的Y分量，avg()表示对亮度系数取平均值；
[0032]将待拼接图像转到YUV色彩空间，并对所有像素的Y分量都乘以这个k系数，YUV
C
(0，：)＝k*YUV
C
(0.：)；
[0033]将待拼接图像从YUV色彩空间转回RGB空间，将待拼接图像直接拷贝到全景图片对应的像素上，得到融合拼接的全景图像。
[0034]与现有技术相比，有益效果在于：1)针对行车机构平面运动的特性建立了像素映射方程，结合编码器获取的相机位置和深度相机获取的图像深度建立像素映射表，从而实现图像像素在不同视角之间的快速变换。
[0035]2)本专利技术将像素映射方程由单个像素推广到了矩阵形式，从而可以对整张图片或者多张图片进行并行映射，可以实现大场景，多数量图片的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于YUV色彩空间的图像快速拼接方法，其特征在于，包括如下步骤：S1：控制行车的运动机构对待拼接场景进行全局扫描，采集同一时刻相机位置t、RGB图像数据、深度图像数据，通过相机外参和相机内参将深度图数据映射到RGB图像中，得到每一个像素的深度值z；S2：利用像素映射方程将所有图片的像素转换到初始视角的图片像素；S3：对所有变换后的RGB值进行融合得到拼接的全景图像。2.如权利要求1所述的基于YUV色彩空间的图像快速拼接方法，其特征在于，步骤S2还还包括步骤S21：利用三角测量原理得到同一个点在两个不同像素位置的关系为：其中，P1是这个点在位置1处相机图像中的像素的齐次坐标，维度为3x1，z1是该点在位置1处相机图像中的深度；P2是这个点在位置2处相机图像中的像素的齐次坐标，维度为3x1，z2是该点在位置2处相机图像中的深度；K是相机内参；R是相机的旋转向量，t是相机的位置平移向量，相机的旋转向量R是一个单位矩阵，相机深度z1＝z2，像素映射方程可以变为：将像素映射方程变为：P
1(3，n)
＝P
2(3，n)
‑
Kt
(3，n)
*diag(z
(n，1)
)
‑1；通过上述P
1(3，n)
＝P
2(3，n)
‑
Kt
(3，n)
*diag(z
(n，1)
)
‑1的像素映射方程对一张图片进行并行映射，其中P
1(3，n)
是映射后的像素坐标的齐次坐标，维度为3xn，每一列均是一个映射后的像素坐标；P
2(3，n)
是映射前的像素坐标的齐次坐标，维度为3xn，每一列均是一个映射前的像素坐标；z
(n，1)
是像素坐标对应的深度向量，维度为nx1，每一行均是映射前像素的深度值；diag(z
(n，1)
)是对深度向量对角化，就是将n维向量映射到nxn方阵的对角线上，其余元素为0；diag(z
(n，1)
)
‑1就是给对角化后的矩阵...

【专利技术属性】
技术研发人员：江子奔，罗长志，郑军，
申请(专利权)人：聚时科技上海有限公司，
类型：发明
国别省市：