一种全景图像无缝拼接方法技术

本发明专利技术提供一种全景图像无缝拼接方法，包括检测并提取图像的特征和关键点，还包括以下步骤：使用同光心的两个或多个摄像头得到多个图像，对多个图像进行特征检测，得到匹配的描述符；建立全景图像到平面图像格式映射矩阵，在平面视图格式根据像素差对齐进行线性变化，根据坐标映射关系，对等距柱状投影格式进行曲线形的像素插值；拼接全景图像。本发明专利技术提出了一种全景图像无缝拼接方法，提出将等距柱状投影格式贴到球面，再投影到平面视图格式，建立全景图像到平面图像格式映射矩阵，然后在平面视图格式根据像素差对齐进行线性变化，根据坐标映射关系，等距柱状投影格式进行曲线形的像素插值方法。素插值方法。素插值方法。

【技术实现步骤摘要】
一种全景图像无缝拼接方法


[0001]本专利技术涉及数字图像处理的
，特别是一种全景图像无缝拼接方法。

技术介绍

[0002]目前全景相机的多个镜头之间，由于制作工艺差距，无法做到绝对的同心光，由于设备之间不同光心，当对距离镜头某一位置时，使用标定方法计算机得到特征点，使用该特征点得到透视变换矩阵的估计，该透视变换矩阵只针对于当前位置有效，导致不同光心时图像融合效果变差，因此本专利技术针对完成的透视变换映射图像，采用通过目标检测方法或者传统SIFT进行对目标图像进行特征匹配，然后对映射图像进行自动对准变换，使映射进行无缝对齐，提高图像融合质量。
[0003]部传统的方法是对映射后的目标图像等距柱状投影格式图像进行对齐，通过水平缩放的方法进行插值处理，这个处理方式只是对当前的像素在等距柱状投影格式(Equirectangular)进行处理，由于在边界处人、物等运动物体是以平面的方式进行。因此这种方式进行缩放导致边界无缝，另外一个位置会出现拼接效果差的情况。
[0004]申请号为CN110930305A的专利技术专利申请公开了一种基于空间坐标轴的全景图像的拼接方法，包括在3D模型空间内建立空间坐标轴，其中X轴代表左右方向，Y轴代表上下方向，Z轴代表前后方向，将获取到的图像分成若干个点，依据获取图像在3D模型空间内占据的位置，将X轴上的若干个点标注为X1、X2、X3至无穷，将Y轴上的若干个点标注为Y1、Y2、Y3至无穷，将Z轴上的若干个点标注为Z1、Z2、Z3至无穷；将3D模型空间内标注相同的点坐标进行融合，从而得到融合后初步重叠的图像；对得到的初步重叠图像进行修剪拼接，以三个坐标轴上第一个重叠的点坐标为修剪点，位于左侧的图像则修剪去修剪点右侧的所有图像，位于右侧的图像则修剪去修剪点左侧的所有图像，然后将三个独立的3D模型空间整合为一个3D模型空间，获得融合拼接后的全景图像。该方法的缺点是复杂度高，无法实施准确的校准，不能根据目标的拼接情况来调整原始的图像的差值方法。

技术实现思路

[0005]为了解决上述的技术问题，本专利技术提出了一种全景图像无缝拼接方法，提出将等距柱状投影格式贴到球面，再投影到平面视图格式，建立全景图像到平面图像格式映射矩阵，然后在平面视图格式根据像素差对齐进行线性变化，根据坐标映射关系，等距柱状投影格式进行曲线形的像素插值方法。
[0006]本专利技术提供一种全景图像无缝拼接方法，包括检测并提取图像的特征和关键点，还包括以下步骤：
[0007]步骤1：使用同光心的两个或多个摄像头得到多个图像，对多个图像进行特征检测，得到匹配的描述符；
[0008]步骤2：建立全景图像到平面图像格式映射矩阵，在平面视图格式根据像素差对齐进行线性变化，根据坐标映射关系，对等距柱状投影格式进行曲线形的像素插值；
[0009]步骤3：拼接全景图像。
[0010]优选的是，所述步骤2包括以下子步骤：
[0011]步骤21：根据所述描述符将全景图贴到球面，采用经纬展开法建立球面坐标系，x轴向右，y轴垂直向内，z轴向上；
[0012]步骤22：采用反向映射的方法，在球的南极点放置一张与南极点相切的平面；
[0013]步骤23：设定视场角FOV，设定要获取的局部平面图的大小，计算归一化焦距f；
[0014]步骤24：将局部视图上的坐标(u,v)转换到球面坐标系坐标(x,y,z)；
[0015]步骤25：将所述球面坐标系坐标(x,y,z)转换到球坐标(theta,fi)；
[0016]步骤26：根据所述球坐标(theta,fi)获取全景图的坐标(U,V)；
[0017]步骤27：完成指定位置拼接缝处映射。
[0018]在上述任一方案中优选的是，所述归一化焦距f的计算公式为焦距f＝(0.5*W)/tan(fov*0.5)，其中，W为相机的像素宽度，fov为视场角。
[0019]在上述任一方案中优选的是，所述球面坐标系坐标(x,y,z)的转换公式为
[0020]x＝u
‑
W
×
0.5
[0021]y＝H
×
0.5
‑
v
[0022]z＝f
[0023]其中，H为映射矩阵。
[0024]在上述任一方案中优选的是，所述球坐标(theta,fi)的转换公式为
[0025]theta＝acos(z/sqrt(x
×
x+y
×
y+z
×
z))
[0026]fi＝acos(x/sqrt(x
×
x+y
×
y))，y≥0
[0027]fi＝2
×
pi
‑
fi y<0
[0028]其中，pi为圆周率。
[0029]在上述任一方案中优选的是，如果全境图的尺寸为(panoW,panoH)，则所述全境图的坐标(U,V)的计算公式为
[0030]U＝fi
×
panoW/(2
×
pi)
[0031]V＝theta
×
panoH/pi。
[0032]在上述任一方案中优选的是，所述步骤2还包括通过建立等距柱状投影格式映射到平面图像格式的坐标映射关系，使用曲线的像素插值处理法拼接图像。
[0033]在上述任一方案中优选的是，所述曲线的像素插值处理法包括根据坐标映射关系在等距柱状投影格式映射图像，根据曲线坐标关系，采用双线性插值，从周围四个点插值得到新的像素值。
[0034]在上述任一方案中优选的是，所述曲线的像素插值处理法还包括根据两个图像的位置差别，通过采用固定一个图像的方式对另外一个图像进行性能变换。
[0035]在上述任一方案中优选的是，图像在水平方向的偏移动是Δx，那么在水平方向进行线性放大Δx。
[0036]在上述任一方案中优选的是，图像在垂直方向的偏移动是Δy，那么在垂直方向进行线性放大Δy。
[0037]本专利技术提出了一种全景图像无缝拼接方法，能够根据人、物等运行物体的方向进行线性插值，另外当等距柱状投影格式进行360度显示也能够得到更好的无缝拼接效果。
附图说明
[0038]图1为按照本专利技术的全景图像无缝拼接方法的一优选实施例的流程图。
[0039]图2为按照本专利技术的全景图像无缝拼接方法的透视变换的一实施例的示意图。
[0040]图3为按照本专利技术的全景图像无缝拼接方法的一优选实施例的变换后待拼接示意图。
[0041]图4为按照本专利技术的全景图像无缝拼接方法的一优选实施例的全景示意图。
[0042]图5为按照本专利技术的全景图像无缝拼接方法的一优选实施例的部分区域平面示意图。
[0043]图6为按照本专利技术的全景图像无缝拼接方法的一优选实施例的两个相机原始投影到等距柱状投影格式示意图。
[0044]图7为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全景图像无缝拼接方法，包括检测并提取图像的特征和关键点，其特征在于，还包括以下步骤：步骤1：使用同光心的两个或多个摄像头得到多个图像，对多个图像进行特征检测，得到匹配的描述符；步骤2：建立全景图像到平面图像格式映射矩阵，在平面视图格式根据像素差对齐进行线性变化，根据坐标映射关系，对等距柱状投影格式进行曲线形的像素插值；通过建立等距柱状投影格式映射到平面图像格式的坐标映射关系，使用曲线的像素插值处理法拼接图像；所述曲线的像素插值处理法包括根据坐标映射关系在等距柱状投影格式映射图像，根据曲线坐标关系，采用双线性插值，从周围四个点插值得到新的像素值，根据两个图像的位置差别，通过采用固定一个图像的方式对另外一个图像进行性能变换；步骤3：拼接全景图像。2.如权利要求1所述的全景图像无缝拼接方法，其特征在于，所述步骤2包括以下子步骤：步骤21：将全景图贴到球面，采用经纬展开法建立球面坐标系，x轴向右，y轴垂直向内，z轴向上；步骤22：采用反向映射的方法，在球的南极点放置一张与南极点相切的平面；步骤23：设定视场角FOV，设定要获取的局部平面图的大小，计算归一化焦距f；步骤24：将局部视图上的坐标(u,v)转换到球面坐标系坐标(x,y,z)；步骤25：将所述球面坐标系坐标(x,y,z)转换到球坐标(theta,fi)；步骤26：根据所述球坐标(theta,fi)获取全景图的坐标(U,V)；步骤27：完成指定位置拼接缝处映射。3.如权利要求2所述的全景图像无缝拼接方法，其特征在于，所述归...

【专利技术属性】
技术研发人员：胡建华，苑占江，赵曦，吴伟美，王波，陈宗仁，罗贵祥，钟昀烽，
申请(专利权)人：广东科学技术职业学院，
类型：发明
国别省市：