一种基于深度图和彩色图的视频拼接方法技术

本发明专利技术公开了一种基于深度图和彩色图的视频拼接方法，包括以下步骤：准备多组彩色相机和深度相机；从拍摄的彩色视频流和深度视频流中抽帧，获取某一时刻对应的彩色图和深度图；采用棋盘格法进行标定，获取多组彩色相机和深度相机的位姿；由深度图得到当前拍摄场景的相对深度相机坐标系的三维坐标，从深度图中获取点云数据，将彩色图的像素对应点云数据，删掉不在深度范围内的点云数据；根据筛选后的点云数据进行图像拼接；重复上述操作，得到拼接后的视频流。本发明专利技术提供的一种基于深度图和彩色图的视频拼接方法具有拼接的精度和效率高等优点。高等优点。高等优点。

【技术实现步骤摘要】
一种基于深度图和彩色图的视频拼接方法


[0001]本专利技术涉及视频拼接的
，尤其涉及其一种基于深度图和彩色图的视频拼接方法。

技术介绍

[0002]现有视频拼接方法，先是将视频中的图片提取出来，再提取每张图的特征点，根据特征点，对不同视频中的相对应的图片进行特征匹配，根据匹配结果进行图片外参结算，或者计算单应矩阵，将相邻图片进行拼接。该种方法处理时间长，在复杂场景上经常存在图片误匹配，导致外参或单应矩阵计算不对，导致拼接的效果不对。此外，图片中会包含天空海面等大部分场景，这些场景有时候不是用户关注的，因为这些场景基本上一致，而且经常会导致匹配失败，匹配不准确。

技术实现思路

[0003]本专利技术提供了一种基于深度图和彩色图的视频拼接方法，旨在解决现有视频拼接技术匹配不准确的问题。
[0004]根据本申请实施例，提供了一种基于深度图和彩色图的视频拼接方法，包括以下步骤：
[0005]准备多组彩色相机和深度相机；
[0006]从拍摄的彩色视频流和深度视频流中抽帧，获取某一时刻对应的彩色图和
[0007]深度图；
[0008]采用棋盘格法进行标定，获取多组彩色相机和深度相机的位姿；
[0009]由深度图得到当前拍摄场景的相对深度相机坐标系的三维坐标，从深度图中获取点云数据，将彩色图的像素对应点云数据，删掉不在深度范围内的点云数据；
[0010]根据筛选后的点云数据进行图像拼接；
[0011]重复上述操作，得到拼接后的视频流。
[0012]优选地，获取多组彩色相机和深度相机中某一时刻的彩色图M和深度图D；
[0013]多组彩色图和深度图匹配对(M1，D1)，(M2，D2)，
…
，(Mn，Dn)；
[0014]优选地，包括以下步骤：
[0015]设定平均深度垂直于Z轴的平面为投影面；
[0016]将深度图得到的点云数据投影到该投影面上，得到多个二维点；
[0017]根据每个三维点投影到彩色图获得的像素值，对平面上该二维点进行填充；
[0018]将投影面的彩色图进行补洞优化；
[0019]得到完整拼接图像帧。
[0020]优选地，采用棋盘格法进行标定，获取多组彩色相机和深度相机的位姿，包括以下步骤：
[0021]多组彩色相机和深度相机对同一张棋盘格或多张棋盘格进行观察；
[0022]以其中一个彩色相机为参考，获得所有彩色相机的位置；
[0023]计算出多组彩色相机的相对位置；
[0024]由每个设备上深度相机和彩色相机的位姿是固定的，得到所有深度相机的位姿。
[0025]优选地，由深度图得到当前拍摄场景的相对深度相机坐标系的三维坐标，包括以下步骤：
[0026]将这些局部的三维坐标根据上面计算出的相对位姿进行转换，转换成三维点云；
[0027]将所有三维点云数据进行融合；
[0028]对三维点云数据进行处理，包括去噪、重投影误差优化；
[0029]将不在深度范围内的点云数据进行删除；
[0030]得到观测场景的信息。
[0031]本申请实施例提供的技术方案可以包括以下有益效果：本申请设计了一种基于深度图和彩色图的视频拼接方法，与传统方案相比，本申请根据指定的深度范围，只拼接该深度范围内的场景。这样不但使用户可以得到想要观测范围的图像，排除其他场景的干扰外，还能大大提升拼接的精度和效率。在需要快速实时拼接方面有比较大的优势，可以有针对性的关注某些场景。使用深度图的优点是匹配准确，速度快，指定场景方便。
附图说明
[0032]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1是本专利技术一种基于深度图和彩色图的视频拼接方法的流程示意图；
[0034]图2是本专利技术一种基于深度图和彩色图的视频拼接方法中步骤S2的流程示意图；
[0035]图3是本专利技术一种基于深度图和彩色图的视频拼接方法中步骤S4的流程示意图；
[0036]图4是本专利技术一种基于深度图和彩色图的视频拼接方法中步骤S3的流程示意图；
[0037]图5是本专利技术一种基于深度图和彩色图的视频拼接方法中步骤S4的流程示意图。
[0038]标号说明:
[0039]10、一种基于深度图和彩色图的视频拼接方法。
具体实施方式
[0040]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0041]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及其“该”意在包括复数形式。
[0042]还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及其所有可能组合，并且包括这些组合。
[0043]请参阅图1，本专利技术公开了一种基于深度图和彩色图的视频拼接方法10，包括以下
步骤：
[0044]步骤S1：准备多组彩色相机和深度相机；
[0045]步骤S2：从拍摄的彩色视频流和深度视频流中抽帧，获取某一时刻对应的彩色图和深度图；
[0046]步骤S3：采用棋盘格法进行标定，获取多组彩色相机和深度相机的位姿；
[0047]步骤S4：由深度图得到当前拍摄场景的相对深度相机坐标系的三维坐标，从深度图中获取点云数据，将彩色图的像素对应点云数据，删掉不在深度范围内的点云数据；
[0048]步骤S5：根据筛选后的点云数据进行图像拼接；
[0049]步骤S6：重复上述操作，得到拼接后的视频流。
[0050]本申请设计了一种基于深度图和彩色图的视频拼接方法，与传统方案相比，本申请根据指定的深度范围，只拼接该深度范围内的场景。这样不但使用户可以得到想要观测范围的图像，排除其他场景的干扰外，还能大大提升拼接的精度和效率。在需要快速实时拼接方面有比较大的优势，可以有针对性的关注某些场景。使用深度图的优点是匹配准确，速度快，指定场景方便。
[0051]目前能采集深度图像的设备有很多，比如微软的kinect和奥比中光的3d摄像头等。这些设备可以很方便的同时采集彩色图和其对应的深度图。由于彩色相机和深度相机在设备上是固定的，因此每张彩色图和深度图的相对位姿是固定的。
[0052]请参阅图2，所述步骤S2包括以下步骤：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度图和彩色图的视频拼接方法，其特征在于，包括以下步骤：准备多组彩色相机和深度相机；从拍摄的彩色视频流和深度视频流中抽帧，获取某一时刻对应的彩色图和深度图；采用棋盘格法进行标定，获取多组彩色相机和深度相机的位姿；由深度图得到当前拍摄场景的相对深度相机坐标系的三维坐标，从深度图中获取点云数据，将彩色图的像素对应点云数据，删掉不在深度范围内的点云数据；根据筛选后的点云数据进行图像拼接；重复上述操作，得到拼接后的视频流。2.如权利要求1所述的一种基于深度图和彩色图的视频拼接方法，其特征在于，包括以下步骤：获取多组彩色相机和深度相机中某一时刻的彩色图M和深度图D；多组彩色图和深度图匹配对(M1，D1)，(M2，D2)，
…
，(Mn，Dn)。3.如权利要求2所述的一种基于深度图和彩色图的视频拼接方法，其特征在于，包括以下步骤：设定平均深度垂直于Z轴的平面为投影面；将深度图得到的点云数据投影到该投影面上，...

【专利技术属性】
技术研发人员：王丹华，顾秋生，
申请(专利权)人：深圳市歌华智能科技有限公司，
类型：发明
国别省市：