全景图像拼接方法技术

本发明专利技术实施例提供一种全景图像拼接方法

【技术实现步骤摘要】
全景图像拼接方法、装置、设备和存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种全景图像拼接方法
、
装置
、
设备和存储介质
。

技术介绍

[0002]目前市面上主流的全景相机价格昂贵，无法实现全景相机的普遍使用，现在通常使用多个鱼眼相机来获得全景图像，多个鱼眼相机可以在同一时刻以不同的拍摄角度分别拍摄同一目标场景，并将拍摄得到的多张鱼眼图像进行全景拼接处理，以得到目标场景对应的全景图像
。
[0003]在现有的全景图像拼接方案中，以采集到的多张鱼眼图像中各个像素点对应的深度值为半径确定各自对应的投影球面，并将各个像素点投影在各自对应的投影球面上，以获得各个像素点对应的目标经纬度坐标，根据目标经纬度坐标对多张鱼眼图像进行展开，获得多张展开图像，最后对多张展开图像进行融合，以获得融合后的全景图像
。
[0004]然而，在实际应用中，获取到的各个像素点对应的深度值可能存在一定的误差，这样在对多张鱼眼图像进行拼接时，在图像拼接部分易出现明显的扭曲和割裂，导致用户的全景体验较差
。

技术实现思路

[0005]本专利技术实施例提供一种全景图像拼接方法
、
装置
、
设备和存储介质，用以提高全景图像的拼接效果
。
[0006]第一方面，本专利技术实施例提供一种全景图像拼接方法，所述方法包括：
[0007]获取目标场景的多张场景图像以及所述目标场景的深度图，所述多张场景图像为相机围绕同一旋转轴轴心在多个不同角度对所述目标场景进行拍摄得到的；
[0008]根据所述多张场景图像各自对应的相机位姿和相机视场角，在深度图中标定多组相邻场景图像对应的多个图像重叠区域，其中，每组相邻场景图像对应的图像重叠区域是指其中包含的相邻两张场景图像之间的重叠区域；
[0009]从每个所述图像重叠区域中选取出图像重叠子区域，所述图像重叠子区域中各个像素对应的深度梯度值小于第一预设阈值；
[0010]根据多个图像重叠子区域内各个像素点对应的深度值，确定所述多张场景图像中各个像素点对应的目标深度值；
[0011]根据所述目标深度值，对所述多张场景图像进行图像展开处理，以获得多张平面展开图像；
[0012]融合所述多张平面展开图像，以获得所述目标场景对应的全景图像
。
[0013]第二方面，本专利技术实施例提供一种全景图像拼接装置，所述装置包括：
[0014]获取模块，用于获取目标场景的多张场景图像以及所述目标场景的深度图，所述多张场景图像为相机围绕同一旋转轴轴心在多个不同角度对所述目标场景进行拍摄得到
的；
[0015]标定模块，用于根据所述多张场景图像各自对应的相机位姿和相机视场角，在深度图中标定多组相邻场景图像对应的多个图像重叠区域，其中，每组相邻场景图像对应的图像重叠区域是指其中包含的相邻两张场景图像之间的重叠区域；
[0016]筛选模块，用于从每个所述图像重叠区域中选取出图像重叠子区域，所述图像重叠子区域中各个像素点对应的深度梯度值小于第一预设阈值；
[0017]确定模块，用于根据多个图像重叠子区域内各个像素点对应的深度值，确定所述多张场景图像中各个像素点对应的目标深度值；
[0018]展开模块，用于根据所述目标深度值，对所述多张场景图像进行图像展开处理，以获得多张平面展开图像；
[0019]融合模块，用于融合所述多张平面展开图像，以获得所述目标场景对应的全景图像
。
[0020]第三方面，本专利技术实施例提供一种电子设备，包括：存储器
、
处理器
、
通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现如第一方面所述的全景图像拼接方法
。
[0021]第四方面，本专利技术实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的全景图像拼接方法
。
[0022]在本专利技术实施例提供的全景图像拼接方案中，首先，获取获取目标场景的多张场景图像以及目标场景的深度图
。
其中，多张场景图像为相机围绕同一旋转轴轴心在多个不同角度对目标场景进行拍摄得到的
。
接着，根据多张场景图像各自对应的相机位姿和相机视场角，在深度图中标定多组相邻场景图像对应的多个图像重叠区域，其中，每组相邻场景图像对应的图像重叠区域是指其中包含的相邻两张场景图像之间的重叠区域
。
并从每个图像重叠区域中选取出图像重叠子区域
。
其中，图像重叠子区域中各个像素对应的深度梯度值小于第一预设阈值
。
而后，根据多个图像重叠子区域内各个像素点对应的深度值，确定多张场景图像中各个像素点对应的目标深度值
。
并根据多张场景图像中各个像素点对应的目标深度值，对多张场景图像进行图像展开处理，以获得多张平面展开图像
。
最后，融合多张平面展开图像，以获得目标场景对应的全景图像
。
[0023]在上述方案中，通过从每个图像重叠区域中选取出各个像素点对应的深度梯度值较小的图像重叠子区域，即可以获得各个图像重叠区域对应的深度变化较平滑的图像重叠子区域
。
再根据深度变化较平滑的图像重叠子区域中各个像素点的深度值，对场景图像中各个像素点的深度值进行优化，以降低图像重叠区域与非图像重叠区域之间的深度差值，使得图像拼接边缘处的深度差异较小，从而可以有效避免图像拼接边缘处出现扭曲或者割裂现象，进而提高了全景图像的拼接效果
。
附图说明
[0024]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的
附图
。
[0025]图1为本专利技术实施例提供的一种全景图像拼接系统的示意图；
[0026]图2为本专利技术实施例提供的一种全景图像拼接方法的流程图；
[0027]图3为本专利技术实施例提供的一种在深度图中标定图像重叠区域的应用示意图；
[0028]图4为本专利技术实施例提供的一种从每个图像重叠区域中选取出图像重叠子区域的流程图；
[0029]图5为本专利技术实施例提供的一种根据多个图像重叠子区域内各个像素点对应的深度值，确定多张场景图像中各个像素点对应的目标深度值的流程图；
[0030]图6为本专利技术实施例提供的一种全景图像拼接装置的结构示意图；
[0031]图7为与图6所示实施例提供的全景图像拼接装置对应的电子设备的结构示意图
。
具体实施方式
...

【技术保护点】

【技术特征摘要】
1.
一种全景图像拼接方法，其特征在于，包括：获取目标场景的多张场景图像以及所述目标场景的深度图，所述多张场景图像为相机围绕同一旋转轴轴心在多个不同角度对所述目标场景进行拍摄得到的；根据所述多张场景图像各自对应的相机位姿和相机视场角，在深度图中标定多组相邻场景图像对应的多个图像重叠区域，其中，每组相邻场景图像对应的图像重叠区域是指其中包含的相邻两张场景图像之间的重叠区域；从每个所述图像重叠区域中选取出图像重叠子区域，所述图像重叠子区域中各个像素对应的深度梯度值小于第一预设阈值；根据多个图像重叠子区域内各个像素点对应的深度值，确定所述多张场景图像中各个像素点对应的目标深度值；根据所述目标深度值，对所述多张场景图像进行图像展开处理，以获得多张平面展开图像；融合所述多张平面展开图像，以获得所述目标场景对应的全景图像
。2.
根据权利要求1所述的方法，其特征在于，所述从每个所述图像重叠区域中选取出图像重叠子区域，包括：基于预设的滑窗尺寸，对目标图像重叠区域进行分割处理，以得到目标图像重叠区域对应的多个第一滑窗区域，其中，目标图像重叠区域是所述多个图像重叠区域中任一个；根据所述多个第一滑窗区域内各个像素点的深度值，从所述多个第一滑窗区域中确定出所述目标图像重叠区域对应的图像重叠子区域
。3.
根据权利要求2所述的方法，其特征在于，所述根据所述多个第一滑窗区域内各个像素点的深度值，从所述多个第一滑窗区域中确定出所述目标图像重叠区域对应的图像重叠子区域，包括：计算所述多个第一滑窗区域对应的深度均值和总深度梯度值；根据所述深度均值和所述总深度梯度值，确定所述多个第一滑窗区域各自对应的能量值；根据所述能量值，从所述多个第一滑窗区域中选择出能量值小于第二预设阈值的第一滑窗区域；根据选择出的第一滑窗区域各自对应的深度均值，从所述选择出的第一滑窗区域中确定出所述目标图像重叠区域对应的图像重叠子区域
。4.
根据权利要求3所述的方法，其特征在于，所述根据选择出的第一滑窗区域各自对应的深度均值，从所述选择出的第一滑窗区域中确定出所述目标图像重叠区域对应的图像重叠子区域，包括：从所述多个图像重叠区域中确定出所述目标图像重叠区域的相邻图像重叠区域；获取所述相邻图像重叠区域内分割出的多个第二滑窗区域，所述多个第二滑窗区域各自对应的能量值小于所述第二预设阈值；根据所述多个第二滑窗区域各自对应的深度均值和所述选择出的第一滑窗区域各自对应的深度均值，从所述选择出的第一滑窗区域中确定目标第一滑窗区域，其中，所述目标第一滑窗区域对应的深度均值是所述选择出的第一滑窗区域中深度均值最接近所述多个第二滑窗区域各自对应的深度均值的；
确定所述目标第一滑窗区域作为所述目标图像重叠区域对应的图像重叠子区域
。5.
根据权利要求1‑4中任一项所述的方法，其特征在于，所述根据多个图像重叠子区域内各个像素点对应的深度值，确定所述多张场景图像中各个像素点对应的目标深度值，包括：根据多个图像重叠子区域内各像素点对应的深度值分别确定所述多个图像重叠子区域的深度均值；根据所述...

【专利技术属性】
技术研发人员：沈俊，田虎，关海波，
申请(专利权)人：北京城市网邻信息技术有限公司，
类型：发明
国别省市：