一种全景图像的处理方法、装置、电子设备及存储介质制造方法及图纸

本公开提出了一种全景图像的处理方法、装置、电子设备及存储介质，其中，所述方法包括：获取第一图像采集装置拍摄的第一图像和第二图像采集装置拍摄的第二图像，并将所述第一图像和所述第二图像分别转换为第一全景图像和第二全景图像；确定所述第一全景图像和所述第二全景图像之间的视差信息，并生成所述视差信息对应的深度信息；基于所述深度信息，将所述第一图像和所述第二图像映射至同一设备空间中，并根据所述同一设备空间中的映射结果，生成所述第一图像和所述第二图像拼接后的全景图像。本公开一个或者多个实施方式提供的技术方案，能够在不丢失图像的情况下，还能够消除图像重影。图像重影。图像重影。

【技术实现步骤摘要】
一种全景图像的处理方法、装置、电子设备及存储介质


[0001]本公开涉及图像处理
，具体涉及一种全景图像的处理方法、装置、电子设备及存储介质。

技术介绍

[0002]目前在制作范围较广的全景图像时，可以采用多个图像采集装置分别拍摄各自视场范围内的图像，然后再将各个视场范围内的图像拼接为范围较广的全景图像。
[0003]由于图像采集装置的视场范围通常会有重叠，在拼接得到全景图像中，在视场范围的交界处往往会存在图像的重影。为了解决该问题，相关技术可以从图像中裁剪出部分图像，然后再将部分图像进行拼接。这种方法虽然可以消除图像的重影，但也会导致部分视角的图像丢失。
[0004]鉴于此，目前需要一种更加完善的全景图像的拼接方法，在不丢失图像的情况下，还能够消除图像重影。

技术实现思路

[0005]有鉴于此，本公开一个或者多个实施方式提供了一种全景图像的处理方法、装置、电子设备及存储介质，能够在不丢失图像的情况下，还能够消除图像重影。
[0006]本公开一方面提供了一种全景图像的处理方法，所述方法包括：获取第一图像采集装置拍摄的第一图像和第二图像采集装置拍摄的第二图像，并将所述第一图像和所述第二图像分别转换为第一全景图像和第二全景图像；确定所述第一全景图像和所述第二全景图像之间的视差信息，并生成所述视差信息对应的深度信息；基于所述深度信息，将所述第一图像和所述第二图像映射至同一设备空间中，并根据所述同一设备空间中的映射结果，生成所述第一图像和所述第二图像拼接后的全景图像。
[0007]本公开另一方面还提供了一种全景图像的处理装置，所述装置包括：全景图像转换单元，用于获取第一图像采集装置拍摄的第一图像和第二图像采集装置拍摄的第二图像，并将所述第一图像和所述第二图像分别转换为第一全景图像和第二全景图像；深度信息生成单元，用于确定所述第一全景图像和所述第二全景图像之间的视差信息，并生成所述视差信息对应的深度信息；图像拼接单元，用于基于所述深度信息，将所述第一图像和所述第二图像映射至同一设备空间中，并根据所述同一设备空间中的映射结果，生成所述第一图像和所述第二图像拼接后的全景图像。
[0008]本公开另一方面还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的全景图像的处理方法。
[0009]本公开另一方面还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述的全景图像的处理方法。
[0010]本公开一个或者多个实施方式提供的技术方案，针对图像采集装置拍摄的第一图
像和第二图像，可以先将这两幅图像转换为全景图像。后续，可以估算转换得到的两幅全景图像之间的视差信息，并基于视差信息生成对应的深度信息。深度信息可以用于将不同的设备空间进行对齐，通过深度信息，可以将原本属于不同设备空间的第一图像和第二图像映射至同一设备空间中。这样，在同一设备空间中，相同的目标只会对应一个坐标，不会出现重复的目标。根据该同一设备空间中的映射结果生成的全景图像，就不会出现图像的重影。同时，由于本公开没有对全景图像进行裁剪，从而使得拼接得到的全景图像中不会丢失原始图像的内容。
附图说明
[0011]通过参考附图会更加清楚的理解本公开各实施例的特征和优点，附图是示意性的而不应理解为对本公开进行任何限制，在附图中：
[0012]图1示出了本公开一个实施方式中的全景图像的处理方法步骤示意图；
[0013]图2示出了本公开一个实施方式中坐标变换的流程示意图；
[0014]图3示出了本公开一个实施方式中全景图像的处理装置的功能模块示意图；
[0015]图4示出了本公开一个实施方式中的电子设备的结构示意图。
具体实施方式
[0016]为使本公开实施方式的目的、技术方案和优点更加清楚，下面将结合本公开实施方式中的附图，对本公开实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本公开一部分实施方式，而不是全部的实施方式。基于本公开中的实施方式，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本公开保护的范围。
[0017]目前，在进行全景图像的拼接时，一方面可以基于模板进行全景拼接，另一方面可以基于特征匹配进行全景拼接。其中，基于模板进行全景拼接时，虽然具备较快的拼接速度，能够应用于对延时有较高要求的业务场景中，但为了保障拼接效果，通常需要设置较大的安全距离。而在虚拟现实场景下，较大的安全距离会导致用户无法观察到近处的环境，从而无法达到沉浸式的体验。基于特征匹配进行全景拼接时，尽管不需要设置较大的安全距离，但由于多个相机之间往往存在固有的视差，从而导致近距离图像的拼接效果依然比较差。
[0018]鉴于此，本公开一个实施方式提供了一种全景图像的处理方法，该方法通过估算出不同图像之间的视差信息，并基于视差信息生成对应的深度信息，后续可以根据深度信息将不同的图像逆投影至同一个设备空间内，从而拼接得到既不发生图像重影，又能够准确显示近距离物体的全景图像。
[0019]请参阅图1，本公开一个实施方式提供的全景图像的处理方法，可以包括以下多个步骤。
[0020]S1：获取第一图像采集装置拍摄的第一图像和第二图像采集装置拍摄的第二图像，并将所述第一图像和所述第二图像分别转换为第一全景图像和第二全景图像。
[0021]在本实施方式中，上述的图像采集装置可以是拍摄范围较广的相机。例如，图像采集装置可以是双目鱼眼相机。这样，在进行图像拍摄时，可以由第一图像采集装置和第二图
像采集装置分别采集第一图像和第二图像。在实际应用中，可以获取第一图像采集装置和第二图像采集装置在相同的时刻分别拍摄到的第一图像和第二图像。图像采集装置具备更广的拍摄视野，但也会导致拍摄得到的图像存在一定程度的畸变。例如真实世界中的直线在拍摄得到的图像中，可能成为了弯曲的曲线。为了后续准确地对图像进行拼接，可以先将第一图像和第二图像进行畸变校正，从而转换为对应的第一全景图像和第二全景图像。
[0022]在实际应用中，图像采集装置可以通过不同的相机模型来表示。例如，以鱼眼相机为例，常见的适用于鱼眼相机的相机模型可以包括KBCM模型(Kannala
‑
Brandt CameraModel)、视场相机模型(Field
‑
of
‑
View Camera Model，FOVCM)、双球面相机模型(Double Sphere Camera Model，DSCM)等。根据实际应用场景的不同，可以灵活选用其中的相机模型。
[0023]需要说明的是，不同的相机模型，对应的投影函数通常也是不同的。投影函数可以将物体从相机坐标系转换到图像坐标系中，从而模拟相机的成像过程。通过对投影函数求逆，便可以得到逆投影函数，逆投影函数可以将图像坐标系中的像素点重新转本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全景图像的处理方法，其特征在于，所述方法包括：获取第一图像采集装置拍摄的第一图像和第二图像采集装置拍摄的第二图像，并将所述第一图像和所述第二图像分别转换为第一全景图像和第二全景图像；确定所述第一全景图像和所述第二全景图像之间的视差信息，并生成所述视差信息对应的深度信息；基于所述深度信息，将所述第一图像和所述第二图像映射至同一设备空间中，并根据所述同一设备空间中的映射结果，生成所述第一图像和所述第二图像拼接后的全景图像。2.根据权利要求1所述的方法，其特征在于，确定所述第一全景图像和所述第二全景图像之间的视差信息包括：对所述第一全景图像和所述第二全景图像进行极线校正，针对极线校正后的两幅全景图像，利用预设立体匹配网络估算所述两幅全景图像之间的视差，以生成所述第一全景图像和所述第二全景图像之间的视差信息。3.根据权利要求1所述的方法，其特征在于，将所述第一图像和所述第二图像映射至同一设备空间中包括：将所述第一图像中的像素点逆投影至所述第一图像采集装置的第一相机坐标系中，以及将所述第二图像中的像素点逆投影至所述第二图像采集装置的第二相机坐标系中；确定所述第一相机坐标系与所述第二相机坐标系之间的旋转平移信息，并基于所述深度信息和所述旋转平移信息，生成所述第一相机坐标系与所述第二相机坐标系之间的坐标变换矩阵；通过所述坐标变换矩阵，将所述第一相机坐标系和所述第二相机坐标系中的逆投影结果映射至同一相机坐标系下。4.根据权利要求1或3所述的方法，其特征在于，生成所述第一图像和所述第二图像拼接后的全景图像包括：将所述同一设备空间中的映射结果投影至虚拟单位球的表面上，并将所述虚拟单位球的表面沿指定经线展开得到的图像作为拼接后的全景图像。5.根据权利要求1所述的方法，其特征在于，在生成所述视差信息对应的深度信息之后，所述方法还包括：统计相邻多帧图像的深度信息，并基于统计结果判断是否生成平滑处理后的深度信息；若生成平滑处理后的深度信息，利用所述平滑处理后的深度信息替换原始的深度信息。6.根据权利要求5所述的方法，其特征在于，基于统计结果判断是否生成平滑处理后的深度信息包括：针对所述相邻多帧图像中的指定位置处的像素点，从...

【专利技术属性】
技术研发人员：张东波，田明哲，焦少慧，
申请(专利权)人：抖音视界有限公司，
类型：发明
国别省市：