视差融合方法和装置制造方法及图纸

本发明专利技术涉及一种视差融合方法和装置。所述方法包括：获取第一图像和第二图像重叠区的第一方向流场运动关系和第二方向流场运动关系；对所述第一方向流场运动关系进行修正得到修正后的第一方向流场运动关系，以及对所述第二方向流场运动关系进行修正得到修正后的第二方向流场运动关系；采用修正后的第一方向流场运动关系和第二方向流场运动关系分别对第一图像的重叠区和第二图像的重叠区做前向和后向变形变换；将经过前向和后向变形变换后的第一图像的重叠区和第二图像的重叠区进行融合得到第一图像和第二图像重叠区的最终图像。上述视差融合方法和装置，避免了出现因视差导致的连续线条的断裂、重影虚边、鬼影等拼接瑕疵。

【技术实现步骤摘要】

本专利技术涉及图像处理领域，特别是涉及一种视差融合方法和装置。
技术介绍
360度全景视频由于能提供给用户区别于传统有限视野视频更为逼真的沉浸观看体验，逐渐成为虚拟现实领域主要的内容之一。由于目前采集全景视频的单镜头系统少见，一般是有多个相机或多个镜头系统采集的视频拼接而成。然而，从镜头光学透视几何原理来说，两个不共光心的相机系统在二维成像传感器所成像的内容，在它们公共视野部分，总会存在一定的视差，在不同深度面上，视差程度不一样，最终导致所拼接的视频内容在存在视差的区域出现视觉上难以接受的瑕疵，例如重影、鬼影、连续线条错位断裂等。针对这一问题，传统的解决方式是在拼接左右图像的重叠区内，提取显著的特征点，并且进行左右匹配，随后求解一个变形函数，使得左右图像匹配的特征点重合，同时图像变形代价最小。这样虽然可以使得重叠区内主要物体大致重合，但不能完全解决视差瑕疵，仍然会出现重影虚边，连续线条错位断裂等问题。
技术实现思路
基于此，有必要针对传统的图像拼接的重叠区域因视差存在鬼影、重影虚边、连续线条错位断裂等问题，提供一种视差融合方法和装置，能消除因视差导致的图像重叠区域的鬼影、重影虚边、连续线条错位断裂等拼接瑕疵。一种视差融合方法，包括：获取第一图像和第二图像重叠区的第一方向流场运动关系和第二方向流场运动关系；对所述第一方向流场运动关系进行修正得到修正后的第一方向流场运动关系，以及对所述第二方向流场运动关系进行修正得到修正后的第二方向流场运动关系；采用修正后的第一方向流场运动关系和第二方向流场运动关系分别对第一图像的重叠区和第二图像的重叠区做前向和后向变形变换；将经过前向和后向变形变换后的第一图像的重叠区和第二图像的重叠区进行融合得到第一图像和第二图像重叠区的最终图像。一种视差融合装置，包括：运动关系获取模块，用于获取第一图像和第二图像重叠区的第一方向流场运动关系和第二方向流场运动关系；修正模块，用于对所述第一方向流场运动关系进行修正得到修正后的第一方向流场运动关系，以及对所述第二方向流场运动关系进行修正得到修正后的第二方向流场运动关系；变形模块，用于采用修正后的第一方向流场运动关系和第二方向流场运动关系分别对第一图像的重叠区和第二图像的重叠区做前向和后向变形变换；融合模块，用于将经过前向和后向变形变换后的第一图像的重叠区和第二图像的重叠区进行融合得到第一图像和第二图像重叠区的最终图像。上述视差融合方法和装置，通过获取第一图像和第二图像重叠区的第一方向流场运动关系和第二方向流场运动关系，采用第一方向流场运动关系和第二方向流场运动关系对第一图像的重叠区和第二图像重叠区进行前向和后向变形变换，将经过前向和后向变形变换的第一图像的重叠区和第二图像的重叠区进行融合得到第一图像和第二图像重叠区的最终图像，利用流场数据中包括不同深度面过渡的遮挡区进行变形变换再融合，得到的最终图像，避免了出现因视差导致的连续线条的断裂、重影虚边、鬼影等拼接瑕疵。附图说明图1为一个实施例中电子设备的内部结构示意图；图2为一个实施例中视差融合方法的流程图；图3为一个实施例中视差融合装置的结构框图；图4为一个实施例中修正模块的内部结构框图；图5为一个实施例中变形模块的内部结构框图；图6为一个实施例中融合模块的内部结构框图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。可以理解，本专利技术所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本专利技术的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。图1为一个实施例中电子设备的内部结构示意图。如图1所示，该电子设备包括通过系统总线连接的处理器、非易失性存储介质、内存储器、网络接口、显示屏和输入装置。其中，电子设备的非易失性存储介质存储有操作系统，还包括一种视差融合装置，该视差融合装置用于实现一种视差融合方法。该处理器用于提供计算和控制能力，支撑整个终端的运行。电子设备中的内存储器为非易失性存储介质中的视差融合装置的运行提供环境，该内存储器中可储存有计算机可读指令，该计算机可读指令被所述处理器执行时，可使得所述处理器执行一种视差融合方法。网络接口用于与其他设备进行通信等。电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏等，输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备可以是手机、个人计算机、平板电脑、个人数字助理、穿戴式设备或服务器等。本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。图2为一个实施例中视差融合方法的流程图。如图2所示，一种视差融合方法，运行于电子设备上，包括：步骤202，获取第一图像和第二图像重叠区的第一方向流场运动关系和第二方向流场运动关系。采集的全景视频的图像一般采用多个相机或多个镜头系统采集的视频拼接，即将第一图像和第二图像进行拼接。第一图像和第二图像拼接时会存在一部分重叠，即为第一图像和第二图像的重叠区。第一图像和第二图像的重叠区中属于第一图像的部分称为第一图像的重叠区，第一图像和第二图像的重叠区中属于第二图像的部分称为第二图像的重叠区。第一图像和第二图像的重叠区的各像素点坐标、第一图像的重叠区的各像素点坐标以及第二图像的重叠区的各像素点坐标相同。第一图像和第二图像重叠区的第一方向流场运动关系为从第一图像到第二图像方向的流场运动关系。第一图像和第二图像重叠区的第二方向流场运动关系为从第二图像到第一图像方向的流场运动关系。例如，第一图像和第二图像重叠区为水平方向重叠，则标记从左到右的流场运动关系为Flowl2r，从右到左的流场运动关系为Flowr2l。l2r为left2right的缩写，标记从左到右方向，r2l为right2left的缩写，标记从右到左方向。可根据经典流场算法计算第一图像的重叠区和第二图像的重叠区的逐像素密集匹配关系，即第一方向流场运动关系和第二方向流场运动关系。步骤204，对该第一方向流场运动关系进行修正得到修正后的第一方向流场运动关系，以及对该第二方向流场运动关系进行修正得到修正后的第二方向流场运动关系。本实施例中，该对该第一方向流场运动关系进行修正得到修正后的第一方向流场运动关系，包括：对该第一方向流场运动关系做与第一图像的非重叠区的过渡衔接修正，得到修正后的第一方向流场运动关系。具体地，第一图像的非重叠区是指第一图像中未与第二图像重叠的区域。过渡衔接修正是为了在形变后平滑过渡重叠区与非重叠区图像。对该第二方向流场运动关系进行修正得到修正后的第二方向运动流场运动关系，包括：对该第二方向流场运动关系做与第二图像的非重叠区的过渡衔接修正，得到修正后的第二方向运动流场运动关系。本文档来自技高网...

【技术保护点】
一种视差融合方法，包括：获取第一图像和第二图像重叠区的第一方向流场运动关系和第二方向流场运动关系；对所述第一方向流场运动关系进行修正得到修正后的第一方向流场运动关系，以及对所述第二方向流场运动关系进行修正得到修正后的第二方向流场运动关系；采用修正后的第一方向流场运动关系和第二方向流场运动关系分别对第一图像的重叠区和第二图像的重叠区做前向和后向变形变换；将经过前向和后向变形变换后的第一图像的重叠区和第二图像的重叠区进行融合得到第一图像和第二图像重叠区的最终图像。

【技术特征摘要】
1.一种视差融合方法，包括：获取第一图像和第二图像重叠区的第一方向流场运动关系和第二方向流场运动关系；对所述第一方向流场运动关系进行修正得到修正后的第一方向流场运动关系，以及对所述第二方向流场运动关系进行修正得到修正后的第二方向流场运动关系；采用修正后的第一方向流场运动关系和第二方向流场运动关系分别对第一图像的重叠区和第二图像的重叠区做前向和后向变形变换；将经过前向和后向变形变换后的第一图像的重叠区和第二图像的重叠区进行融合得到第一图像和第二图像重叠区的最终图像。2.根据权利要求1所述的方法，其特征在于，所述对所述第一方向流场运动关系进行修正得到修正后的第一方向流场运动关系，包括：对所述第一方向流场运动关系做与第一图像的非重叠区的过渡衔接修正，得到修正后的第一方向流场运动关系；对所述第二方向流场运动关系进行修正得到修正后的第二方向运动流场运动关系，包括：对所述第二方向流场运动关系做与第二图像的非重叠区的过渡衔接修正，得到修正后的第二方向运动流场运动关系。3.根据权利要求2所述的方法，其特征在于，若第一图像和第二图像为水平方向重叠，所述对所述第一方向流场运动关系做与第一图像的非重叠区的过渡衔接修正，得到修正后的第一方向流场运动关系，包括：将所述第一方向流场运动关系的水平方向分量乘以包含重叠区的像素点水平坐标与重叠区的水平像素宽度关系的第一系数因子得到修正后的第一方向流场运动关系的水平方向分量，以及将所述第一方向流场运动关系的垂直方向分量作为修正后的第一方向流场运动关系的垂直方向分量；以及所述对所述第二方向流场运动关系做与第二图像的非重叠区的过渡衔接修正，得到修正后的第二方向运动流场运动关系，包括：将所述第二方向流场运动关系的水平方向分量乘以包含重叠区的像素点水平坐标与重叠区的水平像素宽度关系的第二系数因子得到修正后的第二方向流场运动关系的水平方向分量，以及将所述第二方向流场运动关系的垂直方向分量作为修正后的第二方向流场运动关系的垂直方向分量。4.根据权利要求2所述的方法，其特征在于，若第一图像和第二图像为垂直方向重叠，所述对所述第一方向流场运动关系做与第一图像的非重叠区的过渡衔接修正，得到修正后的第一方向流场运动关系，包括：将所述第一方向流场运动关系的垂直方向分量乘以包含重叠区的像素点垂直坐标与重叠区的垂直像素高度关系的第三系数因子得到修正后的第一方向流场运动关系的垂直方向分量，以及将所述第一方向流场运动关系的水平方向分量作为修正后的第一方向流场运动关系的水平方向分量；所述对所述第二方向流场运动关系做与第二图像的非重叠区的过渡衔接修正，得到修正后的第二方向运动流场运动关系，包括：将所述第二方向流场运动关系的垂直方向分量乘以包含重叠区的像素点垂直坐标与重叠区的垂直像素高度关系的第四系数因子得到修正后的第二方向流场运动关系的垂直方向分量，以及将所述第二方向流场运动关系的水平方向分量作为修正后的第二方向流场运动关系的水平方向分量。5.根据权利要求1所述的方法，其特征在于，所述采用修正后的第一方向流场运动关系和第二方向流场运动关系分别对第一图像的重叠区和第二图像的重叠区做前向和后向变形变换，包括：采用修正后的第一方向流场运动关系对第一图像的重叠区做前向变形变换，得到第一图像的重叠区的前向变形变换图像；采用修正后的第二方向流场运动关系对第一图像的重叠区做后向变形变换，得到第一图像的重叠区的后向变形变换图像；采用修正后的第二方向流场运动关系对第二图像的重叠区做前向变形变换，得到第二图像的重叠区的前向变形变换图像；采用修正后的第一方向流场运动关系对第二图像的重叠区做后向变形变换，得到第二图像的重叠区的后向变形变换图像。6.根据权利要求5所述的方法，其特征在于，将经过前向和后向变形变换后的第一图像的重叠区和第二图像的重叠区进行融合得到第一图像和第二图像重叠区的最终图像，包括：将第一图像的重叠区的前向变形变换图像和后向变形变换图像进行融合得到第一融合图像；将第二图像的重叠区的前向变形变换图像和后向变形变换图像进行融合得到第二融合图像；当所述重叠区的像素点水平坐标值小于所述重叠区的中间像素点水平坐标值时，所述第一图像和第二图像重叠区的最终图像为所述第一融合图像；当所述重叠区的像素点水平坐标值等于或大于所述重叠区的中间像素点水平坐标值时，所述第一图像和第二图像重叠区的最终图像为所述第二融合图像。7.根据权利要求6所述的方法，其特征在于，所述将第一图像的重叠区的前向变形变换图像和后向变形变换图像进行融合得到第一融合图像，包括：若所述重叠区的像素点属于第一类瑕疵区域内，则所述第一融合图像为所述第一图像的重叠区的前向变形变换图像；若所述重叠区的像素点不属于第一类瑕疵区域内，则所述第一融合图像为所述第一图像的重叠区...

【专利技术属性】
技术研发人员：袁梓瑾，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44