一种光流值计算方法、装置及电子设备制造方法及图纸

本发明专利技术实施例公开了光流值计算方法、装置及电子设备。其中，所述方法包括：通过可测深度摄像头TOF模块获取TOF深度图，通过双摄像模块获取左摄图和右摄图；根据所述TOF深度图选取深度提取点,获取所述深度提取点的视差值；基于左摄图和右摄图构造高斯金字塔，将所述深度提取点的视差值作为金字塔初始光流值；根据所述高斯金字塔计算得到所述深度提取点的光流值。可以对大视差区域或者无特征区域场景，仍然能够很好的对特征点进行匹配。能够提高光流值计算的准确度。并且可以减少构建金字塔的层数，从而提升运算速度，同时弥补单独采用TOF拍摄深度图分辨率较小的缺陷。

A method, device and electronic equipment for the calculation of the value of light flow

The embodiment of the invention discloses a method for calculating the optical flow value, a device and an electronic device. Among them, the method includes: by measuring the depth of the camera module TOF to obtain TOF depth map, through the double camera module to acquire the left and right camera shooting image map; according to the TOF depth map selection of depth extraction, obtaining the depth extraction point disparity values; the left and right photo map graph is constructed based on the Pyramid Gauss photo the depth extraction point, parallax value as the initial value of Pyramid optical flow; according to the Pyramid Gauss calculated the optical flow value of the extraction point depth. It can still match the feature points well for large parallax or no feature area scenes. It can improve the accuracy of the calculation of the optical flow value. And it can reduce the number of buildings in Pyramid, so as to improve the speed of operation, and make up for the shortcomings of the small resolution of the TOF photographing depth map.

【技术实现步骤摘要】
一种光流值计算方法、装置及电子设备
本专利技术涉及3D图像处理
，尤其涉及一种光流值计算方法、装置及电子设备。
技术介绍
目前三维立体呈像多半是利用视差原理来实现，藉由产生提供给左眼的影像及提供给右眼的影像，使观者在适当角度观看画面时产生三维空间感。双视角(two-view)立体影片即是利用此原理制成的影片，其每一幅画面均包含提供给左眼的影像及提供给右眼的影像。利用双视角影片可计算出画面中对象的相对距离的深度信息，各像素的深度信息即构成深度图(depthmap)。配合所得出的深度图能够将双视角立体影片进一步合成以形成多视角(multi-view)的立体影片。双摄像头深度是基于左右视差进行估计，需要将左右两图中的点进行匹配,Lucas-Kanade光流法是一种广泛运用的运动估计方法，它能对连续帧内的特征点进行匹配，因此也运用于深度估计的视差估计中。虽然光流法可以准确的得出光流值，但光流法运动估计只适用于运动缓慢的物体。如果物体运动速度较快，无法对前后两图中的点进行匹配。因此发展出基于高斯金字塔的光流法，虽然基于高斯金字塔的光流法可以扩大计算的运动区域，但是仍然不能完全解决大运动区域的情况。对于视差估计问题，基于高斯金字塔的光流法对大视差区域，同时对于无特征区域如白墙，一些周期性场景，将无法很好的匹配左右特征点，所以其对于无特征、遮挡、周期的场景存在一定误差。
技术实现思路
本专利技术实施例提供了一种光流值计算方法、装置及电子设备,以解决现有技术中双摄像头光流法无法对无特征区域或者大视差区域无法进行匹配的技术问题。第一方面，本专利技术实施例提供了一种光流值计算方法，包括：获取TOF深度图，并获取左摄图和右摄图；根据所述TOF深度图选取深度提取点,获取所述深度提取点的视差值；基于左摄图和右摄图构造高斯金字塔，将所述深度提取点的视差值作为金字塔初始光流值；根据所述高斯金字塔计算得到所述深度提取点的光流值。进一步的，所述方法还包括：根据所述光流值生成双摄深度图。进一步的，所述方法还包括：将所述双摄深度图和TOF深度图进行融合，生成融合深度图。进一步的，所述将所述双摄深度图和TOF深度图进行融合包括：根据拍摄光照参数确定融合系数权值；根据所述融合系数权值对所述双摄深度图和TOF深度图进行融合。更进一步的，在通过TOF模块获取TOF深度图之前，还包括：通过双摄像模块获取光照参数。第二方面，本专利技术实施例还提供了一种光流值计算装置，包括：图像获取模块，用于获取TOF深度图，并获取左摄图和右摄图；；视差值提取模块，用于根据所述TOF深度图选取深度提取点,获取所述深度提取点的视差值；金字塔构造模块，用于基于左摄图和右摄图构造高斯金字塔，将所述深度提取点的视差值的作为金字塔初始光流值；光流值提取模块，用于根据所述高斯金字塔计算得到所述深度提取点的光流值。进一步的，所述装置还包括：双摄深度图生成模块，用于根据所述光流值生成双摄深度图。进一步的，所述装置还包括：融合模块，用于将所述双摄深度图和TOF深度图进行融合，生成融合深度图。进一步的，所述融合模块用于：根据拍摄光照参数确定融合系数权值；根据所述融合系数权值对所述双摄深度图和TOF深度图进行融合。更进一步的，所述装置还包括：光照参数获取模块，用于通过双摄像模块获取光照参数。第三方面，本专利技术实施例还提供了一种电子设备，其包括：一个或多个处理器；用于获取TOF深度图的深度摄像头TOF模块；用于获取左摄图和右摄图的摄像模块；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述实施例提供的任一所述的光流值计算方法。本专利技术实施例提供的光流值计算方法、装置及电子设备，通过引入TOF深度图，并将TOF深度图对应的视差值做为光流法高斯金字塔的顶层进行计算。可以对大视差区域或者无特征区域场景，仍然能够很好的对特征点进行匹配。能够提高光流值计算的准确度。并且可以减少构建金字塔的层数，从而提升运算速度。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1是本专利技术实施例一提供的光流值计算方法的流程示意图；图2是本专利技术实施例一提供的光流值计算方法中高斯金字塔的示意图；图3是本专利技术实施例二提供的光流值计算方法的流程示意图；图4是本专利技术实施例三提供的光流值计算方法的流程示意图；图5是本专利技术实施例四提供的光流值计算装置的结构示意图；图6是本专利技术实施例五提供的电子设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的光流值计算方法的流程示意图，本实施例的方法适用于对机电系统进行控制的情况。可以由光流值装置来执行，该装置可通过硬件和/或软件的方式实现，并一般可以应用于3D拍摄系统中。参见图1，所述光流值计算方法，包括：S110，获取TOF深度图，并获取左摄图和右摄图。可测深度摄像头(TimeofFlight，ToF)是利用光在传播中遇见物体反射的特性来计算从发射到接收到反射的延时从而估计深度。假设由发射到接收的延时为△t，则光传播的距离与深度之间的关系为△t*c/2，其中c为光速，实际中并无法直接测量出，一般通过计算2个信号的相位差来计算延时。假设s(t)为发射的信号，r(t)为传感器接收到的信号，发射信号与接收信号的互相关系数(Crosscorrelation)为：令ψ＝2πfx，计算几个个不同相位的ψ0＝0,ψ2＝π,的C(x)值，即可算出相位从而估计深度:在本实施例中，采用双摄像头+ToF3D拍摄系统摄像头配置：采用双摄像头+ToF模组组成摄像头组。TOF与其它摄像头相比，具有更高的帧率。更加适用于光流值计算。S120，根据所述TOF深度图选取深度提取点,获取所述深度提取点的视差值。示例性的，可接收用户从所述TOF深度图中选取的深度提取点，该深度提取点可以是特征明显的像素点。或者，通过对所述TOF深度图进行图像识别，选取与周围像素点存在明显差异的像素点作为深度提取点。由于TOF深度图中不仅包括像素点的像素特征，还包括光线从光源到该像素点的距离。因此，可以从所述TOF深度图获取到选取的深度提取点的所对应的视差值。S130，基于左摄图和右摄图构造高斯金字塔，将所述深度提取点的视差值的作为金字塔初始光流值。构造左摄图和右摄图构造高斯金字塔。图2是本专利技术实施例一提供的光流值计算方法中高斯金字塔的示意图。参见图2，可以按获取顺序将第一张左摄图或右摄图作为0层，即金字塔的最底层。然后依次采用降采样的左摄图或右摄图的方式构造高斯金字塔。由于向下各层的图像的尺寸大小按需要减少。因此，需要将右摄图和左摄图的尺寸大小进行压缩调整。示例性的，0层图像的尺寸为1920x1280，即将获取到右摄图或者左摄图的原始尺寸做为0层金字塔的大小，则金字塔1,2层图像对应的尺寸分别为960x640,480x320。光流法假设物体运动是缓慢发生，并且在一定邻域内亮度相同。在这种假设下即I(x,y,t)＝I(本文档来自技高网...

【技术保护点】
一种光流值计算方法，其特征在于，包括：获取TOF深度图，并获取左摄图和右摄图；根据所述TOF深度图根据所述TOF深度图选取深度提取点,获取所述深度提取点的视差值；基于左摄图和右摄图构造高斯金字塔，将所述深度提取点的视差值作为金字塔初始光流值；根据所述高斯金字塔计算得到所述深度提取点的光流值。

【技术特征摘要】
1.一种光流值计算方法，其特征在于，包括：获取TOF深度图，并获取左摄图和右摄图；根据所述TOF深度图根据所述TOF深度图选取深度提取点,获取所述深度提取点的视差值；基于左摄图和右摄图构造高斯金字塔，将所述深度提取点的视差值作为金字塔初始光流值；根据所述高斯金字塔计算得到所述深度提取点的光流值。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述光流值生成双摄深度图。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述双摄深度图和TOF深度图进行融合，生成融合深度图。4.根据权利要求3所述的方法，其特征在于，所述将所述双摄深度图和TOF深度图进行融合包括：根据拍摄光照参数确定融合系数权值；根据所述融合系数权值对所述双摄深度图和TOF深度图进行融合。5.根据权利要求4所述的方法，其特征在于，在通过TOF模块获取TOF深度图之前，还包括：通过双摄像模块获取光照参数。6.一种光流值计算装置，其特征在于，包括：图像获取模块，用于获取TOF深度图，并获取左摄图和右摄图；视差值提取模块，用于...

【专利技术属性】
技术研发人员：谢春华，于炀，
申请(专利权)人：上海玮舟微电子科技有限公司，
类型：发明
国别省市：上海,31