一种深度图确定的方法、装置及电子设备制造方法及图纸

本发明专利技术实施例提供了一种深度图确定的方法、装置及电子设备，可以获取待预览的当前帧图像；判断当前帧图像为基础帧图像或间隔帧图像；如果当前帧图像为基础帧图像，则采用基于当前帧图像的深度图算法计算当前基础帧图像的基础帧深度图；如果当前帧图像为间隔帧图像，则获取当前帧图像之前的预设数量个基础帧深度图，作为参考基础帧深度图；按照预设的深度图融合算法，对各个参考基础帧深度图进行融合，获得当前间隔帧图像深度图。可见，应用本发明专利技术实施例，对于间隔帧图像，用当前帧图像之前的预设数量个基础帧深度图进行融合获得，不像现有技术每一帧图像都要先计算视差图再获取深度图，耗时较短，减少了在实时背景虚化的过程中图像的卡顿现象。

【技术实现步骤摘要】
一种深度图确定的方法、装置及电子设备
本专利技术涉及图像处理的
，特别是涉及一种深度图确定的方法、装置及电子设备。
技术介绍
双目相机(双目立体视觉深度相机)由于对相机硬件要求和成本较低，根据环境光采集图像，在室内外都可以使用等优点被广泛应用。双目相机在拍照之前可以进行实时预览，在实时预览时可以对待预览的图像直接进行实时背景虚化，使用户预览时直接看到背景虚化后图像的效果。目前，实时背景虚化需要针对每一帧双目图像，先计算出该双目图像的视差图，再基于该双目图像的视差图计算获取该帧图像的深度图，最后将该帧图像的深度图和帧图像结合做背景虚化。专利技术人在实现本专利技术的过程中发现，现有技术至少存在如下问题：双目相机在进行实时背景虚化的过程中，图像经常出现卡顿现象。
技术实现思路
本专利技术实施例的目的在于提供一种深度图确定的方法、装置及电子设备，以减少双目相机在进行实时背景虚化的过程中，图像的卡顿现象。具体技术方案如下：第一方面，本专利技术实施例提供了一种深度图确定的方法，所述方法包括：获取待预览的当前帧图像；判断当前帧图像为基础帧图像或间隔帧图像；所述基础帧图像为：预设的用于计算间隔帧图像的深度图的帧图像；所述间隔帧图像为：两个相邻基础帧图像之间的帧图像；如果当前帧图像为基础帧图像，则采用基于当前帧图像的深度图算法计算当前基础帧图像的基础帧深度图；如果当前帧图像为间隔帧图像，则获取当前帧图像之前的预设数量个基础帧深度图，作为参考基础帧深度图；按照预设的深度图融合算法，对各个参考基础帧深度图进行融合，获得当前间隔帧图像深度图。可选的，所述如果当前帧图像为基础帧图像，则采用基于当前帧图像的深度图算法计算当前基础帧图像的基础帧深度图的步骤，包括：如果当前帧图像为基础帧图像，则按照基于当前帧图像的图像立体匹配方法获取当前基础帧图像的初始深度图；基于当前基础帧图像中像素点之间几何距离和像素点之间像素值的差异，对所述当前基础帧图像的初始深度图进行滤波，获得当前基础帧图像深度图。可选的，所述基于当前基础帧图像中像素点之间几何距离和像素点之间像素值的差异，对所述当前基础帧图像的初始深度图进行滤波，获得当前基础帧图像深度图的步骤，包括：针对当前基础帧图像I上各个像素点p，获取点p周围范围S内的各个点q；所述范围S包括点p；采用如下公式对各个点p的初始深度值进行滤波，获得当前基础帧图像I上每个像素点p的滤波后深度值，构成当前基础帧图像深度图：其中，bDp为基础帧图像点p的滤波后深度值，rDq为点q的初始深度值，Wp为按如下公式计算的滤波系数：其中，Gσs(||p-q||)为基于两点之间几何距离，按如下公式计算的高斯分布值：Gσr(||Ip-Iq||)为基于这两点之间像素值的差异，按如下公式计算的高斯分布值：其中，Ip代表图像I在p处的像素值，Iq代表图像I在q处的像素值，σ为滤波器影响滤波强度的系数，‖p-q‖为当前帧图像I上两点之间几何距离，||IP-Iq||为这两个点之间像素值的差异。可选的，所述按照预设的深度图融合算法，对各个参考基础帧深度图进行融合，获得当前间隔帧图像深度图的步骤，包括：获得各个参考基础帧深度图的权重值；基于所述各个参考基础帧深度图的权重值，对各个参考基础帧图像深度图进行加权融合，获得当前间隔帧图像深度图。可选的，所述获得各个参考基础帧深度图的权重值的步骤，包括：获得所述各个参考基础帧深度图对应的各个参考基础帧图像；计算当前帧图像与各个参考基础帧图像之间的相似度；计算当前帧图像与各个参考基础帧图像之间的相似度的总和；将当前帧图像与各个参考基础帧之间的相似度与所述总和的比值，分别确定为各个参考基础帧深度图的权重值。可选的，所述基于所述各个参考基础帧深度图的权重值，对各个参考基础帧图像深度图进行加权融合，获得当前间隔帧图像深度图的步骤，包括：按如下公式计算获得当前间隔帧图像深度图：fDi＝αF1*bDF1+αF2*bDF2+…..+αFj*bDFj；其中，fDi为当前间隔帧i的间隔帧图像深度图，αF1为基础帧F1的参考基础帧深度图的权重值，αF2为基础帧F2的参考基础帧深度图的权重值，αFj为基础帧Fj的参考基础帧深度图的权重值，bDF1为基础帧F1的参考基础帧深度图，bDF2为基础帧F2的参考基础帧深度图，bDFj为基础帧Fj的参考基础帧深度图。第二方面，本专利技术实施例提供了一种深度图确定的装置，所述装置包括：当前帧图像获取单元，用于获取待预览的当前帧图像；图像判断单元，用于判断当前帧图像为基础帧图像或间隔帧图像；所述基础帧图像为：预设的用于计算间隔帧图像的深度图的帧图像；所述间隔帧图像为：两个相邻基础帧图像之间的帧图像；基础帧深度图计算单元，用于如果当前帧图像为基础帧图像，则采用基于当前帧图像的深度图算法计算当前基础帧图像的基础帧深度图；参考基础帧深度图获取单元，用于如果当前帧图像为间隔帧图像，则获取当前帧图像之前的预设数量个基础帧深度图，作为参考基础帧深度图；间隔帧图像深度图获得单元，用于按照预设的深度图融合算法，对各个参考基础帧深度图进行融合，获得当前间隔帧图像深度图。可选的，所述基础帧深度图计算单元，包括：初始深度图获取模块，用于如果当前帧图像为基础帧图像，则按照基于当前帧图像的图像立体匹配方法获取当前基础帧图像的初始深度图；基础帧图像深度图获得模块，用于基于当前基础帧图像中像素点之间几何距离和像素点之间像素值的差异，对所述当前基础帧图像的初始深度图进行滤波，获得当前基础帧图像深度图。可选的，所述基础帧图像深度图获得模块，具体用于：针对当前基础帧图像I上各个像素点p，获取点p周围范围S内的各个点q；所述范围S包括点p；采用如下公式对各个点p的初始深度值进行滤波，获得当前基础帧图像I上每个像素点p的滤波后深度值，构成当前基础帧图像深度图：其中，bDp为基础帧图像点p的滤波后深度值，rDq为点q的初始深度值，Wp为按如下公式计算的滤波系数：其中，Gσs(||p-q||)为基于两点之间几何距离，按如下公式计算的高斯分布值：Gσr(||Ip-Iq||)为基于这两点之间像素值的差异，按如下公式计算的高斯分布值：其中，Ip代表图像I在p处的像素值，Iq代表图像I在q处的像素值，σ为滤波器影响滤波强度的系数，‖p-q‖为当前帧图像I上两点之间几何距离，||IP-Iq||为这两个点之间像素值的差异。可选的，所述间隔帧图像深度图获得单元，包括：权重值获得模块，用于获得各个参考基础帧深度图的权重值；间隔帧图像深度图获得模块，用于基于所述各个参考基础帧深度图的权重值，对各个参考基础帧图像深度图进行加权融合，获得当前间隔帧图像深度图本文档来自技高网...

【技术保护点】
1.一种深度图确定的方法，其特征在于，所述方法包括：/n获取待预览的当前帧图像；/n判断当前帧图像为基础帧图像或间隔帧图像；所述基础帧图像为：预设的用于计算间隔帧图像的深度图的帧图像；所述间隔帧图像为：两个相邻基础帧图像之间的帧图像；/n如果当前帧图像为基础帧图像，则采用基于当前帧图像的深度图算法计算当前基础帧图像的基础帧深度图；/n如果当前帧图像为间隔帧图像，则获取当前帧图像之前的预设数量个基础帧深度图，作为参考基础帧深度图；/n按照预设的深度图融合算法，对各个参考基础帧深度图进行融合，获得当前间隔帧图像深度图。/n

【技术特征摘要】
1.一种深度图确定的方法，其特征在于，所述方法包括：
获取待预览的当前帧图像；
判断当前帧图像为基础帧图像或间隔帧图像；所述基础帧图像为：预设的用于计算间隔帧图像的深度图的帧图像；所述间隔帧图像为：两个相邻基础帧图像之间的帧图像；
如果当前帧图像为基础帧图像，则采用基于当前帧图像的深度图算法计算当前基础帧图像的基础帧深度图；
如果当前帧图像为间隔帧图像，则获取当前帧图像之前的预设数量个基础帧深度图，作为参考基础帧深度图；
按照预设的深度图融合算法，对各个参考基础帧深度图进行融合，获得当前间隔帧图像深度图。


2.根据权利要求1所述的方法，其特征在于，所述如果当前帧图像为基础帧图像，则采用基于当前帧图像的深度图算法计算当前基础帧图像的基础帧深度图的步骤，包括：
如果当前帧图像为基础帧图像，则按照基于当前帧图像的图像立体匹配方法获取当前基础帧图像的初始深度图；
基于当前基础帧图像中像素点之间几何距离和像素点之间像素值的差异，对所述当前基础帧图像的初始深度图进行滤波，获得当前基础帧图像深度图。


3.根据权利要求2所述的方法，其特征在于，所述基于当前基础帧图像中像素点之间几何距离和像素点之间像素值的差异，对所述当前基础帧图像的初始深度图进行滤波，获得当前基础帧图像深度图的步骤，包括：
针对当前基础帧图像I上各个像素点p，获取点p周围范围S内的各个点q；所述范围S包括点p；
采用如下公式对各个点p的初始深度值进行滤波，获得当前基础帧图像I上每个像素点p的滤波后深度值，构成当前基础帧图像深度图：



其中，bDp为基础帧图像点p的滤波后深度值，rDq为点q的初始深度值，Wp为按如下公式计算的滤波系数：



其中，Gσs(||p-q||)为基于两点之间几何距离，按如下公式计算的高斯分布值：
Gσr(||Ip-Iq||)为基于这两点之间像素值的差异，按如下公式计算的高斯分布值：



其中，Ip代表图像I在p处的像素值，Iq代表图像I在q处的像素值，σ为滤波器影响滤波强度的系数，‖p-q‖为当前帧图像I上两点之间几何距离，||IP-Iq||为这两个点之间像素值的差异。


4.根据权利要求1所述的方法，其特征在于，所述按照预设的深度图融合算法，对各个参考基础帧深度图进行融合，获得当前间隔帧图像深度图的步骤，包括：
获得各个参考基础帧深度图的权重值；
基于所述各个参考基础帧深度图的权重值，对各个参考基础帧图像深度图进行加权融合，获得当前间隔帧图像深度图。


5.根据权利要求4所述的方法，其特征在于，所述获得各个参考基础帧深度图的权重值的步骤，包括：
获得所述各个参考基础帧深度图对应的各个参考基础帧图像；
计算当前帧图像与各个参考基础帧图像之间的相似度；
计算当前帧图像与各个参考基础帧图像之间的相似度的总和；
将当前帧图像与各个参考基础帧之间的相似度与所述总和的比值，分别确定为各个参考基础帧深度图的权重值。


6.根据权利要求4或5所述的方法，其特征在于，所述基于所述各个参考基础帧深度图的权重值，对各个参考基础帧图像深度图进行加权融合，获得当前间隔帧图像深度图的步骤，包括：
按如下公式计算获得当前间隔帧图像深度图：
fDi＝αF1*bDF1+αF2*bDF2+…..+αFj*bDFj；
其中，fDi为当前间隔帧i的间隔帧图像深度图，αF1为基础帧F1的参考基础帧深度图的权重值，αF2为基础帧F2的参考基础帧深度图的权重值，αFj为基础帧Fj的参考基础帧深度图的权重值，bDF1为基础帧F1的参考基础帧深度图，bDF2为基础帧F2的参考基础帧深度图，bDFj为基础帧Fj的参考基础帧深度图。


7.一种深度图确定的装置，其特征在于，所述装置包括：
当前帧图像获取...

【专利技术属性】
技术研发人员：宁本德，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11