使用深度和虚拟光的视频照亮制造技术

本文描述的实现涉及用于重新照亮视频的方法，系统和计算机可读介质。在一些实施方式中，一种计算机实现的方法包括接收视频的多个帧。每个视频帧包括用于多个像素的深度数据和颜色数据。该方法还包括基于深度数据分割每个帧以将每个像素分类为前景像素或背景像素。该方法还包括将每个背景像素的深度值设置为固定的深度值，并将高斯滤波器应用于平滑多个像素的深度值。该方法还包括基于多个像素的深度值来计算表面法线。该方法还包括通过基于表面法线和颜色数据添加虚拟光来渲染重新照亮的帧。帧。帧。

【技术实现步骤摘要】
使用深度和虚拟光的视频照亮
本申请是2020年7月7日提交的申请号为202010644815.9，专利技术名称为“使用深度和虚拟光的视频照亮”的专利申请的分案申请。

技术介绍

[0001]用户经常使用设备(诸如智能电话，平板电脑，计算机，可佩戴设备等)来捕获视频。当捕获视频的照亮条件不合适时，视频可以是暗的，过曝光的或具有伪影。此外，当参与者在视频呼叫中捕捉到视频时，视频呼叫中的其它参与者可察觉该参与者可能不希望其它参与者看到的背景中的对象，例如，参与者已加入视频呼叫的房间中的杂乱。
[0002]本文提供的
技术介绍
描述是出于一般地呈现本公开的上下文的目的。在此
技术介绍
部分中描述了本专利技术的专利技术人的工作，以及在提交时可能不具有现有技术资格的描述的各方面，既不明确地也不隐含地承认作为本公开的现有技术。

技术实现思路

[0003]本文描述的实施方式涉及用于重新照亮视频的方法，系统和计算机可读介质。在一些实施方式中，一种计算机实现的方法包括接收视频的多个帧。视频的每一帧可包括多个像素的深度数据和颜色数据。该方法还包括基于深度数据分割每个帧以将每个像素分类为前景像素或背景像素。该方法还包括将每个背景像素的深度值设置为固定的深度值。该方法还包括应用高斯滤波器来平滑多个像素的深度值。该方法还包括基于多个像素的深度值来计算表面法线。该方法还包括通过基于表面法线和颜色数据添加虚拟光来渲染重新照亮的帧。在一些实施方式中，可以使用图形处理单元(GPU)来执行渲染重新照亮的帧。
[0004]在一些实施方式中，分割帧可以包括基于深度范围生成分割掩码。在分割掩码中，具有深度范围内的深度值的每个像素被分类为前景像素，并且具有深度范围外的深度值的每个像素被分类为背景像素。对帧进行分割还包括执行形态学开处理来去除噪声和执行形态学闭处理以填充所述分割掩码中的一个或多个孔。在一些实施方式中，分割帧可进一步包括应用时间低通滤波器，所述时间低通滤波器基于一个或多个先前帧与所述帧之间的相似性来更新分割掩码。
[0005]在一些实施方式中，虚拟光可以是环境光，方向性光或点光。在一些实施方式中，虚拟光可以是基于多个点光的环形光。
[0006]在一些实施方式中，该方法还可以包括基于多个像素的深度值和表面法线来创建三维(3D)网格，其中该3D网格被用于渲染重新照亮的帧。在一些实施方式中，创建3D网格可以包括获得捕获视频的多个帧的相机的内参数矩阵，并且基于内参数矩阵和每个像素的深度值来计算3D网格的每个顶点的位置。在一些实施方式中，计算每个顶点的位置可以包括基于深度值和基于相机的内参数矩阵计算世界空间中的x坐标和y坐标。在一些实施方式中，该方法还可以包括基于每个顶点的位置以及帧的宽度和高度来计算3D网格的每个顶点的纹理位移。
[0007]一些实施方式可以包括其上存储有指令的非暂时性计算机可读介质。所述指令在
由一个或多个硬件处理器执行时致使所述处理器执行包含接收视频的多个帧的操作。视频的每一帧可包括用于多个像素的深度数据和颜色数据。所述操作进一步包含基于深度数据分割每一帧以将每一像素分类为前景像素或背景像素。所述操作还包括将每个背景像素的深度值设置为固定的深度值。该操作还包括应用高斯滤波器来平滑多个像素的深度值。所述操作还包括基于所述多个像素的深度值来计算表面法线。所述操作还包括通过基于表面法线和颜色数据添加虚拟光来渲染重新照亮的帧。在一些实施方式中，用于执行对每个帧进行分割的指令可以包括用于执行操作的指令，所述操作包括：基于深度范围生成分割掩码，其中将深度范围内具有深度值的每个像素分类为前景像素，并且将深度范围外具有深度值的每个像素分类为背景像素，进行形态学开处理以去除噪声，和进行形态学闭处理以填充所述分割掩码中的一个或多个孔。在一些实施方式中，用于执行对每个帧进行分割的指令还可以包括用于应用时间低通滤波器的指令，所述时间低通滤波器基于一个或多个先前帧与所述帧之间的相似性来更新分割掩码。
[0008]在一些实施方式中，所述指令可以使得所述一个或多个硬件处理器执行进一步的操作，以基于所述多个像素的深度值和所述表面法线来创建三维(3D)网格，其中所述3D网格被用于渲染所述重新照亮的帧。在一些实施方式中，创建3D网格可以包括获得捕获视频的多个帧的相机的内参数矩阵，并且基于内参数矩阵和每个像素的深度值来计算3D网格的每个顶点的位置。
[0010]一些实施方式可以包括系统，该系统包含耦合到存储器的一个或多个硬件处理器。存储器可以包括存储在其上的指令。所述指令在由一个或多个硬件处理器执行时致使所述处理器执行包含接收视频的多个帧的操作。视频的每一帧可包括用于多个像素的深度数据和颜色数据。所述操作进一步包含基于深度数据分割每一帧以将每一像素分类为前景像素或背景像素。所述操作还包括将每个背景像素的深度值设置为固定的深度值。该操作还包括应用高斯滤波器来平滑多个像素的深度值。所述操作还包括基于所述多个像素的深度值来计算表面法线。所述操作还包括通过基于表面法线和颜色数据添加虚拟光来渲染重新照亮的帧。
[0011]在一些实施方式中，用于执行对每个帧进行分割的指令可以包括用于执行操作的指令，所述操作包括：基于深度范围生成分割掩码，其中将深度范围内具有深度值的每个像素分类为前景像素，并且将深度范围外具有深度值的每个像素分类为背景像素，进行形态学开处理以去除噪声，和进行形态学闭处理以填充所述分割掩码中的一个或多个孔。在一些实施方式中，用于执行对每个帧进行分割的指令还可以包括用于应用时间低通滤波器的指令，所述时间低通滤波器基于一个或多个先前帧与所述帧之间的相似性来更新分割掩码。
[0012]在一些实施方式中，所述指令可以使得所述一个或多个硬件处理器执行进一步的操作，以基于所述多个像素的深度值和所述表面法线来创建三维(3D)网格，其中所述3D网格被用于渲染所述重新照亮的帧。在一些实施方式中，创建3D网格可以包括获得捕获视频的多个帧的相机的内参数矩阵，并且基于内参数矩阵和每个像素的深度值来计算3D网格的每个顶点的位置。
附图说明
[0013]图1是可以用于本文描述的一个或多个实施方式的示例网络环境的框图。
[0014]图2是示出根据一些实施方式的重新照亮视频的示例方法的流程图。
[0015]图3示出了使用包括在视频中的原始颜色数据和深度数据生成的示例性重新照亮的视频帧。
[0016]图4示出了示例视频帧和对应的深度图像。
[0017]图5示出了根据一些实施方式生成的示例重新照亮的视频帧。
[0018]图6是可用于本文所述的一个或多个实施方式的示例计算设备的框图。
具体实施方式
[0019]本文描述的实施例一般涉及重新照亮视频。特别地，实施例使用虚拟光来重新照亮视频。使用虚拟光来照亮场景是基于作为视频的一部分获得的深度数据。
[0020]视频捕获中的技术问题是在来自相机的源视频由于所捕获的场景中的照亮条件而不能良好照亮的情况下，提供高质量的，例如没有伪影的良好照亮的视频。另一个技术问题是提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于重新照亮视频的计算机实现的方法，其特征在于，所述方法包括：接收视频的帧，其中，所述帧包括多个像素的深度数据和颜色数据；基于所述深度数据对所述帧进行分割，以将每一像素分类为前景像素或背景像素；平滑所述多个像素的深度值；基于所述多个像素的经平滑的深度值来计算表面法线；基于所述表面法线创建三维(3D)网格；以及基于所述3D网格和所述颜色数据添加虚拟光来渲染重新照亮的帧。2.如权利要求1所述的计算机实现的方法，其特征在于，添加虚拟光包括，基于所述虚拟光的类型或所述虚拟光的光源的位置计算对所述多个像素的颜色值的调整。3.如权利要求1所述的计算机实现的方法，其特征在于，所述虚拟光是环形光，并且添加虚拟光包括，重新照亮所述帧使得前景中的对象被点亮，而背景中的对象看起来是暗的。4.如权利要求1所述的计算机实现的方法，其特征在于，所述视频是由位于视频呼叫中的发送设备处的视频呼叫应用中捕获，并且所述方法还包括通过网络将所述重新照亮的帧从所述发送设备发送到在所述视频呼叫中的接收设备。5.如权利要求1所述的计算机实现的方法，其特征在于，所述视频是由位于视频呼叫中的发送设备处的视频呼叫应用中捕获，并且接收视频的帧包括在所述视频呼叫的接收设备处接收所述视频的帧。6.如权利要求5所述的计算机实现的方法，其特征在于，还包括在所述接收设备的显示屏上显示所述重新照亮的帧。7.如权利要求1所述的计算机实现的方法，其特征在于，所述表面法线限定反射方向。8.如权利要求1所述的计算机实现的方法，其特征在于，所述方法还包括将每个背景像素的深度值设置为固定深度值，所述固定深度值被选为远离所述前景像素的深度值。9.一种其上存储有指令的非暂时性计算机可读介质，其特征在于，所述指令在由一个或多个硬件处理器执行时使所述一个或多个硬件处理器进行操作，所述操作包括：接收视频的帧，其中，所述帧包括多个像素的深度数据和颜色数据；基于所述深度数据对所述每个帧进行分割，以将每一像素分类为前景像素或背景像素；平滑所述多个像素的深度值；基于所述多个像素的经平滑的所述深度值来计算表面法线；基于所述表面法线创建三维(3D)网格；以及基于所述3D网格和所述颜色数据添加虚拟光来渲染重新照亮的帧。10.如权利要求9所述的非暂时性计算机可读介质，其特征在于，添加虚拟光包括，基于所述虚拟光的类型或所述虚拟光的光源的位置计算对所述多个像素的颜色值的调整。11.如权利要求9所述的非暂时...

【专利技术属性】
技术研发人员：周光宇，卡尔，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：