具有三维感知的视频通信制造技术

一般地，本公开通过基于标识、切分和跟踪图像的前景和背景层所生成的视差效应来提供用于具有三维感知图像呈现的实时视频通信的方法和系统。所述系统可包括：图像切分模块，配置成将当前本地视频帧分为本地前景层和本地背景层，并且基于本地前景层和本地背景层之间估计的边界来生成本地前景掩模，其中，当前本地视频帧包括本地颜色视频图像帧和本地图像深度数据帧；面部跟踪模块，配置成基于当前本地视频帧以及一个或多个先前本地视频帧来跟踪本地用户的面部的位置；背景层估计模块，配置成估计与从远程视频处理器接收的当前远程视频帧和远程前景掩模关联的远程背景层；以及图像呈现模块，配置成基于所估计的远程背景层、从远程视频处理器接收的当前远程视频帧和远程前景掩模、以及本地用户的面部的所跟踪的位置来呈现3D感知图像。

【技术实现步骤摘要】
【国外来华专利技术】具有三维感知的视频通信
本公开涉及实时视频通信，并且更具体地涉及具有三维感知的实时视频通信。
技术介绍
例如各自在计算机上的本地用户和远程用户之间的视频通信变得日益常见和可 用。这归因于内置视频摄像机和麦克风的个人计算机的流行以及高速互联网连通性的日益 可用性。但是，由于通常与三维（3D)成像关联的所增加的硬件复杂性，大多数视频通信限 于提供二维（2D)屏幕图像。这些复杂性可包括使用双摄像机、具有同步和校准的昂贵显示 技术和难度。 但是，3D视频通信是值得期望的。深度感知向用户提供视觉提示，并且这些提示可 增强与通信体验关联的空间和现实的感觉。如果能够以减少的成本并且无需对诸如第二摄 像机或复杂显示器之类的附加硬件的要求来提供深度感知，则可由此增加用户体验的质量 和满意。 【附图说明】 随着下面的详细描述继续并且在参考附图时，所要求保护的主题的实施例的特征 和优点将变得明显，在附图中，相似的标号描绘相似的部分，并且其中： 图1示出与本公开一致的视频通信系统的一个示范性实施例的顶级系统图； 图2示出与本公开一致的视频通信系统的一个示范性实施例的框图； 图3示出与本公开一致的示范性实施例的前景切分（segmentation)模块的附加框图 细节； 图4示出与本公开的示范性实施例一致的前景掩模(mask)和边界轮廓； 图5示出与本公开一致的示范性实施例的背景估计模块的附加框图细节； 图6示出与本公开一致的示范性实施例的操作的流程图。 虽然下面的详细描述将通过对说明性实施例进行参考来继续，但是本领域技术人 员将明白其许多的备选、修改和变形。 【具体实施方式】 -般地，本公开提供用于具有三维（3D)感知图像的实时视频通信的方法和系统， 该三维感知图像通过基于标识、切分和跟踪图像的前景和背景层所生成的视差效应来呈 现。本地视频图像帧可在本地系统或平台中从本地摄像机获得，并且被切分为前景层和背 景层。与层边界有关的信息可连同本地视频图像被传送到远程系统。远程系统可类似将远 程视频图像和关联的层边界信息提供给本地系统。可检测并且在多个视频帧上跟踪本地用 户的面部的位置。本地系统可生成具有3D感知的图像，该具有3D感知的图像要通过其中远 程前景和远程背景层相对于彼此移动的运动视差的引入在本地显示器上显示给本地用户。 通过跟踪本地用户的面部位置来控制相对运动。背景运动可相对于前景运动处于降低的速 率，从而能够使用每个平台上的单个摄像机来实现实时视频流传送中的3D感知。 图1示出与本公开一致的一个示范性实施例的顶级系统图100。该系统可在本地 用户120和远程用户122之间提供具有3D感知的流传送视频通信。本地视频摄像机102 获得一个或多个图像帧，所述一个或多个图像帧可包括在背景场景或环境118前面的本地 用户120。本地视频摄像机102可关联于或集成到本地计算机系统或平台，诸如，例如，膝 上型计算机或计算机监视器、或者它可以是独立的摄像机。在一些实施例中，本地视频摄像 机102可获得颜色视频图像和深度图像这两者，如下面将更详细地解释的。本地视频帧可 被提供给本地3D感知处理模块104,其可将图像切分为本地前景和背景层，从而创建本地 前景掩模以及跟踪本地用户的面部的位置，如下面将更详细地解释的。本地前景掩模和本 地视频颜色帧可随后在网络106上被传送到与远程用户122的远程计算机系统或平台关联 的远程3D感知处理模块110。远程3D感知处理模块110可为远程用户122提供本地3D感 知处理模块为本地用户122提供的相同或类似的功能性。 本地3D感知处理模块104可在网络106上接收可连同本地用户的面部的所跟踪 位置使用的远程前景掩模和远程视频颜色帧，以在本地显示器108上呈现具有3D感知的远 程用户和远程背景的图像。3D感知可基于视差运动，该视差运动响应于本地用户的面部的 位置在所显示的前景（例如，远程用户）和所显示的远程背景环境之间生成。例如，当本地 用户的面部移向本地用户的左方时，远程用户将在本地观看显示器上相对于远程背景显现 为右移。 在下面的讨论中，关注将集中在来自本地用户视角的视频通信上。但是，将领会 至IJ，这样做是为了便于解释，并且所公开的原理和所描述的示范性实施例可等同地服务于 相对于远程用户的通信。因此，可实现具有3D感知的双向流传送视频通信。另外，在以下描 述中，本地和远程系统可在功能性上被视为互相镜像以作为优先实施例。但是，将领会到， 在备选实施例中，可基于对于具体应用或实现的适合性和便利来在本地和远程平台之间重 新分布所描述的处理块的任何一个或所有。 在一些实施例中，例如可在本地和远程显示器的任一个或两个上以并排布局来显 示本地图像和远程图像这两者。在这样的情况中，将领会到，可针对任何或所有这样的图像 来应用本文公开的3D感知呈现技术。 图2示出与本公开一致的视频通信系统的一个示范性实施例的框图200。本地3D 感知处理模块104被示出包括图像切分模块202、面部跟踪模块204、背景估计模块208和 图像呈现模块206。图像切分模块202可将来自由本地摄像机102提供的本地视频流的图 像切分为本地前景层和本地背景层。可基于前景和背景层之间的所估计的边界来生成本地 前景掩模，如下面将更详细的描述的。网络传送模块210可在网络106上将本地前景掩模连 同本地视频帧发送到远程系统。在下面所述的一些实施例中，本地视频帧可包括图像深度 信息和颜色图像信息这两者，在该情况中，可不需要将图像深度信息分量发送到远程系统。 面部跟踪模块204可跟踪本地用户的面部的位置。面部的位置可从本地视频流的 图像帧到图像帧在时间上被跟踪。面部跟踪模块能够确定例如在图像帧内用户何时从左移 到右,或者反之亦然。 网络接收模块212在网络106上从远程系统接收远程视频颜色巾贞和远程前景掩 模。远程视频颜色帧可包括例如远程用户的远程背景和远程前景两者。背景估计模块208 接受远程视频颜色帧和远程前景掩模作为输入，并且提取远程背景层。背景估计模块208 随后生成远程背景层的估计，所述远程背景层的估计包括当前从远程前景对象来看可能模 糊的远程背景的区域，如下面将更详细地讨论的。 所估计的远程背景、远程视频颜色帧、远程前景掩模和本地所跟踪的面部位置都 被提供给图像呈现模块206。图像呈现模块206基于远程前景掩模从远程视频颜色帧中提 取远程前景图像，并且将所提取的远程前景在由本地跟踪的面部位置确定的偏移位置上合 成到所估计的远程背景上。可随着本地用户移动从帧到帧而不同的偏移在所呈现的图像中 生成基于视差的3D感知。对于背景图像的偏移位移认可被计算为= +知*￡/，并且 对于前景图像的偏移位移仿可被计算为Oj =-% =5Vi,其中，￡/表示包括与本地跟踪的面部 位置关联的方向和距离的运动向量。比例因子和％-般在〇到1的范围中。K f因子前面 的负号指示前景偏移在本地用户运动的相反方向中。 图3示出与本公开一致的图像切分模块202的示范性实施例的附加框图细节300。 图像切分模块202被示出包括粗略切分模块306和边界精制模块308。本地摄像本文档来自技高网...

【技术保护点】
一种用于生成三维(3D)感知的方法，所述方法包括：将当前本地视频帧切分为本地前景层和本地背景层；基于所述本地前景层和所述本地背景层之间估计的边界来生成本地前景掩模；将所述当前本地视频帧和所述本地前景掩模传送到远程视频处理器，所述远程视频处理器配置成基于所述当前本地视频帧和所述本地前景掩模来呈现3D感知图像；从所述远程视频处理器接收当前远程视频帧和远程前景掩模；跟踪本地用户的面部的位置，所述跟踪基于所述当前本地视频帧以及一个或多个先前本地视频帧；基于所述当前远程视频帧和所述远程前景掩模来估计远程背景层；以及基于所述估计的远程背景层、所述远程前景掩模、所述当前远程视频帧和所述本地用户的面部的所述跟踪的位置来呈现3D感知图像。

【技术特征摘要】
【国外来华专利技术】2012.07.30 US 13/5611311. 一种用于生成三维（3D)感知的方法，所述方法包括： 将当前本地视频帧切分为本地前景层和本地背景层； 基于所述本地前景层和所述本地背景层之间估计的边界来生成本地前景掩模； 将所述当前本地视频帧和所述本地前景掩模传送到远程视频处理器，所述远程视频处 理器配置成基于所述当前本地视频帧和所述本地前景掩模来呈现3D感知图像； 从所述远程视频处理器接收当前远程视频帧和远程前景掩模； 跟踪本地用户的面部的位置，所述跟踪基于所述当前本地视频帧以及一个或多个先前 本地视频帧； 基于所述当前远程视频帧和所述远程前景掩模来估计远程背景层；以及 基于所述估计的远程背景层、所述远程前景掩模、所述当前远程视频帧和所述本地用 户的面部的所述跟踪的位置来呈现3D感知图像。2. 如权利要求1所述的方法，其中，所述当前本地视频帧包括本地颜色视频图像帧和 本地图像深度数据帧，并且其中，所述传送所述当前本地视频帧包括传送所述本地颜色视 频图像帧。3. 如权利要求2所述的方法，其中，所述生成所述本地前景掩模还包括基于所述本地 图像深度数据帧来生成粗略前景掩模，并且还包括基于所述粗略前景掩模和所述本地颜色 视频图像帧来生成精制的前景掩模。4. 如权利要求3所述的方法，其中，所述生成所述粗略前景掩模还包括去噪过滤、阈 值化和连接分量分析。5. 如权利要求3所述的方法，其中，所述生成所述精制的前景掩模还包括层绑定、图 裁剪处理和平滑过滤。6. 如权利要求1、4或5所述的方法，其中，所述呈现还包括基于所述远程前景掩模从 所述当前远程视频帧提取远程前景层，并且合成所述提取的远程前景层和所述估计的远程 背景层，其中，所述提取的远程前景层被定位在相对于所述估计的远程背景层的偏移，所述 相对的偏移基于所述本地用户的面部的所述跟踪的位置。7. 如权利要求6所述的方法，其中，所述估计的远程背景层被定位在第一偏移， O/ = +1 ,并且所述提取的远程前景层被定位在第二偏移，认=今％其中，ii是包括 与所述本地用户的面部位置的所述跟踪的位置关联的方向和距离的运动向量，fc是O到1 的范围中的比例因子，并且％是O到1的范围中的比例因子。8. 如权利要求7所述的方法，其中，％> ,并且选择％和知以在所述呈现的3D感知 图像中生成视差。9. 一种用于生成三维（3D)感知的系统，所述系统包括： 图像切分模块，配置成将当前本地视频帧切分为本地前景层和本地背景层，并且基于 所述本地前景层和所述本地背景层之间估计的边界来生成本地前景掩模，其中，所述当前 本地视频帧包括本地颜色视频图像帧和本地图像深度数据帧； 面部跟踪模块，配置成基于所述当前本地视频帧以及一个或多个先前本地视频帧来跟 踪本地用户的面部的位置； 背景层估计模块，配置成估计与从远程视频处理器接收的当前远程视频帧和远程前景 掩模关联的远程背景层；以及 图像呈现模块，配置成基于所述估计的远程背景层、从所述远程视频处理器接收的所 述当前远程视频帧和所述远程前景掩模、以及所述本地用户的面部的所述跟踪的位置来呈 现3D感知图像。10. 如权利要求9所述的系统，其中，所述图像切分模块还包括配置成基于所述本地 图像深度数据帧来生成粗略前景掩模的粗略切分模块，并且还包括配置成基于所述粗略前 景掩模和所述本地颜色视频图像帧来生成精制的前景掩模的边界精制模块。11. 如权利要求10所述的系统，其中，所述粗略切分模块还包括去噪过滤模块、耦合 到所述去噪过滤模块的阈值化模块以及耦合到所述阈值化模块的连接...

【专利技术属性】
技术研发人员：Y吴，W孙，MM楚，E德雷沙，P穆斯，LB艾恩斯沃思，G舍马克，IV科津特塞夫，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US