视频传输和重构制造技术

本文中描述用于减少传输与面部有关的视频流所必需的带宽的系统和方法。在一些方面中，在传输装置处俘获来自面部辨识技术的轮廓信息，并且向接收装置发送所述轮廓信息。可以使用所述轮廓信息在所述接收装置处重构所述面部，而不需要发送所述面部的整个视频帧。

【技术实现步骤摘要】
【国外来华专利技术】
本申请总体上涉及视频俘获装置，并且更具体来说涉及用于减少传输与面部有关的视频流所必需的带宽的系统和方法。
技术介绍
视频会议用来帮助人们在远程位置通信。使用视频会议，可以在一个位置俘获用户的图像和声音并且将图像和声音传输到另一位置。举例来说，许多应用程序设计成配合例如网络摄像头等标准视频俘获装置工作以经由网络从一个装置向另一装置流式传输视频和/或音频。因此，装置的用户可以参与视频电话呼叫或者视频会议。所述应用程序通常设置成特别从网络摄像头获取视频，并且整体传输视频帧。这可能必需很大的带宽来传输视频帧，尤其是如果视频帧具有高分辨率的话。
技术实现思路
本专利技术的系统、方法和装置各自具有若干方面，其中没有单独一个方面单独地负责其期望属性。现在将简要论述一些特征，但并不限制随附权利要求书所表达的本发明的范围。在审阅本论述后，并且尤其是在阅读了标题为“具体实施方式”的部分之后，将了解本专利技术的特征如何提供包含用于利用更少的带宽传输与面部有关的视频帧的系统和方法的优势。本专利技术的一个方面提供一种用于重构视频数据的方法。所述方法包括在接收装置处存储关键帧。所述方法进一步包括在接收装置处和从传输装置接收用于一或多个帧的轮廓信息。所述方法进一步包括基于关键帧和轮廓信息产生一或多个额外帧。本专利技术的另一方面提供一种设备。所述设备包括处理器和与处理器通信的存储器。所述存储器包括当被处理器执行时使得处理器存储关键帧的指令。所述指令当被处理器执行时进一步使得处理器从传输装置接收用于一或多个帧的轮廓信息。所述指令当被处理器执行时进一步使得处理器基于关键帧和轮廓信息产生一或多个额外帧。本专利技术的另一方面提供一种设备。所述设备包括用于存储关键帧的装置。所述设备进一步包括用于从传输装置接收用于一或多个帧的轮廓信息的装置。所述设备进一步包括用于基于关键帧和轮廓信息产生一或多个额外帧的装置。本专利技术的另一方面提供一种用于处理用于经配置以从至少一个俘获装置接收视频输入的程序的数据的计算机程序产品。所述计算机程序产品包括非暂时性计算机可读媒体。所述计算机可读媒体上存储有用于使得计算机存储关键帧的代码。所述计算机可读媒体上存储有用于使得计算机从传输装置接收用于一或多个帧的轮廓信息的代码。所述计算机可读媒体上存储有用于使得计算机基于关键帧和轮廓信息产生一或多个额外帧的代码。附图说明图1A图解说明示范性计算装置。图1B图解说明另一示范性计算装置。图2是计算装置的功能框图。图3是视频俘获装置的功能框图。图4是具有图像俘获装置的计算系统的功能框图。图5图解说明可以提取的轮廓信息的实例。图6A图解说明关键帧的实例。图6B图解说明使用轮廓信息和图6B的关键帧重构的图像的实例。图7图解说明图4的应用程序的实例的框图。图8是用于俘获图像和传输图像数据的过程的实例的流程图。图9是用于接收图像数据和重构图像的过程的实例的流程图。具体实施方式词语“示范性”在本文中用于表示“充当实例、例子或说明”。本文中被描述为“示范性的”任何实施例不必须被理解为比其它实施例优选或有利。呈现下面的描述是为了让所属领域的技术人员能够制作和使用本专利技术。下面的描述中为了解释的目的阐述了一些细节。应明白，所属领域的技术人员将认识到，可以不使用这些特定细节来实践本专利技术。在其它例子中，为了不用不必要的细节来模糊对本专利技术的描述，不阐述众所周知的结构和过程。因此，本专利技术不打算受到所展示的实施例的限制，而是将被赋予与本文中揭示的原理和特征一致的最广范围。本文中描述的系统和方法涉及用于减少传输与面部和其它具有可提取特征的所定义的对象相关的视频流所必需的带宽的技术。虽然本专利技术具体地论述了面部，但是本文中的系统和方法可以类似地与其它具有可提取特征的所定义的对象一起使用。在一些方面中，第一装置(例如，膝上型计算机、台式计算机、平板、电话、计算装置等)可以经配置以经由网络(例如，因特网、内联网等)向第二装置传输图像和/或视频。在一些方面中，图像俘获装置(例如，照相机、摄像机、网络摄像头等)可以用于俘获图像和/或由一系列图像组成的视频。因此，第二装置可以接收在第一装置处俘获的图像，并且显示俘获到的图像。在一些情况下，俘获到的图像可包含一或多个人和一背景(例如，桌子、椅子、房间、户外等)。在一些方面中，面部辨识技术(例如，欧姆龙的OKAO视觉面部感应技术)可以用于检测一或多个人的面部并且提取一或多个人的面部的轮廓信息。轮廓信息可包含所述一或多个人的面部的特征(例如，眉毛、眼睛、鼻子、嘴和其它面部轮廓信息)的位置(例如，地点、坐标等)。第一装置不是传输整个俘获到的图像，而是可以只向第二装置传输面部轮廓信息，使得可以在第二装置处重构所述一或多个人的面部。由于只向第二装置传输面部轮廓信息而不是整个图像，所以减少了传输图像所必需的带宽。第二装置可以使用面部轮廓信息来操纵关键帧以便在第二装置处产生图像。在一些方面中，关键帧可以是从第一装置向第二装置发送的帧，所述帧是图像俘获装置所俘获到的图像，或者是在第二处存储的面部的某个其它图像(例如，本地静态图片)(其不一定必须是第一装置的用户的面部(例如，蒙娜丽莎))。接着，当第二装置从第一装置接收到面部轮廓信息时，第二装置可以操纵关键帧图像以改变关键帧图像的面部的表情以与从第一装置传输的轮廓信息匹配。图1A图解说明可以与本文中描述的实施例一起使用的示范性计算装置。计算装置100a可以是任何众所周知的计算系统。众所周知的计算系统、环境和/或配置的实例包含但不限于个人计算机、服务器计算机、手持或膝上型计算机装置、多处理器系统、基于微处理器的系统、可编程消费型电子器件、网络PC、微型计算机、主机计算机、包含任何上述系统或装置的分布式计算环境等等。如图所示，计算装置100a包含照相机105a。照相机105a被展示为构建到计算装置100a的外壳中的集成照相机。照相机105a可包括视频俘获装置，例如数字照相机、数字摄像机、网络摄像头等。图1B图解说明可以与本文中描述的实施例一起使用的另一示范性计算装置。计算装置100b也可以是任何众所周知的计算系统。如图所示，计算装置100b包含照相机105b。照相机105b展示为连接到计算装置100b的外部照相机。照相机105b可以经由合适的接口连接到计算装置100b，所述合适的接口例如是通用串行总线(USB)、火线、雷电接口、光峰(Light Peak)、数本文档来自技高网...

【技术保护点】
一种用于重构视频数据的方法，所述方法包括：在接收装置处存储关键帧；在所述接收装置处和从传输装置接收用于一或多个帧的轮廓信息；和基于所述关键帧和所述轮廓信息产生一或多个额外帧。

【技术特征摘要】
【国外来华专利技术】2012.05.29 US 13/482,8081.一种用于重构视频数据的方法，所述方法包括：
在接收装置处存储关键帧；
在所述接收装置处和从传输装置接收用于一或多个帧的轮廓信息；和
基于所述关键帧和所述轮廓信息产生一或多个额外帧。
2.根据权利要求1所述的方法，其中所述轮廓信息包括面部的特征的位置。
3.根据权利要求1或2中任一权利要求所述的方法，其进一步包括从所述传输装置接
收所述关键帧。
4.根据权利要求1到3中任一权利要求所述的方法，其进一步包括接收对应于所述一
或多个帧的压缩视频，并且其中产生所述一或多个额外帧进一步是基于所述压缩视
频。
5.根据权利要求1到4中任一权利要求所述的方法，其中基于在所述接收装置处从所
述传输装置接收到的数据的速率选择性地产生所述一或多个额外帧。
6.根据权利要求1到5中任一权利要求所述的方法，其中所述一或多个额外帧包括一
或多个面部图像。
7.根据权利要求6所述的方法，其中产生一或多个额外帧包括从所述一或多个面部图
像移除一或多个特征。
8.根据权利要求6或7中任一权利要求所述的方法，其中产生一或多个额外帧包括向
所述一或多个面部图像添加化妆。
9.根据权利要求1到8中任一权利要求所述的方法，其中产生一或多个额外帧进一步
包括改变与所述关键帧中包含的一或多个人相关联的衣服。
10.一种设备，其包括：
处理器；和
存储器，其与所述处理器通信，所述存储器包括当被所述处理器执行时使得所述
处理器执行下列操作的指令：
存储关键帧；
从传输装置接收用于一或多个帧的轮廓信息；和
基于所述关键帧和所述轮廓信息产生一或多个额外帧。
11.根据权利要求10所述的设备，其中所述轮廓信息包括面部的特征的位置。
12.根据权利要求10或11中任一权利要求所述的设备，其中所述指令当被所述处理器
执行时进一步使得所述处理器从所述传输装置接收所述关键帧。
13.根据权利要求10到12中任一权利要求所述的设备，其中所述指令当被所述处理器
执行时进一步使得所述处理器接收对应于所述一或多个帧的压缩视频，并且其中产
生所述一或多个额外帧进一步是基于所述压缩视频。
14.根据权利要求10到13中任一权利要求所述的设备，其中基于在所述接收装置处从
所述传输装置接收到的数据的速率选择性地产生所述一或多个额外帧。
15...

【专利技术属性】
技术研发人员：H·H·劳，T·C·邝，B·K·P·陈，周玉刚，W·H·于，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US