实时剪切视频序列中记录的真实实体的方法技术

一种用于实时剪切在真实环境中移动且记录在视频序列中的真实实体的方法，真实实体与虚拟实体相关联，所述方法包括下列步骤：从视频序列中提取(S1，S1A)包括记录的真实实体的图像，基于包括记录的真实实体的图像确定真实实体的比例和/或方向(S2，S2A)，适合以大致相同的方式缩放、定向和定位转换(S3，S4，S3A，S4A)虚拟实体和记录的真实实体，以及用真实实体的剪切图像替代(S5，S6，S5A，S6A)虚拟实体，真实实体的剪切图像是虚拟实体的轮廓限定的包括记录的真实实体的图像的区域。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术的一个方面涉及一种用于，且更具体地涉及使用化身的对应身体部分实时剪切视频序列中用户身体的一部分。这种方法可以具体地但是并非排他地应用在虚拟现实领域中、特别地在所谓虚拟环境或混合现实环境中绘制化身。
技术介绍
图I表示多媒体系统(例如视频会议或在线游戏系统)环境中示例的虚拟现实应用。多媒体系统I包括多媒体设备3、12、14、16 (它们连接到使它们能发送数据的通信网络9)以及远程应用服务器10。在这个多媒体系统I中，各个多媒体设备3、12、14、16的用户 2、11、13、15可以在虚拟环境或混合现实环境20(图2所示)中交互。远程应用服务器10可以管理虚拟或混合现实环境20。典型地，多媒体设备3包括处理器4、存储器5、到通信网络9的连接模块6、显示和交互设备7，以及照相机8 (例如网络照相机)。其他多媒体设备12、14、16等效于多媒体设备3且将不会更详细地说明。图2所示为其中有化身21演变的虚拟或混合现实环境20。虚拟或混合现实环境20是模仿用户2、11、13、15可以演变、交互和/或工作等的范畴的图形表示。在虚拟或混合现实环境20中，每个用户2、11、13、15由他或她的化身21表示，化身代表人类的虚拟图形表示。在上述应用中，最好实时将化身的头22与照相机8拍摄的用户2、11、13或15的头的视频混合，或者换句话说，动态地或实时地用对应的化身21的头替代用户2、11、13或15的头。这里，动态或实时表示同步或准同步地将用户2、11、13或15的多媒体设备3、12、14、16前面的他或她的头的动作、姿势和实际外观重现到化身21的头22上。这里，视频是指包括图像序列的可视的或视听的序列。文献US 20091202114描述了一种由计算机实现的视频俘获方法，包括在第一计算设备上实时地识别和跟踪在若干视频帧中的脸部，产生代表被识别和跟踪的脸部的数据，以及通过网络向第二计算设备发送脸部的数据以便第二计算设备在化身的身体上显示脸部。SONOU LEE 等人的文献“CFB0XTM :superimposing 3D human face on motionpicture”，PROCEEDINGS OF THE SEVENTH INTERNATIONAL CONFERENCE ON VIRTUAL SYSTEMSAND MULTIMEDIA BERKELEY, CA, USA, 2001 年 10 月 25-27 日，LOS ALAMITOS, CA, USA, IEEEC0MPUT. SOC, US LNKD DOl :10. 1109NSMM. 2001. 969723,2001 年 10 月 25 日，644-651 页，XP01567131 ISBN :978-0-7695-1402-4描述了一种称为CFBOX的产品，其构成一种个人商用电影工作室。它实时使用三维脸部集成技术用用户建模的脸部代替人的脸部。还提出操作特征用于改变建模的脸部纹理以适合某人的风格。因此能建立定制数字视频。但是，在给定的时刻从照相机拍摄的用户的视频中剪切头部，提取它，然后将它粘贴到化身的头上，并且在稍后的时刻重复此序列是困难且昂贵的操作，因为需要真实的渲染。首先，轮廓识别算法需要高对比的视频图像。这可以在具有ad hoc照明的工作室中实现。另一方面，用网络照相机和/或在家庭或办公楼的房间中的照明环境中，这不总是可能的。而且，轮廓识别算法需要来自处理器的强的计算能力。一般说来，这个高的计算能力现在在标准多媒体设备(比如个人计算机、笔记本电脑、个人数字助理(PDA)或智能电话)上不可得。因此，需要一种用于使用化身的身体的对应部分实时剪切视频中的用户身体的一部分的方法，具有足够高的质量以提供沉浸在虚拟环境中的感觉且其可用上述标准多媒体设备实现。
技术实现思路
本专利技术的一个目的是提出一种用于实时剪切视频中的一个区域的方法，且更具体地是通过使用旨在重现用户身体部分的外观的化身的身体的对应部分实时剪切视频中用户身体的一部分，所述方法包括步骤 -从视频序列中提取包括用户的记录的身体部分的图像， -确定包括用户的记录的身体部分的图像中用户的身体部分的方向和比例， -以与用户的身体部分大致相同的方式定位和缩放化身的身体部分，以及-使用化身的身体部分的轮廓以形成包括用户的记录的身体部分的图像的剪切图像，剪切图像限于包括轮廓中包含的用户的记录的身体部分的图像的一个区域。根据本专利技术的另一实施方式，真实实体可以是用户的身体部分，且虚拟实体可以是旨在重现用户的身体部分的外观的化身身体的对应部分，以及所述方法包括步骤 -从视频序列中提取包括用户的记录的身体部分的图像， -从包括用户的身体部分的图像确定用户的身体部分的方向， -以与包括用户的记录的身体部分的图像中大致相同的方式定向化身的身体部分， -转换和缩放包括用户的记录的身体部分的图像以便将它与化身的对应定向的身体部分对准， -绘制虚拟环境的图像，其中化身的定向的身体部分的轮廓所限定的剪切区域由缺少像素或透明像素编码；以及 -将虚拟环境的图像叠加在包括用户的被转换和缩放的身体部分的图像上。确定包括用户的记录的身体部分的图像的方向和/或比例的步骤可以通过应用于所述图像的头部跟踪器功能实现。定向和缩放、提取轮廓以及合并的步骤可考虑化身的或用户的身体部分的重要的点或区域。化身的身体部分可以是所述化身身体部分的三维表示。剪切方法还可包括初始化步骤，其包括根据必须重现其外观的用户的身体部分对化身的身体部分的三维表示建模。身体部分可以是用户的或化身的头。根据另一方面，本专利技术涉及包括实现本专利技术剪切方法的处理器的一种多媒体系统。根据本专利技术的又一方面，本专利技术涉及旨在加载在多媒体系统的存储器中的一种计算机程序产品，所述计算机程序产品包括当程序被多媒体系统的处理器运行时实现本专利技术的剪切方法的软件代码部分。本专利技术可以有效地剪切表示视频序列中实体的区域。本专利技术还可以实时合并化身和视频序列，具有足够高的质量以提供沉浸在虚拟环境中的感觉。本专利技术的方法消耗少量的处理器资源，且使用一般编码在图形卡中的功能。因此可以用标准多媒体设备实现它，标准多媒体设备比如个人计算机、笔记本电脑、个人数字助理或智能电话。它可以使用低对比的图像或带有来自网络照相机的缺陷的图像。根据本专利技术的下列详细说明，其他优点将变得清楚。附图说明通过附图中非限制的示例说明本专利技术，其中相同标号表示相似元件 图2所示为在其中化身演变的虚拟或混合的现实环境； 图3A和3B所示为用于实时剪切记录在视频序列中的用户的头部的本专利技术的方法的一个实施方式的功能图；以及 图4A和4B所示为用于实时剪切记录在视频序列中的用户的头部的本专利技术的方法的另一个实施方式的功能图。具体实施方式。图3A和3B所示为用于实时剪切记录在视频序列中的用户的头部的本专利技术的方法的一个实施方式的功能图。在第一步骤SI中，在给定的时刻，从用户的视频序列30中提取EXTR图像31。视频序列是指例如由照相机(见图I)记录的一连串图像。在第二步骤S2中，头部跟踪器功能HTFunc应用于提取的图像31。头部跟踪器功能使得可以确定用户的头部的比例E和方向O。它使用脸32的某些点或区域(例如眼本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：B·勒克莱尔，O·马赛，Y·勒普罗沃，
申请(专利权)人：阿尔卡特朗讯，
类型：
国别省市：