【技术实现步骤摘要】
本专利技术涉及一种用于在虚拟世界中动画化化身的系统和方法，具体地但不排他地，涉及一种用于使用视频流来动画化化身的系统和方法。
技术介绍
1、由于通信和计算机技术的进步和可访问性，更多的用户能够访问用于娱乐、教育、社会化和工作的虚拟环境。近来，使用户能够在基于计算机的平台内进行在线交互的虚拟环境已经变得更加沉浸和功能化。
2、这些虚拟环境可以包括允许虚拟世界的图形表示的多个平台，由此用户可以进入虚拟环境，并在虚拟环境中随意漫游。用户还可以操纵对象或与该开放世界中的其他用户交互。然而，为了在虚拟世界中与其他用户交互或操纵对象，用户可能需要使用特定的虚拟现实或虚拟环境设备。虚拟现实或虚拟环境设备可以包括耳机或手持控制器。然而，这种设备可能笨重并且昂贵，当长时间使用时，这些设备甚至对使用者产生不利影响，如，产生不适或造成紧张。
技术实现思路
1、根据本专利技术的第一方面，提供了一种用于在虚拟世界中动画化化身的系统，包括：
2、图像处理器，用于处理捕捉活动用户的图像流，以获得用于跟踪所述用户的活动的活动数据集；
3、化身空间处理器，用于处理所述活动数据集，以确定多个用于在三维空间中跟踪所述用户的活动的运动跟踪点；
4、面部表情检测引擎，用于处理所述活动数据集，以检测所述用户的一个或多个面部表情；以及
5、化身动画化引擎，用于采用所述多个运动跟踪点和所述检测的一个或多个面部表情，在所述虚拟世界中动画化所述化身，以反映所述活动用户的活动
6、在第一方面的实施例中，所述化身空间处理器用于：
7、识别所述用户的一个或多个部分，包括：图像流中的头部、臂部、躯干、腿部或其任何一个或组合；
8、在所识别的用户的一个或多个部分上设置跟踪点；以及
9、跟踪所述跟踪点在所述图像流上的移动。
10、在第一方面的实施例中，所述追踪点为：
11、映射到用于表示所述化身的身体结构的化身骨架；以及
12、与所述化身骨架的所述一个或多个关节对齐。
13、在第一方面的实施例中，所述化身空间处理器进一步用于估计所述化身骨架的所识别的一个或多个部分之间的缺失骨架部分。
14、在第一方面的实施例中，所述图像处理器包括：姿态跟踪模型，用于从所述图像流中跟踪所述用户的姿态。
15、在第一方面的实施例中，所述图像处理器还包括：手跟踪模型，用于从所述图像流中跟踪所述用户的手或手指姿势。
16、在第一方面的实施例中，所述图像处理器还包括：面部表情检测模型，用于从所述图像流中检测所述用户的一个或多个面部表情。
17、在第一方面的实施例中，所述化身动画化引擎包括：物理引擎，用于将逆运动学函数应用到所述多个运动跟踪点上。
18、在第一方面的实施例中，所述化身动画化引擎还包括：防裁剪引擎，用于在所述化身周围施加碰撞体，以避免在所述虚拟世界中动画化时裁剪所述化身。
19、在第一方面的实施例中，所述防裁剪引擎进一步用于包括：弹簧接头功能件，用于在所述多个运动跟踪点上施加碰撞和相反的力。
20、根据本专利技术的第二方面，提供了一种用于在虚拟世界中动画化化身的方法，包括以下步骤：
21、处理捕获活动用户的图像流，以获得用于跟踪用户的活动的活动数据集；
22、处理所述活动数据集，以确定多个用于通过三维空间跟踪用户的活动的运动跟踪点；
23、处理所述活动数据集，以检测所述用户的一个或多个面部表情；以及
24、采用所述多个运动跟踪点和所述检测的一个或多个面部表情，在所述虚拟世界中动画化所述化身，以反映所述活动用户的活动和面部表情。
25、在第二方面的实施例中，处理所述活动数据集的步骤包括：
26、识别所述用户的一个或多个部分，包括：图像流中的头部、臂部、躯干、腿部或其任何一个或组合；
27、在所识别的用户的一个或多个部分上设置跟踪点；以及
28、跟踪所述跟踪点在所述图像流上的移动。
29、在第二方面的实施例中，所述追踪点为：
30、映射到用于表示所述化身的身体结构的化身骨架；以及
31、与所述化身骨架的所述一个或多个关节对齐。
32、在第二方面的实施例中，处理所述活动数据集的步骤进一步用于估计化身骨架的所识别的一个或多个部分之间的缺失骨架部分。
33、在第二方面的实施例中，处理所述活动数据集的步骤包括：使用姿态跟踪模型，用于从图像流中跟踪用户的姿态。
34、在第二方面的实施例中，处理所述活动数据集的步骤包括：使用手跟踪模型，用于从图像流中跟踪用户的手或手指姿势。
35、在第二方面的实施例中，处理所述活动数据集的步骤包括：使用面部表情检测模型，用于从图像流中检测用户的一个或多个面部表情。
36、在第二方面的实施例中，动画化所述化身的步骤包括：使用物理引擎，用于将逆运动学函数应用到多个运动跟踪点上。
37、在第二方面的实施例中，动画化所述化身的步骤还包括：使用防裁剪引擎，用于在化身周围施加碰撞体，以避免在虚拟世界中动画化时裁剪所述化身。
38、在第二方面的实施例中，所述防裁剪引擎进一步用于包括：弹簧接头功能件，用于在所述多个运动跟踪点上施加碰撞和相反的力。
本文档来自技高网...【技术保护点】
1.一种用于在虚拟世界中动画化化身的系统，其特征在于，包括：
2.根据权利要求1所述的用于动画化化身的系统，其特征在于，其中，所述化身空间处理器用于：
3.根据权利要求2所述的动画化化身的系统，其特征在于，其中，所述跟踪点：
4.根据权利要求3所述的用于动画化化身的系统，其特征在于，其中，所述化身空间处理器进一步用于估计所述化身骨架的所识别的一个或多个部分之间的缺失骨架部分。
5.根据权利要求4所述的用于动画化化身的系统，其特征在于，其中，所述图像处理器包括：姿态跟踪模型，用于从所述图像流中跟踪所述用户的姿态。
6.根据权利要求5所述的用于动画化化身的系统，其特征在于，其中，所述图像处理器还包括：手跟踪模型，用于从所述图像流中跟踪所述用户的手或手指姿势。
7.根据权利要求6所述的用于动画化化身的系统，其特征在于，其中，所述图像处理器还包括：面部表情检测模型，用于从所述图像流中检测所述用户的一个或多个面部表情。
8.根据权利要求7所述的用于动画化化身的系统，其特征在于，其中，所述化身动画化引擎包括：
9.根据权利要求8所述的用于动画化化身的系统，其特征在于，其中，所述化身动画化引擎还包括：防裁剪引擎，用于在所述化身周围施加碰撞体，以避免在所述虚拟世界中动画化时裁剪所述化身。
10.根据权利要求9所述的用于动画化化身的系统，其特征在于，其中，所述防裁剪引擎进一步用于包括：弹簧接头功能件，用于在所述多个运动跟踪点上施加碰撞和相反的力。
...【技术特征摘要】
1.一种用于在虚拟世界中动画化化身的系统，其特征在于，包括：
2.根据权利要求1所述的用于动画化化身的系统，其特征在于，其中，所述化身空间处理器用于：
3.根据权利要求2所述的动画化化身的系统，其特征在于，其中，所述跟踪点：
4.根据权利要求3所述的用于动画化化身的系统，其特征在于，其中，所述化身空间处理器进一步用于估计所述化身骨架的所识别的一个或多个部分之间的缺失骨架部分。
5.根据权利要求4所述的用于动画化化身的系统，其特征在于，其中，所述图像处理器包括：姿态跟踪模型，用于从所述图像流中跟踪所述用户的姿态。
6.根据权利要求5所述的用于动画化化身的系统，其特征在于，其中，所述图像处理器还包括：手跟踪模型，用于从所述图像流中跟踪所述用户...
【专利技术属性】
技术研发人员：宋燕捷，杨良河，李子健，巫铠屹，曹家鑫，
申请(专利权)人：香港教育大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。