一种基于全息技术实时表演方法及其系统技术方案

本发明专利技术的技术方案包括一种基于全息技术实时表演方法及其系统，用于实现：通过制作三维虚拟偶像模型，捕捉待测对象的位置及动作获得动捕数据并生成三维骨骼模型和三维骨骼动作数据，将获得的三维骨骼模型与三维虚拟偶像模型进行绑定，根据获得的三维骨骼动作数据，与待测对象进行实时联动，并将三维虚拟偶像模型投影到指定区域，实现三维虚拟人物的全息互动展示。本发明专利技术的有益效果为：使虚拟偶像真正的活了起来，而不仅仅是录好的视频，凭借这套系统，虚拟偶像将可以和台下观众进行互动，大大的提高了娱乐性和趣味性。

A Real-time Performance Method and System Based on Holographic Technology

The technical scheme of the invention includes a real-time performance method and system based on holographic technology, which is used to realize: capturing the position and action of the object to be measured by making a three-dimensional virtual idol model, acquiring the capture data, generating three-dimensional skeletal model and three-dimensional skeletal action data, binding the obtained three-dimensional skeletal model with the three-dimensional virtual idol model, and according to the obtained three-dimensional skeleton model. The skeletal movement data are linked with the object to be measured in real time, and the three-dimensional virtual idol model is projected to the designated area to realize the holographic interactive display of the three-dimensional virtual characters. The beneficial effect of the present invention is to make the virtual idol live truly, not just the recorded video. With this system, the virtual idol can interact with the audience and greatly improve the entertainment and interesting.

【技术实现步骤摘要】
一种基于全息技术实时表演方法及其系统
本专利技术涉及一种基于全息技术实时表演方法及其系统，属于信息采集领域。
技术介绍
“虚拟偶像”，可能是这些年来大家听到最多的一个词了。虚拟偶像凭借其新颖的表现形式，优美可人的人物形象，多才多艺载歌载舞的舞台风格，渐渐得到了大众广泛的欢迎。在日本，以初音为代表的虚拟偶像获得了巨大的成功。这些虚拟偶像也在一些国家举办过一些虚拟演唱会，但是都是采用录播的表现形式，缺少真人的不确定感，同时也缺少与真人互动的环节。
技术实现思路
为解决上述问题，本专利技术的目的在于提供一种基于全息技术实时表演方法及其系统，通过制作三维虚拟偶像模型，捕捉待测对象的位置及动作获得动捕数据并生成三维骨骼模型和三维骨骼动作数据，将获得的三维骨骼模型与三维虚拟偶像模型进行绑定，根据获得的三维骨骼动作数据，与待测对象进行实时联动，并将三维虚拟偶像模型投影到指定区域，实现三维虚拟人物的全息互动展示。本专利技术解决其问题所采用的技术方案一方面是：一种基于全息技术实时表演方法，其特征在于，所述方法包括以下步骤：制作三维虚拟偶像模型；捕捉待测对象的位置及动作获得动捕数据并生成三维骨骼模型和三维骨骼动作数据；将获得的三维骨骼模型与三维虚拟偶像模型进行绑定；三维虚拟偶像模型获取三维骨骼动作数据，根据获得的三维骨骼动作数据，与待测对象进行实时联动，并将三维虚拟偶像模型投影到指定区域。进一步的，所述三维骨骼动作数据包括运动目标的三维空间坐标、人体关节的6自由度运动参数。进一步的，所述三维骨骼模型与三维虚拟偶像模型包括人体骨骼节点信息。进一步的，所述将获得的三维骨骼模型与三维虚拟偶像模型进行绑定，包括：将三维骨骼模型的人体骨骼节点信息与三维虚拟偶像模型的骨骼进行捆绑匹配。进一步的，所述三维虚拟偶像模型获取三维骨骼动作数据，包括：使用基于XML的文件存储格式用于存储三维骨骼动作数据，并使用定制的基于TCP的专有应用层协议用于实时传输三维骨骼动作数据，三维虚拟偶像模型获取并存储三维骨骼动作数据。进一步的，所述根据获得的三维骨骼动作数据，与待测对象进行实时联动，包括：根据获得的三维骨骼动作数据，执行三维虚拟偶像模型碰撞检测，包括虚拟偶像身体部位之间，虚拟偶像之间以及虚拟偶像与虚拟场景和物体之间的碰撞检测；在制定区域中创建三维虚拟偶像的活动场景，其中活动场景用于限制三维虚拟偶像的投影范围；三维虚拟偶像模型调用三维骨骼动作数据，用于驱动三维虚拟偶像模型执行对应动作，实现与待测对象的实时联动；将三维虚拟偶像模型投影到制定区域中的活动场景中。本专利技术解决其问题所采用的技术方案另一方面是：一种基于全息技术实时表演系统，用于实现如权利要求1所述的方法，其特征在于，包括：三维建模模块，用于建立三维虚拟偶像模型；红外动作捕捉模块，用于捕捉待测对象的位置及动作获得动捕数据；骨骼模型建立模块，用于根据待测对象生成三维骨骼模型和根据动捕数据生成三维骨骼动作数据；骨骼绑定模块，用于将三维骨骼模型与三维虚拟偶像模型进行绑定匹配；联动模块，用于根据捕捉的动捕数据对三维虚拟偶像模型进行驱动，实现与待测对象进行实时联动；投影模块，用于将生成的三维虚拟偶像模型投影到制定区域；投影接收模块，用于接收投影模块发出的图像信号。进一步的，所述联动模块包括：存储模块，用于存储三维骨骼动作数据；骨骼匹配模块，用于根据三维骨骼动作数据驱动三维虚拟偶像模型，做出对应动作。进一步的，所述联动模块包括：碰撞检测模块，用于根据获得的三维骨骼动作数据，执行三维虚拟偶像模型碰撞检测，包括虚拟偶像身体部位之间，虚拟偶像之间以及虚拟偶像与虚拟场景和物体之间的碰撞检测。进一步的，所述投影接收模块为钢化玻璃反射膜金字塔幕；所述投影模块为激光距投影仪。本专利技术的有益效果是：本专利技术采用的一种基于全息技术实时表演方法及其系统，使虚拟偶像真正的活了起来，而不仅仅是录好的视频，凭借这套系统，虚拟偶像将可以和台下观众进行互动，大大的提高了娱乐性和趣味性。附图说明图1所示为根据本专利技术的方法的总体流程图；图2所示为根据本专利技术较佳实施例的系统模块框图；图3所示为根据本专利技术的方法的较佳实施例的流程图。具体实施方式以下将结合实施例和附图对本专利技术的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本专利技术的目的、方案和效果。需要说明的是，如无特殊说明，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本
的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本专利技术。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本专利技术的实施例，并且除非另外要求，否则不会对本专利技术的范围施加限制。为了使本专利技术的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本专利技术进行详细描述。参照图1所示为根据本专利技术的方法的总体流程图，制作三维虚拟偶像模型；形状建模要表现三维物体，最基本的是绘制出三维物体的轮廓，利用点和线来构建整个三维物体的外边界，即仅使用边界来表示三维物体。三维图形物体中运用边界表示的最普遍方式是使用一组包围物体内部的表面多边形来存储物体的描述，多面体的多边形表示精确的定义了物体的表面特征，但对其它物体，则可以通过把表面嵌入到物体中来生成一个多边形网格逼近，曲面上采用多边形网格逼近可以通过将曲面分成更小的多边形加以改进。由于线框轮廓能快速显示以概要的说明表面结构，因此，这种表示在设计和实体模型应用中普遍采用。通过沿多边形表面进行明暗处理来消除或减少多边形边界，以实现真实性绘制。外观建模对象的外表是一种物体区别于其它物体的质地特征，VR系统中虚拟对象的外表真实感主要取决于它的表面反射和纹理。一般来讲，只要时间足够宽裕，用增加物体多边形的方法可以绘制出十分逼真的图形表面。但是VR系统是典型的限时计算与显示系统，对实时性要求很高。因此，省时的纹理映射(TextureMapping)技术在VR系统几何建模中得到广泛应用。用纹理映射技术处理对象的外表，一是增加了细节层次以及景物的真实感；二是提供了更好的三维空间线索；三是减少了视景多边形的数目，因而提高了帧刷新率，增强了复杂场景的实时动态显示效果。捕捉待测对象的位置及动作获得动捕数据并生成三维骨骼模型和三维骨骼动作数据；首先，动捕演员进入布置了红外光学定位装置的动捕房间中，由动捕设备进行动作捕捉，，并连接至系统，然后动捕演员开始按照剧本进行表演，动捕设备将采集的动捕数据实时传输至系统中，骨骼模型建立模块利用这些动捕数据生成三维骨骼动作数据并建立三维骨骼模型，同时场景绘制控制器采集动捕演员的头部运动和眼睛运动从而判断动捕演员视线方向和景深以便实时绘制模块绘制出相应的三维场景，获得三维虚拟偶像模型动画和实时三维场景后，渲染模块将其结合起来进行渲染。将获得的三维骨骼模型与三维虚拟偶像模型进行绑定；将三维骨骼模型的人体骨骼节点信息与三维虚拟偶像模型的骨骼进行捆绑匹配，保证三维虚拟偶像模型根据三维骨骼动作数据做本文档来自技高网...

【技术保护点】
1.一种基于全息技术实时表演方法，其特征在于，所述方法包括以下步骤：制作三维虚拟偶像模型；捕捉待测对象的位置及动作获得动捕数据并生成三维骨骼模型和三维骨骼动作数据；将获得的三维骨骼模型与三维虚拟偶像模型进行绑定；三维虚拟偶像模型获取三维骨骼动作数据，根据获得的三维骨骼动作数据，与待测对象进行实时联动，并将三维虚拟偶像模型投影到指定区域。

【技术特征摘要】
1.一种基于全息技术实时表演方法，其特征在于，所述方法包括以下步骤：制作三维虚拟偶像模型；捕捉待测对象的位置及动作获得动捕数据并生成三维骨骼模型和三维骨骼动作数据；将获得的三维骨骼模型与三维虚拟偶像模型进行绑定；三维虚拟偶像模型获取三维骨骼动作数据，根据获得的三维骨骼动作数据，与待测对象进行实时联动，并将三维虚拟偶像模型投影到指定区域。2.根据权利要求1所述的基于全息技术实时表演方法，其特征在于，所述三维骨骼动作数据包括运动目标的三维空间坐标、人体关节的6自由度运动参数。3.根据权利要求1所述的基于全息技术实时表演方法，其特征在于，所述三维骨骼模型与三维虚拟偶像模型包括人体骨骼节点信息。4.根据权利要求1所述的基于全息技术实时表演方法，其特征在于，所述将获得的三维骨骼模型与三维虚拟偶像模型进行绑定，包括：将三维骨骼模型的人体骨骼节点信息与三维虚拟偶像模型的骨骼进行捆绑匹配。5.根据权利要求1所述的基于全息技术实时表演方法，其特征在于，所述三维虚拟偶像模型获取三维骨骼动作数据，包括：使用基于XML的文件存储格式用于存储三维骨骼动作数据，并使用定制的基于TCP的专有应用层协议用于实时传输三维骨骼动作数据，三维虚拟偶像模型获取并存储三维骨骼动作数据。6.根据权利要求1所述的基于全息技术实时表演方法，其特征在于，所述根据获得的三维骨骼动作数据，与待测对象进行实时联动，包括：根据获得的三维骨骼动作数据，执行三维虚拟偶像模型碰撞检测，包括虚拟偶像身体部位之间，虚拟偶像之间以及虚拟偶像与虚拟场景和物体之间的碰撞检...

【专利技术属性】
技术研发人员：周湘君，蒋晓光，芦振华，胡文彬，
申请(专利权)人：武汉西山艺创文化有限公司，
类型：发明
国别省市：湖北,42