一种虚拟仿真偶像实时直播方法及系统技术方案

本发明专利技术公开了一种虚拟仿真偶像实时直播方法及系统，该系统包括模型创建模块、数据关联模块及直播模块。该方法包括采用3D扫描技术来得到虚拟仿真偶像角色模型；实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟仿真偶像角色模型进行关联和控制；将虚拟仿真偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟仿真偶像视频画面，然后将实时生成的虚拟仿真偶像视频画面进行直播。通过使用本发明专利技术，满足广大粉丝对与偶像进行互动的体验需求，及解决传统虚拟偶像手调动画僵硬不流畅、真实度低等问题。本发明专利技术作为一种虚拟仿真偶像实时直播方法及系统可广泛应用于直播领域中。

Real time live broadcast method and system for virtual simulation idol

The invention discloses a virtual simulation idol real-time broadcast method and system, which comprises a model creation module, a data association module and a live broadcast module. The method includes using 3D scanning technology to get the virtual idol role model; action of real-time data acquisition and the dynamic sound data, motion data collected and virtual idol role model correlation and control; video screen virtual idol role model and voice data added to the video after the synthesized virtual simulation idol video screen, then the virtual idol real-time video images generated by live. By using the invention, the fans can meet the experience demand of interacting with idols, and solve the problems of stiff, unsmooth and low fidelity of the traditional virtual idol hand tuning animation. As a virtual simulation idol real-time broadcast method and system, the invention can be widely used in the field of live broadcast.

【技术实现步骤摘要】
一种虚拟仿真偶像实时直播方法及系统
本专利技术涉及动画技术和网络直播技术，尤其涉及一种虚拟仿真偶像实时直播方法及系统。
技术介绍
对于偶像文化，其可以说是近年来兴起的文化现象之一，尤其在亚洲地区尤为盛行。其中作为偶像文化的发源地—日本，其兴盛的偶像文化，如从ABK48到偶像大师等各种业界的偶像文化，都是其中的佼佼者。而为了满足广大粉丝的追星需求，通常会提供偶像的周边，如偶像的人型人偶，供粉丝购买。然而，偶像的人型人偶仅为静态物品，因此无法通过偶像的人型人偶来满足粉丝对与偶像互动的体验需求。此外，虽然粉丝可通过参加偶像的见面会或观看偶像真人的直播来满足与偶像互动的体验需求，但是，这对时间和地点的受限性较大。
技术实现思路
为了解决上述技术问题，本专利技术的目的是提供一种虚拟仿真偶像实时直播方法，满足粉丝群众对与偶像互动的体验需求。本专利技术的另一目的是提供一种虚拟仿真偶像实时直播系统，满足粉丝群众对与偶像互动的体验需求。本专利技术所采用的技术方案是：一种虚拟仿真偶像实时直播方法，该方法包括的步骤有：采用3D扫描偶像模型来创建虚拟仿真偶像角色，将创建的虚拟仿真偶像角色导入图形引擎中得到虚拟仿真偶像角色模型；实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟仿真偶像角色模型进行关联，令虚拟仿真偶像角色模型按照动作数据执行相应动作；将虚拟仿真偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟仿真偶像视频画面，然后将实时生成的虚拟仿真偶像视频画面进行直播。进一步，所述采用3D扫描偶像模型来创建虚拟仿真偶像角色这一步骤，其具体包括：采用3D扫描仪对偶像真人进行3D扫描，从而得到3D扫描偶像模型；根据3D扫描偶像模型，从而制作出虚拟仿真偶像的初始角色模型，然后为虚拟仿真偶像的初始角色模型配置贴图和材质后得到所需的虚拟仿真偶像的角色模型；为虚拟仿真偶像的角色模型配置相对应的角色动画骨骼后，将虚拟仿真偶像的角色模型与角色动画骨骼进行绑定以及权重配置，从而完成虚拟仿真偶像角色的创建。进一步，所述将创建的虚拟仿真偶像角色导入图形引擎中得到虚拟仿真偶像角色模型这一步骤，其具体包括：将虚拟仿真偶像的角色模型与角色动画骨骼导入图形引擎中进行整合处理，并且为虚拟仿真偶像的角色模型配置相对应的材质和程序插件，从而得到虚拟仿真偶像角色模型。进一步，所述采用3D扫描偶像模型来创建虚拟仿真偶像角色这一步骤，其还包括：为虚拟仿真偶像的角色模型配置基于物理动力学而制作出的服装。进一步，所述动作数据包括有肢体动作数据和面部表情动作数据，所述实时采集动作者的动作数据，将采集到的动作数据与虚拟仿真偶像角色模型进行关联，令虚拟仿真偶像角色模型按照动作数据执行相应动作这一步骤，其具体包括：利用动作捕捉装置来实时捕捉动作者的肢体动作数据；利用面部表情捕捉器来实时捕捉动作者的面部表情动作数据；将肢体动作数据与虚拟仿真偶像角色模型进行肢体动作关联，将面部表情动作数据与虚拟仿真偶像角色模型进行面部动作关联，令虚拟仿真偶像角色模型按照肢体动作数据和面部表情动作数据执行相应的肢体动作和面部表情动作。本专利技术所采用的另一技术方案是：一种虚拟仿真偶像实时直播系统，该系统包括：模型创建模块，用于采用3D扫描偶像模型来创建虚拟仿真偶像角色，将创建的虚拟仿真偶像角色导入图形引擎中得到虚拟仿真偶像角色模型；数据关联模块，用于实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟仿真偶像角色模型进行关联，令虚拟仿真偶像角色模型按照动作数据执行相应动作；直播模块，用于将虚拟仿真偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟仿真偶像视频画面，然后将实时生成的虚拟仿真偶像视频画面进行直播。进一步，所述模型创建模块具体包括有：扫描模块，用于采用3D扫描仪对偶像真人进行3D扫描，从而得到3D扫描偶像模型；模型制作子模块，用于根据3D扫描偶像模型，从而制作出虚拟仿真偶像的初始角色模型，然后为虚拟仿真偶像的初始角色模型配置贴图和材质后得到所需的虚拟仿真偶像的角色模型；角色创建子模块，用于为虚拟仿真偶像的角色模型配置相对应的角色动画骨骼后，将虚拟仿真偶像的角色模型与角色动画骨骼进行绑定以及权重配置，从而完成虚拟仿真偶像角色的创建；模型生成子模块，用于将创建的虚拟仿真偶像角色导入图形引擎中得到虚拟仿真偶像角色模型。进一步，所述模型生成子模块具体用于将虚拟仿真偶像的角色模型与角色动画骨骼导入图形引擎中进行整合处理，并且为虚拟仿真偶像的角色模型配置相对应的材质和程序插件，从而得到虚拟仿真偶像角色模型。进一步，所述模型创建模块具体还包括有用于为虚拟仿真偶像的角色模型配置基于物理动力学而制作出的服装的配置子模块。进一步，所述动作数据包括有肢体动作数据和面部表情动作数据，所述数据关联模块具体包括：第一数据采集模块，用于实时采集声音数据；第二数据采集模块，用于利用动作捕捉装置来实时捕捉动作者的肢体动作数据；第三数据采集模块，用于利用面部表情捕捉器来实时捕捉动作者的面部表情动作数据；关联控制子模块，用于将肢体动作数据与虚拟仿真偶像角色模型进行肢体动作关联，将面部表情动作数据与虚拟仿真偶像角色模型进行面部动作关联，令虚拟仿真偶像角色模型按照肢体动作数据和面部表情动作数据执行相应的肢体动作和面部表情动作。本专利技术的有益效果是：本专利技术的方法通过采用基于3D扫描技术得到的3D扫描偶像模型来生成获得虚拟仿真偶像角色模型，然后实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟仿真偶像角色模型进行关联，令虚拟仿真偶像角色模型按照动作数据执行相应动作，接着将虚拟仿真偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟仿真偶像视频画面，然后将实时生成的虚拟仿真偶像视频画面进行直播。由此可见，本专利技术的方法以虚拟仿真偶像来实现直播，这样不仅能大大满足广大粉丝对与偶像进行互动的体验需求，解决传统直播中很少有明星偶像的问题，而且还能解决传统网络直播平台仅以真人形式来实现直播互动的问题，令网络直播平台的互动方式多样化，提高观众的交互体验感。此外，通过实时采集动作者的动作数据来控制驱动虚拟仿真偶像角色模型执行相对应的动作，能够解决传统虚拟偶像手调动画动作僵硬不流畅、面部表情僵硬、真实度低等问题。本专利技术的另一有益效果是：本专利技术的系统通过模型创建模块采用基于3D扫描技术得到的3D扫描偶像模型来生成获得虚拟仿真偶像角色模型，然后数据关联模块来将采集到的动作数据与虚拟仿真偶像角色模型进行关联，令虚拟仿真偶像角色模型按照动作数据执行相应动作，接着直播模块将虚拟仿真偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟仿真偶像视频画面，然后将实时生成的虚拟仿真偶像视频画面进行直播。由此可见，本专利技术的系统以虚拟仿真偶像来实现直播，这样不仅能大大满足广大粉丝对与偶像进行互动的体验需求，解决传统直播中很少有明星偶像的问题，而且还能解决传统网络直播平台仅以真人形式来实现直播互动的问题，令网络直播平台的互动方式多样化，提高观众的交互体验感。此外，通过实时采集动作者的动作数据来控制驱动虚拟仿真偶像角色模型执行相对应的动作，能够解决传统虚拟偶像手调动画动作僵硬不流畅、面部表情僵硬、真实度低等问题。附图说明图1是本本文档来自技高网...

【技术保护点】
一种虚拟仿真偶像实时直播方法，其特征在于：该方法包括的步骤有：采用3D扫描偶像模型来创建虚拟仿真偶像角色，将创建的虚拟仿真偶像角色导入图形引擎中得到虚拟仿真偶像角色模型；实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟仿真偶像角色模型进行关联，令虚拟仿真偶像角色模型按照动作数据执行相应动作；将虚拟仿真偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟仿真偶像视频画面，然后将实时生成的虚拟仿真偶像视频画面进行直播。

【技术特征摘要】
1.一种虚拟仿真偶像实时直播方法，其特征在于：该方法包括的步骤有：采用3D扫描偶像模型来创建虚拟仿真偶像角色，将创建的虚拟仿真偶像角色导入图形引擎中得到虚拟仿真偶像角色模型；实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟仿真偶像角色模型进行关联，令虚拟仿真偶像角色模型按照动作数据执行相应动作；将虚拟仿真偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟仿真偶像视频画面，然后将实时生成的虚拟仿真偶像视频画面进行直播。2.根据权利要求1所述一种虚拟仿真偶像实时直播方法，其特征在于：所述采用3D扫描偶像模型来创建虚拟仿真偶像角色这一步骤，其具体包括：采用3D扫描仪对偶像真人进行3D扫描，从而得到3D扫描偶像模型；根据3D扫描偶像模型，从而制作出虚拟仿真偶像的初始角色模型，然后为虚拟仿真偶像的初始角色模型配置贴图和材质后得到所需的虚拟仿真偶像的角色模型；为虚拟仿真偶像的角色模型配置相对应的角色动画骨骼后，将虚拟仿真偶像的角色模型与角色动画骨骼进行绑定以及权重配置，从而完成虚拟仿真偶像角色的创建。3.根据权利要求2所述一种虚拟仿真偶像实时直播方法，其特征在于：所述将创建的虚拟仿真偶像角色导入图形引擎中得到虚拟仿真偶像角色模型这一步骤，其具体包括：将虚拟仿真偶像的角色模型与角色动画骨骼导入图形引擎中进行整合处理，并且为虚拟仿真偶像的角色模型配置相对应的材质和程序插件，从而得到虚拟仿真偶像角色模型。4.根据权利要求2或3所述一种虚拟仿真偶像实时直播方法，其特征在于：所述采用3D扫描偶像模型来创建虚拟仿真偶像角色这一步骤，其还包括：为虚拟仿真偶像的角色模型配置基于物理动力学而制作出的服装。5.根据权利要求3所述一种虚拟仿真偶像实时直播方法，其特征在于：所述动作数据包括有肢体动作数据和面部表情动作数据，所述实时采集动作者的动作数据，将采集到的动作数据与虚拟仿真偶像角色模型进行关联，令虚拟仿真偶像角色模型按照动作数据执行相应动作这一步骤，其具体包括：利用动作捕捉装置来实时捕捉动作者的肢体动作数据；利用面部表情捕捉器来实时捕捉动作者的面部表情动作数据；将肢体动作数据与虚拟仿真偶像角色模型进行肢体动作关联，将面部表情动作数据与虚拟仿真偶像角色模型进行面部动作关联，令虚拟仿真偶像角色模型按照肢体动作数据和面部表情动作数据执行相应的肢体动作和面部表情动作。6.一种虚拟仿真偶像...

【专利技术属性】
技术研发人员：张海辉，强项，贺子彬，宋佩颖，蒋晓光，
申请(专利权)人：珠海金山网络游戏科技有限公司，珠海西山居移动游戏科技有限公司，
类型：发明
国别省市：广东,44