基于5G通信的虚拟形象直播方法及系统技术方案

本发明专利技术公开了一种基于5G通信的虚拟形象直播方法及系统，其中该方法包括以下步骤：对表演者的动作和声音进行实时捕捉，将捕捉数据通过基于5G通信的网络传送给服务端，其中所述表演者的动作包括肢体动作和表情动作；服务端根据所述动作捕捉数据处理得到虚拟形象模型相应的动作数据，并通过基于5G通信的网络发送给客户端；客户端在图形界面中根据所述动作数据实时渲染虚拟形象模型，并根据所述虚拟形象模型的位移和镜头设置渲染场景。本发明专利技术的实施例至少具有以下有益效果：加快捕捉数据的处理速度，优化直播效果，动态渲染场景；5G通信技术使得捕捉到的大量数据能及时的上传到服务器处理。

【技术实现步骤摘要】
基于5G通信的虚拟形象直播方法及系统
本专利技术涉及虚拟形象直播技术，特别涉及一种基于5G通信的虚拟形象直播方法及系统。
技术介绍
直播的火爆催生了各种直播形式，其中虚拟偶像直播就是新兴的表现形式，逐渐受到了人们的喜爱和追捧。但是现有的虚拟偶像直播受限于动作捕捉数据处理速度，使得直播中背景简单或固定不动，虚拟偶像也多限定于人类形象，内容比较单调，观赏性不佳。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种基于5G通信的虚拟形象直播方法，能够加快处理数据，进而丰富直播内容，提高观赏性。本专利技术还提出一种采用上述基于5G通信的虚拟形象直播方法的基于5G通信的虚拟形象直播系统。根据本专利技术的第一方面实施例的基于5G通信的虚拟形象直播方法，包括以下步骤：S100，对表演者的动作和声音进行实时捕捉，将捕捉数据通过基于5G通信的网络传送给服务端，其中所述表演者的动作包括肢体动作和表情动作；S200，所述服务端根据所述动作捕捉数据处理得到虚拟形象模型相应的动作数据，并通过基于5G通信的网络发送给客户端；S300，所述客户端在图形界面中加载场景及所述虚拟形象模型，根据所述动作数据实时渲染所述虚拟形象模型，并根据所述虚拟形象模型的位移和镜头设置渲染场景。根据本专利技术实施例的基于5G通信的虚拟形象直播方法，至少具有如下有益效果：采集到的捕捉数据交由服务器统一处理转换为虚拟形象的动作数据，能加快捕捉数据的处理速度，优化直播效果，并可以进一步的处理非人类形象的虚拟形象模型，动态渲染场景；5G通信技术使得捕捉到的大量数据能及时的上传到服务器处理。根据本专利技术的一些实施例，所述肢体动作和所述表情动作均由穿戴或贴附在表演者身上若干个的动作捕捉装置来采集。肢体动作和表情动作均由动作捕捉装置采集，动捕数据更精确，虚拟形象模型也就流畅自然。根据本专利技术的一些实施例，所述肢体动作由穿戴或贴附在表演者身上若干个的动作捕捉装置来采集；所述表情动作由摄像头采集，获取包含脸部信息的图片或视频数据发送给服务端。肢体动作处理相对简单，需要的动作捕捉装置也较少只需要关节部位部署就可以；表情动作则需要较多的动作捕捉装置。摄像头采集表情画面，降低了成本。根据本专利技术的一些实施例，所述步骤S200包括：S210,根据所述动作捕捉装置的位置，确定所述虚拟形象模型相应的骨骼；S220，根据预设的规则，判断所述捕捉数据的动作合理性，简化处理并转化生成所述骨骼的相应骨骼动画数据。脸部动作和肢体动作都可以通过动作捕捉装置的采集数据进行转换，转换的数据经过合理性判断和简化处理，能更自然地融合为虚拟形象模型的动作，提升观感，减少冗余动作；更一步可以支持非人类形象的虚拟形象模型。根据本专利技术的一些实施例，所述步骤S200还包括：S230，提取图片或视频数据中的脸部表情特征，根据预设的映射关系，得到所述虚拟形象模型对应的表情动画数据；S240，根据声音中的特征数据，得到所述虚拟形象模型对应的口型变化数据。根据特征提取，映射得到面部相关数据，提供了另一种转换为虚拟形象模型的动作表现的方法，减少了动捕中脸部庞大数量的计算量。根据本专利技术的一些实施例，所述步骤S300包括：S310、根据所述表情动画数据和所述口型变化数据，渲染所述虚拟形像模型的脸部动作表现；S320、根据所述骨骼动画数据，渲染所述虚拟形像模型的肢体动作表现；S330、根据直播间的当前镜头位置朝向和所述虚拟形像模型产生的位移，渲染场景物件。根据表情动画加口型变化处理面部，使得在简化处理下的虚拟形像模型动作更为真实。直播间镜头可调模式灵活观看模式，提升观感。根据本专利技术的第二方面实施例的基于5G通信的虚拟形象直播系统，包括：采集装置，用于实时采集表演者的动作和声音，获取捕捉数据；通信装置，用于通过5G通信技术将所述捕捉数据实时地传送给服务端；转换模块，用于将表演者的捕捉数据转化为虚拟形像模型相应的动作数据；直播接收模块，用于接收所述动作数据，渲染所述虚拟形像模型的动作表现及其所处场景。根据本专利技术实施例的基于5G通信的虚拟形象直播系统，至少具有如下有益效果：采集到的捕捉数据交由服务器统一处理转换为虚拟形象的动作数据，能加快处理速度，优化直播效果，防止因直播接收模块所处硬件限定计算能力不高导致的画面不流畅甚至数据混乱。直播接收模块专注于渲染功能，利于后期优化提升画质及流畅度。根据本专利技术的一些实施例，所述转换模块包括：骨骼动作转换模块，用于根据预设的规则，判断所述捕捉数据在所述虚拟形象模型上的动作合理性，简化处理并转化生成相应骨骼动画数据。对虚拟模型精度要求的场合，脸部表情动作也交由骨骼动作统一处理，渲染出来的效果也会更流畅自然。动作合理性的判断可以进一步扩大虚拟形象的范围，仅之不限于人型模型；简化有利于防止冗余无意义动作，提升观感。根据本专利技术的一些实施例，所述转换模块还包括：表情动作转换模块，用于提取图片或视频数据中的脸部表情特征，根据预设的映射关系，转换成所述虚拟形像模型相应的表情动画数据；口型处理模块，用于提取所述声音数据的特征，得到所述虚拟形象对应的口型变化数据。对虚拟模型精度要求不高的场合，上述两种处理方式大量减少数据计算，提升效率，简化处理流程。根据本专利技术的一些实施例，所述采集装置包括：声音采集装置、动作捕捉感应装置及摄像装置。多种数据采集方式，操作更为灵活。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1为本专利技术实施例的方法的主要步骤流程示意图；图2为本专利技术实施例中表情动作由动作捕捉进行直播的步骤流程示意图；图3为本专利技术实施例中表情动作由摄像采集进行直播的步骤流程示意图；图4为本专利技术实施例的系统示意框图。附图标记：采集装置100、通信装置200、转换模块300、直播接收模块400、骨骼动作转换模块310、表情动作转换模块320、口型处理模块330。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。参照图1，本专利技术的实施例的方法，包括以下主要步骤：S100，对表演者的动作和声音进行实时捕捉，将捕捉数据通过基于5G通信的网络传送给服务端，其中表演者的动作包括肢体动作和表情动作；S200，服务端根据动作捕捉数据处理得到虚拟形象模型相应的动作数据，并通过基于5G通信的网络发送给客户端；S300，客户端在图形界面中加载场景及虚拟形象模型，根据动作数据实时渲染虚拟形象模型，并根据虚拟形象模型的位移和镜头设置渲染场景。可以理解的是，直播内容还包括表演者声音。在本专利技术的一些实施例中，肢体动作和表情动作均由穿戴或贴附在表演者身上若干个的动作捕捉装置来采集。可以理解的是，肢体动作的采集可以仅本文档来自技高网...

【技术保护点】
1.一种基于5G通信的虚拟形象直播方法，其特征在于，包括以下步骤：/nS100，对表演者的动作和声音进行实时捕捉，将捕捉数据通过基于5G通信的网络传送给服务端，其中所述表演者的动作包括肢体动作和表情动作；/nS200，所述服务端根据所述动作捕捉数据处理得到虚拟形象模型相应的动作数据，并通过基于5G通信的网络发送给客户端；/nS300，所述客户端在图形界面中根据所述动作数据实时渲染虚拟形象模型，并根据所述虚拟形象模型的位移和镜头设置渲染场景。/n

【技术特征摘要】
1.一种基于5G通信的虚拟形象直播方法，其特征在于，包括以下步骤：
S100，对表演者的动作和声音进行实时捕捉，将捕捉数据通过基于5G通信的网络传送给服务端，其中所述表演者的动作包括肢体动作和表情动作；
S200，所述服务端根据所述动作捕捉数据处理得到虚拟形象模型相应的动作数据，并通过基于5G通信的网络发送给客户端；
S300，所述客户端在图形界面中根据所述动作数据实时渲染虚拟形象模型，并根据所述虚拟形象模型的位移和镜头设置渲染场景。


2.根据权利要求1所述的基于5G通信的虚拟形象直播方法，其特征在于，所述肢体动作和所述表情动作均由穿戴或贴附在表演者身上若干个的动作捕捉装置来采集。


3.根据权利要求1所述的基于5G通信的虚拟形象直播方法，其特征在于，所述肢体动作由穿戴或贴附在表演者身上若干个的动作捕捉装置来采集；所述表情动作由摄像头采集，获取包含脸部信息的图片或视频数据发送给服务端。


4.根据权利要求2或3所述的基于5G通信的虚拟形象直播方法，其特征在于，所述步骤S200包括：
S210,根据所述动作捕捉装置的位置，确定所述虚拟形象模型相应的骨骼；
S220，根据预设的规则，判断所述捕捉数据的动作合理性，简化处理并转化生成所述骨骼的相应骨骼动画数据。


5.根据权利要求3所述的基于5G通信的虚拟形象直播方法，其特征在于，所述步骤S200还包括：
S230，提取图片或视频数据中的脸部表情特征，根据预设的映射关系，得到所述虚拟形象模型对应的表情动画数据；
S240，根据声音中的特征数据，得到所述虚拟...

【专利技术属性】
技术研发人员：贺子彬，周湘君，杜庆焜，胡文彬，
申请(专利权)人：武汉西山艺创文化有限公司，
类型：发明
国别省市：湖北;42