基于可编辑三维虚拟形象生成直播视频流的方法和系统技术方案

本发明专利技术公开了一种基于可编辑三维虚拟形象生成直播视频流的方法和系统，涉及计算机的技术领域，旨在视频直播中虚拟对象的设置在吸引力、互动性、多样性和适应性方面所存在的技术问题。本发明专利技术建立有三维虚拟形象库，通过将三维虚拟形象拟合到直播终端所提供的直播视频图像中，生成以三维虚拟形象遮挡主播在直播视频图像中自身形象的直播视频流，同时根据用户类型的不同而相应地选择不同的三维虚拟形象。依照本发明专利技术方法所提供的直播视频流，可改善直播主播整体形象不足的问题，使主播能借助直播内容和拟合的虚拟形象相结合而提高对用户的吸引力，同时因为虚拟形象是参考用户特性而相应选择的，能适应用户的多样性。能适应用户的多样性。能适应用户的多样性。

【技术实现步骤摘要】
基于可编辑三维虚拟形象生成直播视频流的方法和系统


[0001]本公开涉及计算机的
，具体而言，涉及一种基于可编辑三维虚拟形象生成直播视频流的方法和系统。

技术介绍

[0002]在目前主流的直播过程中，主要是由真实主播的身体、表情和言语，在结合具体的场景生成直播视频图像。然而，这种直播的流量非常依赖于主播的人气。在一些特殊的场景中，如销售、新闻、知识分享类的直播，往往能提供十分好的内容，但是因为主播的整体形象而导致无法获得更多流量。
[0003]现有技术中，为辅助主播提高直播过程的视觉效果，主播在直播终端可以进行预设的操作，使用户终端上展示预设的特效动画，服务器在直播视频图像上拟合出预设动画，再推送到用户终端。在直播视频流增设虚拟形象，在一定程度上可增加直播的视觉效果。
[0004]但是，由目前的技术也可知，拟合的预设虚拟形象较为固定，不能很好地吸引用户。同时，预设虚拟形象，难以在主播和用户之间建立互动上取得良好的效果。另一方面，用户的喜好复杂，某类预设虚拟形象即使能收到某类用户的偏好，也比较难达到引流的效果。再者，虚拟形象的设置，主要依赖于主播在直播过程中通过弹幕的方式了解用户而相应地操作，无法更为贴近于用户的偏好。

技术实现思路

[0005]有鉴于此，为解决现有技术中视频直播中虚拟对象的设置在吸引力、互动性、多样性和适应性方面所存在的技术问题，本专利技术提供一种基于可编辑三维虚拟形象生成直播视频流的方法和系统。
[0006]在第一方面，为解决上述技术问题，本专利技术采用以下技术方案：一种基于可编辑三维虚拟形象生成直播视频流的方法，应用于包含直播终端、处理平台和用户终端的系统架构中，其中，该方法包括：处理平台从直播终端中获取主播的直播视频图像，并检测直播视频图像中人物的身体姿态和/或脸部表情数据；在处理平台中建立三维虚拟形象库，处理平台从用户终端中获取决策信息，并根据决策信息从三维虚拟形象库中调用目标虚拟形象；处理平台根据身体姿态和/或脸部表情数据将目标虚拟形象处理为二维虚拟图像，并将二维虚拟图像与直播视频图像处理为拟合视频图像，并将由拟合视频图像构成的直播视频流提供给用户终端。
[0007]相比于现有直播领域的方案，本专利技术的方法建立有三维虚拟形象库，通过将三维虚拟形象拟合到直播终端所提供的直播视频图像中，生成以三维虚拟形象遮挡主播在直播视频图像中自身形象的直播视频流，同时根据用户类型的不同而相应地选择不同的三维虚拟形象。依照本专利技术方法所提供的直播视频流，可改善直播主播整体形象不足的问题，使主播能借助直播内容和拟合的虚拟形象相结合而提高对用户的吸引力，同时因为虚拟形象是参考用户特性而相应选择的，能适应用户的多样性。
[0008]上述方法的可选方案中，所述在处理平台中建立三维虚拟形象库包括：所述三维虚拟形象通过够件成套的形象部件、形象部件的组合模型和形象部件的变形模型；所述的检测直播视频图像中人物的身体姿态和/或脸部表情数据包括：检测人物的预设局部，检测各预设局部之间的坐标参数、检测预设局部的变形参数；所述处理平台根据预设局部的变形参数设置目标虚拟形象的形象部件的变形模型，根据各预设局部之间的坐标参数设置目标虚拟形象的形象部件的组合模型，以将目标虚拟形象处理为二维虚拟图像。
[0009]上述方法的可选方案中，所述形象部件的组合模型包括身体姿态组合模型和脸部表情组合模型，所述检测各预设局部之间的坐标参数包括：检测身体局部之间的姿态坐标参数，检测脸部局部之间的表情坐标参数。
[0010]上述方法的可选方案中，该方法还包括：处理平台建立有操作与控制指令集，处理平台从用户终端获取用户操作数据，并根据操作与控制指令集确定控制指令，根据控制指令修改目标虚拟形象的身体姿态和/或脸部表情。
[0011]上述方法的可选方案中，所述用户终端设置有操作指令，所述处理平台预设有三维虚拟形象的驱动指令，并建立有操作指令与驱动指令的映射集合，所述的根据控制指令修改目标虚拟形象的身体姿态和/或脸部表情包括：所述三维虚拟形象由若干形象部件组成，当未响应于所述驱动指令，所述形象部件按照人物的身体姿态和/或脸部表情相组合成目标虚拟形象，当响应于所述驱动指令，至少部分包含在驱动指令中的形象部件按照驱动指令独立设置身体姿态和/或脸部表情，并与其余根据直播视频图像设置的形象部件进行组合成目标虚拟形象。
[0012]相比于现有直播领域的方案，本专利技术的方法是基于三维虚拟形象对直播视频图像的拟合，还能够根据用户的操作相应地驱动目标虚拟形象的动作变化，展示出主播未曾作出的身体姿态或脸部表情变化，实现直播过程互动性的增强，降低主播关注众多弹幕和不同用户反馈的强度，使其更能专注于提供主要直播内容。
[0013]上述方法的可选方案中，所述的处理平台从用户终端中获取决策信息包括：建立用户信息和三维虚拟形象的深度学习系统，处理平台实时获取用户信息，并通过深度学习系统得出三维虚拟形象选择的决策信息。
[0014]上述方法的可选方案中，所述的在处理平台中建立三维虚拟形象库包括：根据用户终端的指令修改已建立的三维虚拟形象，并将已修改的三维虚拟形象保存三维虚拟形象库。
[0015]在第二方面，为解决上述技术问题，本专利技术采用以下技术方案：一种基于可编辑三维虚拟对象生成直播视频流的系统，其中，该系统包括：视频直播模块，用于获取主播的直播视频图像，并相用户发送拟合视频图像；三维虚拟形象库，用于以预设结构存储三维虚拟形象以供调用；虚拟对象设置模块，用于检测直播视频图像中人物的身体姿态和/或脸部表情数据，根据决策信息从三维虚拟形象库中调佣目标虚拟形象，根据身体姿态和/或脸部表情数据将目标虚拟形象处理为二维虚拟图像，将二维虚拟图像与直播视频图像处理为拟合视频图像。
[0016]相比于现有直播领域的方案，本专利技术的系统可设置在处理平台上，能够根据用于类型的差异相应从三维虚拟形象库中选取匹配的三维虚拟形象，并根据直播视频图像所检测的身体姿态或脸部表情数据将三维虚拟形象拟合为直播视频流，实现辅助主播提高直播
的吸引力、互动性、多样性和适应性。
[0017]上述系统的可选方案中，该系统还包括：形象控制指令库，用于以预设映射关系存储操作指令和控制指令；直播管理模块，用于检测用户操作数据并检测是否具有所述操作指令，并根据操作指令在形象控制指令库调用控制指令；形象修改模块，用于控制指令修改已根据据身体姿态和/或脸部表情数据处理的目标虚拟形象。
[0018]上述系统的可选方案中，该系统还包括：决策模块，用于实时获取用户信息并通过深度学习系统得出三维虚拟形象选择的决策信息；用户形象设置模块，用于根据用户终端的指令修改已建立的三维虚拟形象，并将已修改的三维虚拟形象保存三维虚拟形象库。
[0019]在第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可编辑三维虚拟形象生成直播视频流的方法，应用于包含直播终端、处理平台和用户终端的系统架构中，其特征在于，该方法包括：处理平台从直播终端中获取主播的直播视频图像，并检测直播视频图像中人物的身体姿态和/或脸部表情数据；在处理平台中建立三维虚拟形象库，处理平台从用户终端中获取决策信息，并根据决策信息从三维虚拟形象库中调用目标虚拟形象；处理平台根据身体姿态和/或脸部表情数据将目标虚拟形象处理为二维虚拟图像，并将二维虚拟图像与直播视频图像处理为拟合视频图像，并将由拟合视频图像构成的直播视频流提供给用户终端。2.如权利要求1所述的基于可编辑三维虚拟形象生成直播视频流的方法，其特征在于，所述在处理平台中建立三维虚拟形象库包括：所述三维虚拟形象通过够件成套的形象部件、形象部件的组合模型和形象部件的变形模型；所述的检测直播视频图像中人物的身体姿态和/或脸部表情数据包括：检测人物的预设局部，检测各预设局部之间的坐标参数、检测预设局部的变形参数；所述处理平台根据预设局部的变形参数设置目标虚拟形象的形象部件的变形模型，根据各预设局部之间的坐标参数设置目标虚拟形象的形象部件的组合模型，以将目标虚拟形象处理为二维虚拟图像。3.如权利要求2所述的基于可编辑三维虚拟形象生成直播视频流的方法，其特征在于，所述形象部件的组合模型包括身体姿态组合模型和脸部表情组合模型，所述检测各预设局部之间的坐标参数包括：检测身体局部之间的姿态坐标参数，检测脸部局部之间的表情坐标参数。4.如权利要求1所述的基于可编辑三维虚拟形象生成直播视频流的方法，其特征在于，该方法还包括：处理平台建立有操作与控制指令集，处理平台从用户终端获取用户操作数据，并根据操作与控制指令集确定控制指令，根据控制指令修改目标虚拟形象的身体姿态和/或脸部表情。5.如权利要求4所述的基于可编辑三维虚拟形象生成直播视频流的方法，其特征在于，所述用户终端设置有操作指令，所述处理平台预设有三维虚拟形象的驱动指令，并建立有操作指令与驱动指令的映射集合，所述的根据控制指令修改目标虚拟形象的身体姿态和/或脸部表情包括：所述三维虚拟形象由若干形象部...

【专利技术属性】
技术研发人员：胡高生，李韩，庞文刚，邹西山，林金怡，余武，吴伟华，
申请(专利权)人：联通沃音乐文化有限公司，
类型：发明
国别省市：