虚拟形象的线上多媒体互动系统及方法技术方案

本申请实施例提供了一种虚拟形象的线上多媒体互动系统及方法，包括通过虚拟形象导入模块导入虚拟形象的虚拟模型；通过数据提取模块以实时提取实际形象的实际视频数据与实际音频数据，并利用数据驱动模块将所述实际视频数据与实际音频数据映射至所述虚拟模型，生成所述虚拟形象的虚拟影音动画，而后在通过虚拟形象输出模块将所述虚拟影音动画实时地输出至流媒体服务器所提供的线上互动服务平台，而以虚拟形象接入所述线上互动服务平台进行多媒体互动直播，借此提高多媒体互动直播的趣味性。

【技术实现步骤摘要】
虚拟形象的线上多媒体互动系统及方法
本申请实施例涉及虚拟动画制作技术及多媒体直播技术，尤其涉及虚拟形象的线上多媒体互动系统及方法。
技术介绍
网络直播技术是一种服务端将主播用户的直播视频数据广播至多个观众用户进行观看的互联网技术，同时还可提供观众用户与主播用户进行互动。然而，在现有技术中，网络直播通常是以主播的实际形象予以展示，若能通过技术手段将虚拟形象接入互联网线上互动平台，而以虚拟形象代替实际形象参与到线上直播互动中，将可极大地提高网络直播的趣味性。
技术实现思路
有鉴于此，本专利技术实施例的主要目的在于提供一种虚拟形象的线上多媒体互动系统及方法，可实现以虚拟行形象代替实际形象接入互联网线上互动平台进行线上的互动直播，以增加线上互动直播的趣味性。本申请实施例提供了一种虚拟形象的线上多媒体互动系统，其特征在于，包括：虚拟形象导入模块，用于导入虚拟形象的虚拟模型；数据提取模块，用于实时提取实际形象的实际视频数据与实际音频数据；数据驱动模块，用于将所述实际视频数据与所述实际音频数据实时映射至所述虚拟模型，生成所述虚拟形象的虚拟影音动画；以及虚拟形象输出模块，用于将所述虚拟影音动画实时地输出至流媒体服务器所提供的线上互动服务平台，而以所述虚拟形象接入所述线上互动服务平台进行多媒体互动直播。可选地，在本申请的任一实施例中，所述数据提取模块还包括：视频提取单元，其用于根据预设的实时图像提取速率提取所述实际形象的所述实际视频数据；以及音频提取单元，其用于提取所述实际形象的所述实际音频数据。可选地，在本申请的任一实施例中，所述实时图像提取速率是根据网络带宽、计算机的处理性能以及网络传输协议而设定。可选地，在本申请的任一实施例中，所述虚拟形象的虚拟影音动画由所述虚拟形象的虚拟影像数据及虚拟声音数据所构成，且所述数据驱动模块还包括：可选地，在本申请的任一实施例中，视频数据处理单元，其用于从所述实际视频数据分解出动作数据以生成动作驱动数据据以驱动所述虚拟模型执行动作，从而生成所述虚拟形象的所述虚拟影像数据；以及音频数据处理单元，其用于针对所述实时音频数据分别进行至少包括音频降噪、音频静音检测、以及音频回声消除的处理，从而生成所述虚拟形象的所述虚拟声音数据。可选地，在本申请的任一实施例中，所述虚拟形象输出模块还包括：影像数据编码单元，其用于针对所述虚拟影像数据进行编码压缩处理，以生成视频压缩数据；声音数据编码单元，其用于针对所述虚拟声音数据进行编码压缩处理，以生成音频压缩数据；数据封装单元，其用于依据所述流媒体服务器所设定的消息传输协议对所述视频压缩数据与所述音频压缩数据进行封装，以生成数据封包；以及数据传输单元，其用于基于所述消息传输协议将所述数据封包传输至所述流媒体服务器所提供的线上互动服务平台。可选地，在本申请的任一实施例中，所述音频数据处理单元所执行的所述音频静音检测操作包括检测所述实时音频数据中具有静音标记的静音音频数据，以令所述声音数据编码单元针对所述静音音频数据不执行所述编码压缩处理。可选地，在本申请的任一实施例中，所述系统还包括信息互动处理模块，其用于提取所述线上互动服务平台中的文字信息，并针对所提取的所述文字信息提供输入反馈信息，且将所述反馈信息输出至所述线上互动服务平台，以提供线上的文字信息互动操作。可选地，在本申请的任一实施例中，所述信息互动处理模块采用网页信息爬取方式以及网络抓包方式中的至少一者提取所述线上互动服务平台中的所述文字信息。可选地，在本申请的任一实施例中，所述系统应用于电子设备中，且所述电子设备中还安装有与所述线上互动服务平台通讯连接的多媒体直播软件，所述虚拟形象输出模块用于将所述虚拟影音动画接入所述多媒体直播软件，以供所述多媒体直播软件将所述虚拟影音动画实时地输出至所述线上互动服务平台，而以所述虚拟形象接入所述线上互动服务平台进行多媒体互动直播。本申请的另一实施例提供一种虚拟形象的线上多媒体互动方法，其特征在于，包括：导入虚拟形象的虚拟模型；实时提取实际形象的实际视频数据与实际音频数据；将所述实际视频数据与所述实际音频数据实时映射至所述虚拟模型，生成所述虚拟形象的虚拟影音动画；以及将所述虚拟影音动画实时地输出至流媒体服务器所提供的线上互动服务平台，而以所述虚拟形象接入所述线上互动服务平台进行多媒体互动直播。可选地，在本申请的任一实施例中，所述方法还包括根据预设的实时图像提取速率提取所述实际形象的所述实际视频数据。可选地，在本申请的任一实施例中，所述方法还包括根据网络带宽、计算机的处理性能以及网络传输协议设定所述实时图像提取速率。可选地，在本申请的任一实施例中，所述虚拟形象的虚拟影音动画由所述虚拟形象的虚拟影像数据及虚拟声音数据所构成，所述方法还包括：从所述实际视频数据分解出动作数据，以生成动作驱动数据并据以驱动所述虚拟模型执行动作，从而生成所述虚拟形象的所述虚拟影像数据；以及针对所述实时音频数据分别进行至少包括音频降噪、音频静音检测、以及音频回声消除的处理，从而生成所述虚拟形象的所述虚拟声音数据。可选地，在本申请的任一实施例中，所述方法还包括：针对所述虚拟影像数据进行编码压缩处理，以生成视频压缩数据；针对所述虚拟声音数据进行编码压缩处理，以生成音频压缩数据；依据所述流媒体服务器所设定的消息传输协议对所述视频压缩数据与所述音频压缩数据进行封装，以生成数据封包；以及基于所述消息传输协议将所述数据封包传输至所述流媒体服务器所提供的线上互动服务平台。可选地，在本申请的任一实施例中，所述音频静音检测操作包括检测所述实时音频数据中具有静音标记的静音音频数据，且针对所述静音音频数据不执行所述编码压缩处理。可选地，在本申请的任一实施例中，所述方法还包括提取所述线上互动服务平台中的文字信息，并针对所提取的所述文字信息提供输入反馈信息，且将所述反馈信息输出至所述线上互动服务平台，以提供线上的文字信息互动操作。可选地，在本申请的任一实施例中，所述方法应用于安装有多媒体直播软件的电子设备中，且所述方法还包括将所述虚拟影音动画接入所述多媒体直播软件，以供所述多媒体直播软件将所述虚拟影音动画实时地输出至所述线上互动服务平台，而以所述虚拟形象接入所述线上互动服务平台进行多媒体互动直播。本申请实施例所提供的虚拟形象的线上多媒体互动系统及方法，通过导入虚拟形象的虚拟模型，并将实时提取的实际形象的实际视频数据与实际音频数据映射至所述虚拟模型中，以实时生成所述虚拟形象的虚拟影音动画，并通过将所述虚拟影像动画传输至线上互动服务平台，从而实现以虚拟形象代替实际形象而接入线上互动服务平台进行多媒体互动直播，借以提供虚拟形象与直播互动对象可互相感知的声音、影像以及文字内容，从而提升多媒体互动直播的趣味性。附图说明后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：图1是根据本申请一实施例所示的虚拟形象的线上多媒体互动系统的基本架构示意图；图2为显示图1所示的虚拟形象的线上多媒体互动系统的实施例架构示意图；图3为根据本申请的另一实施例所示的虚拟形象的线上多媒体互动方法的基本流程示意图；以及图4本文档来自技高网...

【技术保护点】
1.一种虚拟形象的线上多媒体互动系统，其特征在于，包括：虚拟形象导入模块，用于导入虚拟形象的虚拟模型；数据提取模块，用于实时提取实际形象的实际视频数据与实际音频数据；数据驱动模块，用于将所述实际视频数据与所述实际音频数据实时映射至所述虚拟模型，生成所述虚拟形象的虚拟影音动画；以及虚拟形象输出模块，用于将所述虚拟影音动画实时地输出至流媒体服务器所提供的线上互动服务平台，而以所述虚拟形象接入所述线上互动服务平台进行多媒体互动直播。

【技术特征摘要】
1.一种虚拟形象的线上多媒体互动系统，其特征在于，包括：虚拟形象导入模块，用于导入虚拟形象的虚拟模型；数据提取模块，用于实时提取实际形象的实际视频数据与实际音频数据；数据驱动模块，用于将所述实际视频数据与所述实际音频数据实时映射至所述虚拟模型，生成所述虚拟形象的虚拟影音动画；以及虚拟形象输出模块，用于将所述虚拟影音动画实时地输出至流媒体服务器所提供的线上互动服务平台，而以所述虚拟形象接入所述线上互动服务平台进行多媒体互动直播。2.根据权利要求1所述的虚拟形象的线上多媒体互动系统，其特征在于，所述数据提取模块还包括：视频提取单元，其用于根据预设的实时图像提取速率提取所述实际形象的所述实际视频数据；以及音频提取单元，其用于提取所述实际形象的所述实际音频数据。3.根据权利要求2所述的虚拟形象的线上多媒体互动系统，其特征在于，所述实时图像提取速率是根据网络带宽、计算机的处理性能以及网络传输协议而设定。4.根据权利要求2所述的虚拟形象的线上多媒体互动系统，其特征在于，所述虚拟形象的虚拟影音动画由所述虚拟形象的虚拟影像数据及虚拟声音数据所构成，且所述数据驱动模块还包括：视频数据处理单元，其用于从所述实际视频数据分解出动作数据以生成动作驱动数据据以驱动所述虚拟模型执行动作，从而生成所述虚拟形象的所述虚拟影像数据；以及音频数据处理单元，其用于针对所述实时音频数据分别进行至少包括音频降噪、音频静音检测、以及音频回声消除的处理，从而生成所述虚拟形象的所述虚拟声音数据。5.根据权利要求4所述的虚拟形象的线上多媒体互动系统，其特征在于，所述虚拟形象输出模块还包括：影像数据编码单元，其用于针对所述虚拟影像数据进行编码压缩处理，以生成视频压缩数据；声音数据编码单元，其用于针对所述虚拟声音数据进行编码压缩处理，以生成音频压缩数据；数据封装单元，其用于依据所述流媒体服务器所设定的消息传输协议对所述视频压缩数据与所述音频压缩数据进行封装，以生成数据封包；以及数据传输单元，其用于基于所述消息传输协议将所述数据封包传输至所述流媒体服务器所提供的线上互动服务平台。6.根据权利要求5所述的虚拟形象的线上多媒体互动系统，其特征在于，所述音频数据处理单元所执行的所述音频静音检测操作包括检测所述实时音频数据中具有静音标记的静音音频数据，以令所述声音数据编码单元针对所述静音音频数据不执行所述编码压缩处理。7.根据权利要求1所述的虚拟形象的线上多媒体互动系统，其特征在于，所述系统还包括信息互动处理模块，其用于提取所述线上互动服务平台中的文字信息，并针对所提取的所述文字信息提供输入反馈信息，且将所述反馈信息输出至所述线上互动服务平台，以提供线上的文字信息互动操作。8.根据权利要求7所述的虚拟形象的线上多媒体互动系统，其特征在于，所述信息互动处理模块采用网页信息爬取方式以及网络抓包方式中的至少一者提取所述线上互动服务平台中的所述文字信息。9.根据权利要求1所述的虚拟形象的线上多媒体互动系统，其特征在于，所...

【专利技术属性】
技术研发人员：刘岩，刘勇，
申请(专利权)人：北京蜜枝科技有限公司，
类型：发明
国别省市：北京,11