应用于视频直播平台的虚拟机器人多模态交互方法和系统技术方案

本发明专利技术公开了一种应用于视频直播平台的虚拟机器人多模态交互方法，所述视频直播平台应用接入具备多模态交互能力的虚拟机器人，多模态交互方法包括以下步骤：在预设区域显示具有特定形象的虚拟机器人，进入默认直播辅助模式，实时接收直播间输入的多模态数据和多模态指令；解析所述多模态数据和所述多模态指令，利用所述虚拟机器人的所述多模态交互能力，判别并确定目标直播辅助模式；开启目标直播辅助模式，所述虚拟机器人根据目标直播辅助模式进行多模态交互及展示。本发明专利技术利用直播模式转换展示多方式的多模态交互，提高用户兴趣，保持用户粘性，改善用户体验。

Multi mode interactive method and system for virtual robot applied to video broadcast platform

The virtual robot of the invention discloses a method for video broadcast platform of multi modal interaction method, virtual robot is the video broadcast platform application access with multi modal interaction ability, multi modal interaction method comprises the following steps: a virtual robot specific image in the default display area, enter the default broadcast auxiliary mode, multi modal data receive real-time live input and multi mode instruction; analyzing the multimodal data and the multimodal instruction, using the virtual robot in the multimodal interaction, and determine the target discrimination broadcast auxiliary mode; open target live auxiliary mode of the virtual robot according to the target model for multi modal auxiliary live interaction and display. The invention uses live mode conversion to display multi mode multimodal interaction, improve user interest, keep user stickiness and improve user experience.

【技术实现步骤摘要】
应用于视频直播平台的虚拟机器人多模态交互方法和系统
本专利技术涉及互联网直播平台
，尤其涉及一种应用于视频直播平台的虚拟机器人多模态交互方法和系统。
技术介绍
随着网络直播行业的发展，用户可以通过在网络直播平台上观看、做活动等方式领取虚拟奖品，并将获得的虚拟奖品赠送给自己喜欢的主播，进行互动，从而培养用户的观看习惯和平台粘性。然而，在现有的网络直播平台中，监测主播直播状态的系统其尚不完善，并且主播表演方式单一，给用户带来的体验感不佳，因此提高直播平台的智能性，是现在急需解决的重要技术问题。
技术实现思路
为了解决上述技术问题，本申请的实施例首先提供了一种应用于视频直播平台的虚拟机器人多模态交互方法，所述视频直播平台的应用接入虚拟机器人，所述虚拟机器人具备多模态交互能力，所述多模态交互方法包括以下步骤：多模态信息输入步骤，在预设区域显示具有特定形象的虚拟机器人，进入默认直播辅助模式，实时接收直播间输入的多模态数据和多模态指令；数据处理与模式判别步骤，解析所述多模态数据和/或所述多模态指令，利用所述虚拟机器人的所述多模态交互能力，判别并确定目标直播辅助模式；多模态交互信息输出步骤，开启目标直播辅助模式，所述虚拟机器人根据目标直播辅助模式进行多模态交互及展示。优选地，所述数据处理与模式判别包括：接收直播过程中的所述多模态数据，提取针对所述虚拟机器人的唤醒数据；进入与所述唤醒数据匹配的其中一种多模态交互模式中，并执行当前多模态交互模式下多模态交互及展示动作。优选地，所述多模态交互模式包括：对话模式、表演基本模式、与观众交互模式和与其他虚拟机器人交互模式。优选地，在所述数据处理与模式判别中，进一步，获取主播的针对模式转换设置的所述多模态指令；解析并响应所述模式转换设置，从当前多模态交互模式切换至其他多模态交互模式即目标直播辅助模式。优选地，所述多模态数据和/或多模态指令包括：文字信息、语音信息、视觉信息、控制命令信息及其组合信息的一种或多种。另一方面，本申请的实施例提出了一种存储介质，其上存储有可执行以上任一项所述的方法步骤的程序代码。另一方面，本申请的实施例又提供了一种应用于视频直播平台的虚拟机器人多模态交互系统，所述视频直播平台的应用接入虚拟机器人，所述虚拟机器人具备多模态交互能力，所述多模态交互系统包括以下模块：多模态信息输入模块，在预设区域显示具有特定形象的虚拟机器人，进入默认直播辅助模式，实时接收直播间输入的多模态数据和多模态指令；数据处理与模式判别模块，解析所述多模态数据和所述多模态指令，利用所述虚拟机器人的所述多模态交互能力，判别并确定目标直播辅助模式；多模态交互信息输出模块，开启目标直播辅助模式，所述虚拟机器人根据目标直播辅助模式进行多模态交互及展示。优选地，在所述数据处理与模式判别模块中，基于所述多模态数据，提取针对所述虚拟机器人的唤醒数据；进入与所述唤醒数据匹配的其中一种多模态交互模式，并执行当前多模态交互模式下多模态交互及展示动作。优选地，所述多模态交互模式包括：对话模式、表演基本模式、与观众交互模式和与其他虚拟机器人交互模式。优选地，在所述数据处理与模式判别模块中，进一步，获取主播的针对模式转换设置的所述多模态指令；解析并响应所述模式转换设置，从当前多模态交互模式切换至其他多模态交互模式即目标直播辅助模式。优选地，所述所模态数据和/或所述多模态指令包括：文字信息、语音信息、视觉信息、控制命令信息及其组合信息的一种或多种。与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：本专利技术实施例提供了一种通过虚拟机器人来辅助主播进行直播工作的解决方案，该方案使虚拟机器人根据确定的直播辅助模式来展示多模态交互，能够提高用户的兴趣，保持和用户的粘性，改善了用户体验。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术的技术方案而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。附图说明附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。图1为本申请实施例的网络直播平台多模态交互应用场景示意图。图2a为本申请实施例的网络直播平台多模态交互系统的捧哏模式场景示意图。图2b为本申请实施例的网络直播平台多模态交互系统的缓冲及表演基本模式场景示意图。图2c为本申请实施例的网络直播平台多模态交互系统的与观众交互模式场景示意图。图2d为本申请实施例的网络直播平台多模态交互系统的与另一虚拟机器人连麦模式场景示意图。图2e为本申请实施例的网络直播平台多模态交互系统的与其他虚拟机器人交互模式场景示意图。图3为本申请实施例的网络直播平台多模态交互系统的结构示意图。图4为本申请实施例的网络直播平台多模态交互系统的模式转换图。图5为本申请实施例的网络直播平台多模态交互系统的模块框图。图6为本申请实施例的网络直播平台多模态交互系统中侧脸检测模块522的模块框图。图7为本申请实施例的网络直播平台多模态交互系统中实现侧脸检测功能的流程图。图8为本申请实施例的网络直播平台多模态交互系统的语音识别模块524的模块框图。图9为本申请实施例的网络直播平台多模态交互系统中实现语音识别功能的流程图。图10为本申请实施例的网络直播平台多模态交互系统的模式判别模块523的模块框图。图11为本申请实施例的网络直播平台多模态交互系统的语义分析模块525的模块框图。图12为本申请实施例的网络直播平台多模态交互系统中实现语义分析功能的流程图。具体实施方式以下将结合附图及实施例来详细说明本专利技术的实施方式，借此对本专利技术如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。图1为本申请实施例的网络直播平台多模态交互系统的应用场景示意图。如图1所示，上述系统应用于网络直播平台300中，在该系统应用前，需要在主播设备120上安装直播类应用软件，由主播111打开上述直播软件，主动发起直播任务，进入直播间平台300进行直播表演。另外，观众用户(211……21n)需要在其用户设备(221……22n)上安装与主播设备121中具有相同名称的直播类应用软件，用户(211……21n)可在其设备(221……22n)中输入直播间网址，通过互联网进入到直播间平台300中，用户(211……21n)通过直播间用户显示界面(2211……22n1)观看主播111的直播表演。需要说明的是，本申请针对用户设备(221……22n)和主播设备121的类型也不做具体限定，可以是例如：智能手机、计算机、平板电脑等设备。进一步说，当主播111打开直播类应用软件，并发起直播命令后，直播类应用软件将直播间主播显示界面1211显示在主播设备12本文档来自技高网...

【技术保护点】
一种应用于视频直播平台的虚拟机器人多模态交互方法，其特征在于，所述视频直播平台的应用接入虚拟机器人，所述虚拟机器人具备多模态交互能力，所述多模态交互方法包括以下步骤：多模态信息输入步骤，在预设区域显示具有特定形象的虚拟机器人，进入默认直播辅助模式，实时接收直播间输入的多模态数据和多模态指令；数据处理与模式判别步骤，解析所述多模态数据和/或所述多模态指令，利用所述虚拟机器人的所述多模态交互能力，判别并确定目标直播辅助模式；多模态交互信息输出步骤，开启目标直播辅助模式，所述虚拟机器人根据目标直播辅助模式进行多模态交互及展示。

【技术特征摘要】
1.一种应用于视频直播平台的虚拟机器人多模态交互方法，其特征在于，所述视频直播平台的应用接入虚拟机器人，所述虚拟机器人具备多模态交互能力，所述多模态交互方法包括以下步骤：多模态信息输入步骤，在预设区域显示具有特定形象的虚拟机器人，进入默认直播辅助模式，实时接收直播间输入的多模态数据和多模态指令；数据处理与模式判别步骤，解析所述多模态数据和/或所述多模态指令，利用所述虚拟机器人的所述多模态交互能力，判别并确定目标直播辅助模式；多模态交互信息输出步骤，开启目标直播辅助模式，所述虚拟机器人根据目标直播辅助模式进行多模态交互及展示。2.根据权利要求1所述的方法，其特征在于，所述数据处理与模式判别包括：接收直播过程中的所述多模态数据，提取针对所述虚拟机器人的唤醒数据；进入与所述唤醒数据匹配的其中一种多模态交互模式中，并执行当前多模态交互模式下多模态交互及展示动作。3.根据权利要求1或2所述的方法，其特征在于，所述多模态交互模式包括：对话模式、表演基本模式、与观众交互模式和与其他虚拟机器人交互模式。4.根据权利要求2或3所述的方法，其特征在于，在所述数据处理与模式判别中，进一步，获取主播的针对模式转换设置的所述多模态指令；解析并响应所述模式转换设置，从当前多模态交互模式切换至其他多模态交互模式即目标直播辅助模式。5.根据权利要求4所述的方法，其特征在于，所述多模态数据和/或多模态指令包括：文字信息、语音信息、视觉信息、控制命令信息及其组合信息的一种或多种。6.一种存储介质，其上存储有可执行如权利要...

【专利技术属性】
技术研发人员：黄钊，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京,11