本发明专利技术提供一种虚拟人物直播方法、装置、电子设备及存储介质，通过实时获取弹幕信息，基于弹幕信息进行行为决策，得到行为决策结果，其中，行为决策包括语言决策、面部决策、肢体决策中的至少一种，基于行为决策结果，生成行为决策结果对应的行为信号，基于行为信号，生成虚拟人物的直播视频。通过这样的方式，可以基于弹幕信息，获取行为信号，进而生成虚拟人物的直播视频，即直播视频是基于观众发送的弹幕信息生成的，观众可以看到虚拟人物做出与弹幕信息对应的行为和/或说出与弹幕信息对应的语言，实现了在不依赖真人驱动虚拟人物的情况下，提高虚拟人物与观众之间的互动性。提高虚拟人物与观众之间的互动性。提高虚拟人物与观众之间的互动性。
【技术实现步骤摘要】
虚拟人物直播方法、装置、电子设备及存储介质
[0001]本专利技术涉及计算机
，尤其涉及一种虚拟人物直播方法、装置、电子设备及存储介质。
技术介绍
[0002]目前，随着计算机技术的发展，用户（观众）可以通过观看直播的方式进行学习、购物等活动，极大地丰富了人们的生活。
[0003]虚拟人物直播是直播的一种形式，虚拟人物直播的方式包括：第一种方式，虚拟人物按照预先获取的文稿进行广播，观众可以听见虚拟人物广播的文稿，但是虚拟人物与观众之间没有互动。为了提高虚拟人物与观众之间的互动性，可以采用虚拟人物直播的第二种方式，也就是由真人对虚拟人物的表情、动作等行为进行驱动，观众可以看见虚拟人物在直播，但实际上是真人在进行直播，可见第二种方式耗费了大量的人力。
[0004]因此，如何在不依赖真人驱动虚拟人物的情况下，提高虚拟人物与观众之间的互动性的问题是目前业界亟待解决的重要课题。
技术实现思路
[0005]本专利技术提供一种虚拟人物直播方法、装置、电子设备及存储介质，用以解决现有技术中在虚拟人物直播的过程中，需要依赖真人对虚拟人物进行驱动的缺陷，实现在不依赖真人驱动虚拟人物的情况下，提高虚拟人物与观众之间的互动性。
[0006]本专利技术提供一种虚拟人物直播方法，方法包括：实时获取弹幕信息；基于所述弹幕信息进行行为决策，得到行为决策结果，其中，所述行为决策包括语言决策、面部决策、肢体决策中的至少一种；基于所述行为决策结果，生成所述行为决策结果对应的行为信号；基于所述行为信号，生成虚拟人物的直播视频。
[0007]根据本专利技术提供的一种虚拟人物直播方法，所述基于所述弹幕信息进行行为决策，得到行为决策结果的步骤，包括：基于所述弹幕信息进行上层行为决策，得到上层行为决策结果，其中，所述上层行为决策包括上层语言决策、上层面部决策、上层肢体决策中的至少一种；基于所述上层行为决策结果，进行下层行为决策处理。
[0008]根据本专利技术提供的一种虚拟人物直播方法，所述上层行为决策结果包括多种上层行为决策结果；所述基于所述上层行为决策结果，进行下层行为决策处理的步骤，包括：针对每种上层行为决策结果，在该上层行为决策结果指示进行对应的下层行为决策的情况下，进行下层行为决策，得到对应的下层行为决策结果。
[0009]根据本专利技术提供的一种虚拟人物直播方法，所述上层行为决策结果包括上层语言
决策结果；所述在该上层行为决策结果指示进行对应的下层行为决策的情况下，进行下层行为决策，得到对应的下层行为决策结果的步骤，包括：在所述上层语言决策结果指示进行对应的下层语言决策的情况下，基于所述弹幕信息以及预先训练完毕的语言模型，得到下层语言决策结果。
[0010]根据本专利技术提供的一种虚拟人物直播方法，所述基于所述行为决策结果，生成所述行为决策结果对应的行为信号的步骤，包括：基于所述下层语言决策结果以及预先获取的声音模型，得到声音信号。
[0011]根据本专利技术提供的一种虚拟人物直播方法，所述上层行为决策结果包括上层面部决策结果；所述在该上层行为决策结果指示进行对应的下层行为决策的情况下，进行下层行为决策，得到对应的下层行为决策结果的步骤，包括：在所述上层面部决策结果指示进行对应的下层面部决策的情况下，基于所述弹幕信息以及预先训练完毕的面部模型，得到下层面部决策结果。
[0012]根据本专利技术提供的一种虚拟人物直播方法，所述基于所述行为决策结果，生成所述行为决策结果对应的行为信号的步骤，包括：基于所述下层面部决策结果，以及预先获取的面部驱动模型，得到面部驱动信号。
[0013]根据本专利技术提供的一种虚拟人物直播方法，所述面部驱动模型包括嘴部驱动模型和表情驱动模型；所述基于所述下层面部决策结果，以及预先获取的面部驱动模型，得到面部驱动信号的步骤，包括：在获取到声音信号后，基于所述下层面部决策结果、所述声音信号以及所述嘴部驱动模型，生成嘴部驱动信息；基于所述下层面部决策结果，以及所述表情驱动模型，生成表情驱动信号；将所述嘴部驱动信息和所述表情驱动信号作为所述面部驱动信号。
[0014]根据本专利技术提供的一种虚拟人物直播方法，所述上层行为决策结果包括上层肢体决策结果；所述在该上层行为决策结果指示进行对应的下层行为决策的情况下，进行下层行为决策，得到对应的下层行为决策结果的步骤，包括：在所述上层肢体决策结果指示进行对应的下层肢体决策的情况下，基于弹幕信息以及预先训练完毕的肢体模型，得到下层肢体决策结果。
[0015]根据本专利技术提供的一种虚拟人物直播方法，所述基于所述行为决策结果，生成所述行为决策结果对应的行为信号的步骤，包括：基于所述下层肢体决策结果，以及预先获取的肢体驱动模型，得到肢体驱动信号。
[0016]根据本专利技术提供的一种虚拟人物直播方法，所述行为信号包括：面部驱动信号、肢体驱动信号和声音信号；所述基于所述行为信号，生成虚拟人物的直播视频的步骤，包括：渲染所述面部驱动信号和所述肢体驱动信号，生成待处理图像；将所述待处理图像，与所述声音信号结合，生成虚拟人物的直播视频。
[0017]本专利技术还提供一种虚拟人物直播装置，装置包括：获取模块，用于实时获取弹幕信息；决策模块，用于基于所述弹幕信息进行行为决策，得到行为决策结果，其中，所述行为决策包括语言决策、面部决策、肢体决策中的至少一种；信号生成模块，用于基于所述行为决策结果，生成所述行为决策结果对应的行为信号；视频生成模块，用于基于所述行为信号，生成虚拟人物的直播视频。
[0018]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述虚拟人物直播方法的步骤。
[0019]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述虚拟人物直播方法的步骤。
[0020]本专利技术提供的虚拟人物直播方法、装置、电子设备及存储介质，通过实时获取弹幕信息，基于弹幕信息进行行为决策，得到行为决策结果，其中，行为决策包括语言决策、面部决策、肢体决策中的至少一种，基于行为决策结果，生成行为决策结果对应的行为信号，基于行为信号，生成虚拟人物的直播视频。通过这样的方式，可以基于弹幕信息，获取行为信号，进而生成虚拟人物的直播视频，即直播视频是基于观众发送的弹幕信息生成的，观众可以看到虚拟人物做出与弹幕信息对应的行为和/或说出与弹幕信息对应的语言，实现了在不依赖真人驱动虚拟人物的情况下，提高虚拟人物与观众之间的互动性。
附图说明
[0021]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1是本专利技术提供的虚拟人物直播方法的流程示意图之一；图2是本专利技术提供的虚拟人物直播装置的结本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种虚拟人物直播方法，其特征在于，所述方法包括：实时获取弹幕信息；基于所述弹幕信息进行行为决策，得到行为决策结果，其中，所述行为决策包括语言决策、面部决策、肢体决策中的至少一种；基于所述行为决策结果，生成所述行为决策结果对应的行为信号；基于所述行为信号，生成虚拟人物的直播视频。2.根据权利要求1所述的一种虚拟人物直播方法，其特征在于，所述基于所述弹幕信息进行行为决策，得到行为决策结果的步骤，包括：基于所述弹幕信息进行上层行为决策，得到上层行为决策结果，其中，所述上层行为决策包括上层语言决策、上层面部决策、上层肢体决策中的至少一种；基于所述上层行为决策结果，进行下层行为决策处理。3.根据权利要求2所述的一种虚拟人物直播方法，其特征在于，所述上层行为决策结果包括多种上层行为决策结果；所述基于所述上层行为决策结果，进行下层行为决策处理的步骤，包括：针对每种上层行为决策结果，在该上层行为决策结果指示进行对应的下层行为决策的情况下，进行下层行为决策，得到对应的下层行为决策结果。4.根据权利要求3所述的一种虚拟人物直播方法，其特征在于，所述上层行为决策结果包括上层语言决策结果；所述在该上层行为决策结果指示进行对应的下层行为决策的情况下，进行下层行为决策，得到对应的下层行为决策结果的步骤，包括：在所述上层语言决策结果指示进行对应的下层语言决策的情况下，基于所述弹幕信息以及预先训练完毕的语言模型，得到下层语言决策结果。5.根据权利要求4所述的一种虚拟人物直播方法，其特征在于，所述基于所述行为决策结果，生成所述行为决策结果对应的行为信号的步骤，包括：基于所述下层语言决策结果以及预先获取的声音模型，得到声音信号。6.根据权利要求3所述的一种虚拟人物直播方法，其特征在于，所述上层行为决策结果包括上层面部决策结果；所述在该上层行为决策结果指示进行对应的下层行为决策的情况下，进行下层行为决策，得到对应的下层行为决策结果的步骤，包括：在所述上层面部决策结果指示进行对应的下层面部决策的情况下，基于所述弹幕信息以及预先训练完毕的面部模型，得到下层面部决策结果。7.根据权利要求6所述的一种虚拟人物直播方法，其特征在于，所述基于所述行为决策结果，生成所述行为决策结果对应的行为信号的步骤，包括：基于所述下层面部决策结果，以及预先获取的面部驱动模型，得到面部驱动信号。8.根据权利要求7所述的...
【专利技术属性】
技术研发人员：陈杰，
申请(专利权)人：北京红棉小冰科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。