一种数字人与虚拟白板的交互方法、系统及存储介质技术方案

本发明专利技术涉及智能技术领域，具体公开了一种数字人与虚拟白板的交互方法、系统及存储介质，通过获取针对目标虚拟白板的演讲语音来进行语音识别及自然语言处理，得到相应的关键情态词，然后利用关键情态词生成语义解析指令来调取针对目标数字人的姿态动作参数和交互规则参数，最后利用姿态动作参数和交互规则参数来控制目标数字人在虚拟世界三维空间中与目标虚拟白板的姿态动作交互，适用于元宇宙中数字人进行讲演、讲课、培训时与虚拟白板交互的场景。本发明专利技术可以实现元宇宙空间中数字人与虚拟白板的高效、深度、协调互动，使数字人在讲解时呈现拟人化的行为状态，提升数字人讲解的表现力和趣味性。现力和趣味性。现力和趣味性。

【技术实现步骤摘要】
一种数字人与虚拟白板的交互方法、系统及存储介质


[0001]本专利技术属于智能交互
，具体涉及一种数字人与虚拟白板的交互方法、系统及存储介质。

技术介绍

[0002]现实世界中，人们在讲话时常常伴随相应的动作、表情来提升讲解的表现力，而在虚拟世界中，虚拟的数字人就缺乏这方面的技术呈现。虚拟白板是元宇宙虚拟世界中常用的虚拟办公或教学工具，在目前的元宇宙场景下，虚拟数字人在数据驱动下进行拟人化讲演、讲课、培训时，仅能做到用单一化的手势指向虚拟白板，无法做到与虚拟白板上的内容产生深度互动，如进行做出相应的动作、表情，或在虚拟白板上对重点内容画线、画圈、打勾等标注，从而影响了数字人讲解的表现力和效果，数字人不具备拟人化的行为状态，行为动作单一、呆板，与白板交互不自然、不协调。

技术实现思路

[0003]本专利技术的目的是提供一种数字人与虚拟白板的交互方法、系统及存储介质，用以解决现有技术中存在的上述问题。
[0004]为了实现上述目的，本专利技术采用以下技术方案：
[0005]第一方面，提供一种数字人与虚拟白板的交互方法，包括：
[0006]获取针对目标虚拟白板的演讲语音；
[0007]对演讲语音进行语音识别处理，得到对应的文本信息，并对所述文本信息进行自然语言处理，提取出关键情态词；
[0008]根据关键情态词确定对应的语义解析指令；
[0009]根据语义解析指令从预置的交互规则库中匹配调取对应的交互规则参数，根据语义解析指令从预置的姿态动作库中匹配调取对应的姿态动作参数；
[0010]根据姿态动作参数和交互规则参数控制目标数字人在虚拟世界三维空间中与目标虚拟白板的姿态动作交互。
[0011]在一个可能的设计中，所述演讲语音包括演讲者的实时演讲语音或者基于预存语音文本的同步播放语音。
[0012]在一个可能的设计中，所述对演讲语音进行语音识别处理，得到对应的文本信息，包括：将演讲语音输入预置的基于深度学习的语音识别模型进行语音识别处理，得到对应的文本信息。
[0013]在一个可能的设计中，所述对文本信息进行自然语言处理，提取出关键情态词，包括：将文本信息输入预置的基于深度学习的自然语言处理模型进行自然语言处理，输出关键情态词。
[0014]在一个可能的设计中，所述根据关键情态词确定对应的语义解析指令，包括：将关键情态词导入语义指令库中进行关联查找，得到与所述关键情态词匹配的语义解析指令，
所述语义指令库中与预存有若干语义解析指令，各语义解析指令分别关联有对应的关键情态词。
[0015]在一个可能的设计中，在根据语义解析指令从预置的交互规则库中匹配调取对应的交互规则参数，根据语义解析指令从预置的姿态动作库中匹配调取对应的姿态动作参数之前，所述方法还包括：根据第一配置指令生成若干交互规则参数，并将各交互规则参数关联相应的语义解析指令后存入姿态动作库中；根据第二配置指令生成若干姿态动作参数，并将各姿态动作参数关联相应的语义解析指令后存入姿态动作库中。
[0016]在一个可能的设计中，所述根据姿态动作参数和交互规则参数控制目标数字人在虚拟世界三维空间中与目标虚拟白板的姿态动作交互，包括：将姿态动作参数和交互规则参数输入基于深度学习的Transformer模型，输出姿态动作交互控制序列，并根据姿态动作交互控制序列控制目标数字人在虚拟世界三维空间中与目标虚拟白板的姿态动作交互。
[0017]第二方面，提供一种数字人与虚拟白板的交互系统，包括获取单元、识别单元、确定单元、调取单元和交互单元，其中：
[0018]获取单元，用于获取针对目标虚拟白板的演讲语音；
[0019]识别单元，用于对演讲语音进行语音识别处理，得到对应的文本信息，并对所述文本信息进行自然语言处理，提取出关键情态词；
[0020]确定单元，用于根据关键情态词确定对应的语义解析指令；
[0021]调取单元，用于根据语义解析指令从预置的交互规则库中匹配调取对应的交互规则参数，根据语义解析指令从预置的姿态动作库中匹配调取对应的姿态动作参数；
[0022]交互单元，用于根据姿态动作参数和交互规则参数控制目标数字人在虚拟世界三维空间中与目标虚拟白板的姿态动作交互。
[0023]第三方面，提供一种数字人与虚拟白板的交互系统，包括：
[0024]存储器，用于存储指令；
[0025]处理器，用于读取所述存储器中存储的指令，并根据指令执行上述第一方面中任意一种所述的方法。
[0026]第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行第一方面中任意一种所述的方法。同时，还提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行第一方面中任意一种所述的方法。
[0027]有益效果：本专利技术通过获取针对目标虚拟白板的演讲语音来进行语音识别及自然语言处理，得到相应的关键情态词，然后利用关键情态词生成语义解析指令来调取针对目标数字人的姿态动作参数和交互规则参数，最后利用姿态动作参数和交互规则参数来控制目标数字人在虚拟世界三维空间中与目标虚拟白板的姿态动作交互，适用于元宇宙中数字人进行讲演、讲课、培训时与虚拟白板交互的场景。本专利技术可以实现元宇宙空间中数字人与虚拟白板的高效、深度、协调互动，使数字人在讲解时呈现拟人化的行为状态，提升数字人讲解的表现力和趣味性。
附图说明
[0028]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0029]图1为本专利技术实施例1中方法的步骤示意图；
[0030]图2为本专利技术实施例2中系统的构成示意图；
[0031]图3为本专利技术实施例3中系统的构成示意图。
具体实施方式
[0032]在此需要说明的是，对于这些实施例方式的说明用于帮助理解本专利技术，但并不构成对本专利技术的限定。本文公开的特定结构和功能细节仅用于描述本专利技术的示例实施例。然而，可用很多备选的形式来体现本专利技术，并且不应当理解为本专利技术限制在本文阐述的实施例中。
[0033]应当理解，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在实施例中的具体含义。
[0034]在下面的描述中提供了特定的细节，以便于对示例实施例的完全理解。然而，本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数字人与虚拟白板的交互方法，其特征在于，包括：获取针对目标虚拟白板的演讲语音；对演讲语音进行语音识别处理，得到对应的文本信息，并对所述文本信息进行自然语言处理，提取出关键情态词；根据关键情态词确定对应的语义解析指令；根据语义解析指令从预置的交互规则库中匹配调取对应的交互规则参数，根据语义解析指令从预置的姿态动作库中匹配调取对应的姿态动作参数；根据姿态动作参数和交互规则参数控制目标数字人在虚拟世界三维空间中与目标虚拟白板的姿态动作交互。2.根据权利要求1所述的一种数字人与虚拟白板的交互方法，其特征在于，所述演讲语音包括演讲者的实时演讲语音或者基于预存语音文本的同步播放语音。3.根据权利要求1所述的一种数字人与虚拟白板的交互方法，其特征在于，所述对演讲语音进行语音识别处理，得到对应的文本信息，包括：将演讲语音输入预置的基于深度学习的语音识别模型进行语音识别处理，得到对应的文本信息。4.根据权利要求1所述的一种数字人与虚拟白板的交互方法，其特征在于，所述对文本信息进行自然语言处理，提取出关键情态词，包括：将文本信息输入预置的基于深度学习的自然语言处理模型进行自然语言处理，输出关键情态词。5.根据权利要求1所述的一种数字人与虚拟白板的交互方法，其特征在于，所述根据关键情态词确定对应的语义解析指令，包括：将关键情态词导入语义指令库中进行关联查找，得到与所述关键情态词匹配的语义解析指令，所述语义指令库中与预存有若干语义解析指令，各语义解析指令分别关联有对应的关键情态词。6.根据权利要求1所述的一种数字人与虚拟白板的交互方法，其特征在于，在根据语义解析指令从预置的交互规则库中匹配调取对应的交互规则参数，根据语义解析指令从预置的姿态动作库中匹配调取对应的姿态动作参数之前，所述方法还包括：根据第一配置指...

【专利技术属性】
技术研发人员：李兵，刘一立，陈波，谢诗星，刘文龙，
申请(专利权)人：碳丝路文化传播成都有限公司，
类型：发明
国别省市：