基于人工智能的虚拟现实人机交互方法及系统技术方案

本发明专利技术公开了一种基于人工智能的虚拟现实人机交互方法及系统，涉及虚拟现实技术领域，其通过在采集到用户输入的数字人语音控制信号后，在后端将该语音控制信号转化为语音控制文本，并引入语义理解和处理技术来进行语音控制文本的语义识别，以此来生成数字人动作控制指令，这样，能够实现用户通过语音发送指令，数字角色能够根据指令做出相应的动作和对话效果，增强了虚拟现实体验的沉浸感和真实感

【技术实现步骤摘要】
基于人工智能的虚拟现实人机交互方法及系统


[0001]本申请涉及虚拟现实
，且更为具体地，涉及一种基于人工智能的虚拟现实人机交互方法及系统
。

技术介绍

[0002] 虚拟现实（
Virtual Reality
，简称
VR
）是一种通过计算机生成的模拟环境，用户可以身临其境地感受和交互其中
。
虚拟现实人机交互是指通过虚拟现实技术实现人与计算机之间的交互，其目标是提供一种沉浸式
、
自然而直观的交互体验，使用户能够以更加自然的方式与虚拟环境进行交互和操作
。
传统的人机交互方式，如键盘
、
鼠标和触摸屏等，对于虚拟现实环境来说不够直观和自然
。
因此，虚拟现实人机交互致力于开发更加智能
、
自适应的交互方式，使用户能够通过自己的身体动作
、
语音
、
手势等与虚拟环境进行交互
。
[0003]在虚拟现实人机交互过程中，语音控制成为一种重要的交互方式
。
通过语音指令，用户可以与虚拟现实环境中的数字角色进行沟通和互动
。
这需要将用户的语音输入转化为可理解的指令，并使得数字角色能够根据指令做出相应的动作和对话效果
。
[0004]然而，现有的虚拟现实人机交互方案中，语音识别技术在识别用户的语音指令时可能存在误解或错误，这可能导致数字角色无法正确理解用户的意图，从而无法做出正确的动作和对话效果
。
并且，在某些情况下，现有方案还可能存在延迟或不及时响应的问题，这会导致用户在语音交互过程中感受到明显的延迟或不连贯性，降低了交互的实时性和流畅性
。
此外，现有虚拟现实人机交互方案可能无法满足不同用户的个体差异和需求
。
例如，对于具有口音或不同语言习惯的用户，语音识别技术可能存在困难，导致交互效果不佳
。
[0005]因此，期望一种基于人工智能的虚拟现实人机交互方案
。

技术实现思路

[0006]为了解决上述技术问题，提出了本申请
。
本申请的实施例提供了一种基于人工智能的虚拟现实人机交互方法及系统，其通过在采集到用户输入的数字人语音控制信号后，在后端将该语音控制信号转化为语音控制文本，并引入语义理解和处理技术来进行语音控制文本的语义识别，以此来生成数字人动作控制指令，这样，能够实现用户通过语音发送指令，数字角色能够根据指令做出相应的动作和对话效果，增强了虚拟现实体验的沉浸感和真实感
。
同时，在此过程中，引入语义补偿技术来对于语音控制文本进行文本的修正，以避免用户个体差异和语言习惯不同而导致的语音识别效果欠佳问题，提升了用户体验和交互效果
。
[0007]根据本申请的一个方面，提供了一种基于人工智能的虚拟现实人机交互方法，其包括：
[0008]获取由用户输入的数字人语音控制信号；
[0009]对所述数字人语音控制信号进行语义识别以得到语音控制文本；
[0010]对所述语音控制文本进行语义编码以得到语音控制文本语义理解特征，其包括：
[0011]将所述语音控制文本通过基于
AIGC
模型的语义信息补偿器以得到补偿优化语音控制文本；
[0012]对所述补偿优化语音控制文本进行分词处理后通过包含词嵌入层的语义编码器以得到语音控制文本语义理解特征向量作为所述语音控制文本语义理解特征；
[0013]基于所述语音控制文本语义理解特征，生成数字人动作控制指令
。
[0014]根据本申请的另一个方面，提供了一种基于人工智能的虚拟现实人机交互系统，其包括：
[0015]信号获取模块，用于获取由用户输入的数字人语音控制信号；
[0016]语义识别模块，用于对所述数字人语音控制信号进行语义识别以得到语音控制文本；
[0017]语义编码模块，用于对所述语音控制文本进行语义编码以得到语音控制文本语义理解特征；
[0018]控制指令生成模块，用于基于所述语音控制文本语义理解特征，生成数字人动作控制指令
。
[0019]与现有技术相比，本申请提供的一种基于人工智能的虚拟现实人机交互方法及系统，其通过在采集到用户输入的数字人语音控制信号后，在后端将该语音控制信号转化为语音控制文本，并引入语义理解和处理技术来进行语音控制文本的语义识别，以此来生成数字人动作控制指令，这样，能够实现用户通过语音发送指令，数字角色能够根据指令做出相应的动作和对话效果，增强了虚拟现实体验的沉浸感和真实感
。
同时，在此过程中，引入语义补偿技术来对于语音控制文本进行文本的修正，以避免用户个体差异和语言习惯不同而导致的语音识别效果欠佳问题，提升了用户体验和交互效果
。
附图说明
[0020]通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的
、
特征和优势将变得更加明显
。
附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制
。
在附图中，相同的参考标号通常代表相同部件或步骤
。
[0021]图1为根据本申请实施例的基于人工智能的虚拟现实人机交互方法的流程图；
[0022]图2为根据本申请实施例的基于人工智能的虚拟现实人机交互方法的系统架构图；
[0023]图3为根据本申请实施例的基于人工智能的虚拟现实人机交互方法的训练阶段的流程图；
[0024]图4为根据本申请实施例的基于人工智能的虚拟现实人机交互方法的子步骤
S3
的流程图；
[0025]图5为根据本申请实施例的基于人工智能的虚拟现实人机交互方法的子步骤
S4
的流程图；
具体实施方式
[0026]下面，将参考附图详细地描述根据本申请的示例实施例
。
显然，所描述的实施例仅
仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制
。
[0027]如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和
/
或“该”等词并非特指单数，也可包括复数
。
一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素
。
[0028]虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和
/
或服务器上
。
所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块...

【技术保护点】

【技术特征摘要】
1.
一种基于人工智能的虚拟现实人机交互方法，其特征在于，包括：获取由用户输入的数字人语音控制信号；对所述数字人语音控制信号进行语义识别以得到语音控制文本；对所述语音控制文本进行语义编码以得到语音控制文本语义理解特征，其包括：将所述语音控制文本通过基于
AIGC
模型的语义信息补偿器以得到补偿优化语音控制文本；对所述补偿优化语音控制文本进行分词处理后通过包含词嵌入层的语义编码器以得到语音控制文本语义理解特征向量作为所述语音控制文本语义理解特征；基于所述语音控制文本语义理解特征，生成数字人动作控制指令
。2.
根据权利要求1所述的基于人工智能的虚拟现实人机交互方法，其特征在于，对所述补偿优化语音控制文本进行分词处理后通过包含词嵌入层的语义编码器以得到语音控制文本语义理解特征向量作为所述语音控制文本语义理解特征，包括：对所述补偿优化语音控制文本进行分词处理以将所述补偿优化语音控制文本转化为由多个词组成的词序列；使用所述包含词嵌入层的语义编码器的嵌入层分别将所述词序列中各个词映射为词嵌入向量以得到词嵌入向量的序列；使用所述包含词嵌入层的语义编码器的转换器对所述词嵌入向量的序列进行基于转换器思想的全局上下文语义编码以得到多个全局上下文语义特征向量；以及将所述多个全局上下文语义特征向量进行级联以得到所述语音控制文本语义理解特征向量
。3.
根据权利要求2所述的基于人工智能的虚拟现实人机交互方法，其特征在于，基于所述语音控制文本语义理解特征，生成数字人动作控制指令，包括：将所述语音控制文本语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示动作类型标签；以及基于所述分类结果，生成数字人动作控制指令
。4.
根据权利要求3所述的基于人工智能的虚拟现实人机交互方法，其特征在于，还包括训练步骤：用于对所述包含词嵌入层的语义编码器和所述分类器进行训练
。5.
根据权利要求4所述的基于人工智能的虚拟现实人机交互方法，其特征在于，所述训练步骤，包括：获取训练数据，所述训练数据包括由用户输入的训练数字人语音控制信号，以及，所述动作类型标签的真实值；对所述训练数字人语音控制信号...

【专利技术属性】
技术研发人员：郭勇，苑朋飞，靳世凯，赵存喜，
申请(专利权)人：中影年年北京文化传媒有限公司，
类型：发明
国别省市：