基于脑信号的数字人交互方法、装置、设备及存储介质制造方法及图纸

本公开提供了一种基于脑信号的数字人交互方法、装置、设备及存储介质，涉及计算机技术领域，尤其涉及人工智能技术领域。具体实现方案为：获取脑电波采集设备采集的待测对象的脑信号，对脑信号进行识别，得到待测对象所要表达的文本内容和情绪内容，根据文本内容与情绪内容，驱动数字人按照文本内容输出语音，并输出与情绪内容匹配的表情行为。如此，驱动数字人以人物形象为主体，采用语音的形式来输出待测对象所要表达的意思，并为数字人增加相匹配的表情行为，能够在无需感官或者感官失灵的情况下，辅助待测对象做语言表达和情绪表达，从而实现了待测对象与其他用户之间的交流，提升了数字人交互的效果。了数字人交互的效果。了数字人交互的效果。

【技术实现步骤摘要】
基于脑信号的数字人交互方法、装置、设备及存储介质


[0001]本公开涉及计算机
，尤其涉及人工智能
，具体涉及一种基于脑信号的数字人交互方法、装置、设备及存储介质。

技术介绍

[0002]在医疗领域中，针对由于严重声带和肢体瘫痪而交流受限的失语瘫痪患者，为了方便患者家人和医护人员清楚明白的知晓患者所要表达的意思，通常需要通过脑机接口技术来恢复患者所应该有的交流能力。

技术实现思路

[0003]本公开提供了一种基于脑信号的数字人交互方法、装置、设备及存储介质。
[0004]根据本公开的一方面，提供了一种基于脑信号的数字人交互方法，该方法包括：
[0005]获取脑电波采集设备采集的待测对象的脑信号，该脑信号与该待测对象所要表达的文本内容和情绪内容相关；
[0006]对该脑信号进行识别，得到该待测对象所要表达的文本内容和情绪内容；
[0007]根据该文本内容与该情绪内容，驱动数字人按照该文本内容输出语音，并输出与该情绪内容匹配的表情行为。
[0008]根据本公开的另一方面，提供了一种基于脑信号的数字人交互装置，该装置包括：
[0009]获取模块，用于获取脑电波采集设备采集的待测对象的脑信号，该脑信号与该待测对象所要表达的文本内容和情绪内容相关；
[0010]识别模块，用于对该脑信号进行识别，得到该待测对象所要表达的文本内容和情绪内容；
[0011]驱动模块，用于根据该文本内容与该情绪内容，驱动数字人按照该文本内容输出语音，并输出与该情绪内容匹配的表情行为。
[0012]根据本公开的另一方面，提供了一种电子设备，包括：
[0013]至少一个处理器；以及
[0014]与该至少一个处理器通信连接的存储器；其中，
[0015]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开所提供的基于脑信号的数字人交互方法。
[0016]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行本公开所提供的基于脑信号的数字人交互方法。
[0017]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现本公开所提供的基于脑信号的数字人交互方法。
[0018]本公开所提供的技术方案，通过对待测对象的脑信号进行识别，能够得到该待测对象所要表达的文本内容和情绪内容，进而，根据该文本内容与该情绪内容，驱动数字人按
照该文本内容输出语音，并按照与该情绪内容匹配的表情行为进行互动。如此，驱动数字人以人物形象为主体，采用语音的形式来输出待测对象所要表达的意思，并为数字人增加相匹配的表情行为，能够在无需感官或者感官失灵的情况下，辅助待测对象做语言表达和情绪表达，从而实现了待测对象与其他用户之间的交流，提升了数字人交互的效果。
[0019]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0020]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0021]图1是本公开实施例示出的一种基于脑信号的数字人交互方法的实施环境示意图；
[0022]图2是本公开实施例示出的一种基于脑信号的数字人交互方法的流程示意图；
[0023]图3是本公开实施例示出的一种基于脑信号的数字人交互方法的流程示意图；
[0024]图4是本公开实施例示出的一种脑电波采集设备的处理流程示意图；
[0025]图5是本公开实施例示出的一种稳态视觉诱发技术的流程示意图；
[0026]图6是本公开实施例示出的一种数字人驱动框架的示意图；
[0027]图7是本公开实施例示出的一种基于脑信号的数字人交互的流程示意图；
[0028]图8是本公开实施例示出的一种基于脑信号的数字人交互的系统架构图；
[0029]图9是本公开实施例示出的一种基于脑信号的数字人交互装置的结构框图；
[0030]图10是用来实现本公开实施例的基于脑信号的数字人交互方法的电子设备的框图。
具体实施方式
[0031]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0032]本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0033]首先，针对本公开实施例涉及的应用场景进行描述，本公开实施例提供的基于脑信号的数字人交互方法可应用于医疗场景中，具体可以应用于医疗场景中具备言语障碍的患者。示例地，可应用于因严重声带和肢体瘫痪而交流受限的失语瘫痪患者、短暂性失语者、脑中风患者、脑瘫患者以及脑或脊髓损伤患者等等。当然，除上述具备言语障碍的患者之外，该基于脑信号的数字人交互方法还可以应用于不具备言语障碍的用户。
[0034]相关技术中，为了帮助患者与其他用户进行交流，通常需要利用脑电波采集设备采集患者的脑信号，再对患者的脑信号进行识别，以获得患者所想要表达的文本内容，进而在屏幕中显示该文本内容，以便其他用户了解患者所想要表达的意思。然而，仅仅通过在屏幕中输出文本内容的方式来表达患者的意思，表现形式较单一，交流效果较差。
[0035]基于此，本公开实施例提供了一种基于脑信号的数字人交互方法，通过对待测对
象的脑信号进行识别，能够得到该待测对象所要表达的文本内容和情绪内容，进而，根据该文本内容与该情绪内容，驱动数字人按照该文本内容输出语音，并按照与该情绪内容匹配的表情行为进行互动。如此，驱动数字人以人物形象为主体，采用语音的形式来输出待测对象所要表达的意思，并为数字人增加相匹配的表情行为，能够在无需感官或者感官失灵的情况下，辅助待测对象做语言表达和情绪表达，从而实现了待测对象与其他用户之间的交流，提升了数字人交互的效果。
[0036]图1是本公开实施例示出的一种基于脑信号的数字人交互方法的实施环境示意图。参见图1，该实施环境包括脑电波采集设备101、中控平台设备102以及智能终端103。
[0037]其中，脑电波采集设备101可以是头戴式的可穿戴设备，如非侵入式脑电帽。本公开实施例中，脑电波采集设备101用于采集待测对象的脑信号。在一些实施例中，脑电波采集设备101通过脑机接口(Brain Computer Interface，BCI)技术，能够实现人类大脑与机器设备之间的信号传输。
[0038]中控平台设备102可以关联有中央控制系统，该中央控制系统是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于脑信号的数字人交互方法，包括：获取脑电波采集设备采集的待测对象的脑信号，所述脑信号与所述待测对象所要表达的文本内容和情绪内容相关；对所述脑信号进行识别，得到所述待测对象所要表达的文本内容和情绪内容；根据所述文本内容与所述情绪内容，驱动数字人按照所述文本内容输出语音，并输出与所述情绪内容匹配的表情行为。2.根据权利要求1所述的方法，其中，所述根据所述文本内容与所述情绪内容，驱动数字人按照所述文本内容输出语音，并输出与所述情绪内容匹配的表情行为，包括：根据所述文本内容确定目标语音，所述目标语音的内容与所述文本内容相同；以及，根据所述情绪内容确定目标动画，所述目标动画包括与所述情绪内容匹配的表情行为；根据所述目标语音与所述目标动画，生成并播放目标音视频，所述目标音视频用于呈现所述数字人按照所述文本内容输出语音，并输出与所述情绪内容匹配的表情行为的效果。3.根据权利要求2所述的方法，其中，所述根据所述文本内容确定目标语音，包括：提取所述待测对象的音色特征；根据所述待测对象的音色特征以及所述文本内容，确定所述目标语音。4.根据权利要求2所述的方法，其中，所述根据所述情绪内容确定目标动画，包括：从所述数字人的预设动画集合中，选取与所述情绪内容匹配的所述目标动画，所述预设动画集合包括不同情绪类型以及所述不同情绪类型对应的动画。5.根据权利要求1至4任一项所述的方法，其中，所述数字人的面部区域基于所述待测对象的面部确定。6.根据权利要求1至5任一项所述的方法，还包括：确定目标背景图片，所述目标背景图片为预设背景图片或与所述文本内容匹配的背景图片；所述根据所述文本内容与所述情绪内容，驱动数字人按照所述文本内容输出语音，并输出与所述情绪内容匹配的表情行为，包括：根据所述文本内容与所述情绪内容，在所述目标背景图片上，驱动所述数字人按照所述文本内容输出语音，并输出与所述情绪内容匹配的表情行为。7.根据权利要求1所述的方法，还包括：根据所述文本内容生成所述数字人的第一驱动指令，所述第一驱动指令用于驱动所述数字人按照所述文本内容输出语音；以及，根据所述情绪内容生成所述数字人的第二驱动指令，所述第二驱动指令用于驱动所述数字人输出与所述情绪内容匹配的表情行为；所述根据所述文本内容与所述情绪内容，驱动数字人按照所述文本内容输出语音，并输出与所述情绪内容匹配的表情行为，包括：响应于所述第一驱动指令与所述第二驱动指令，根据所述文本内容与所述情绪内容，驱动所述数字人按照所述文本内容输出语音，并输出与所述情绪内容匹配的表情行为。8.根据权利要求1所述的方法，还包括：对所述文本内容和所述情绪内容进行语义处理，得到语义处理后的所述文本内容和所述情绪内容；
所述根据所述文本内容与所述情绪内容，驱动数字人按照所述文本内容输出语音，并输出与所述情绪内容匹配的表情行为，包括：根据语义处理后的所述文本内容与所述情绪内容，驱动所述数字人按照所述文本内容输出语音，并输出与所述情绪内容匹配的表情行为。9.一种基于脑信号的数字人交互装置，包括：获取模块，用于获取脑电波采集设备采集的待测对象的脑信号，所述脑信号...

【专利技术属性】
技术研发人员：张膂，张海洋，冉勇，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：