脑电通讯方法、系统和电子设备技术方案

本发明专利技术提供一种脑电通讯方法、系统和电子设备，本发明专利技术涉及通讯技术领域。该方法包括：接收用户的脑电信号，所述脑电信号包括SSVEP信号和眼电信号；通过对所述脑电信号进行处理获得文字解码结果和情感解码结果；将所述文字解码结果和所述情感解码结果整合为语音信息；输出所述语音信息。该方法提供了一种富有情感的通讯交流方式。通讯交流方式。通讯交流方式。

【技术实现步骤摘要】
脑电通讯方法、系统和电子设备


[0001]本专利技术涉及通讯
，尤其涉及一种脑电通讯方法、系统和电子设备。

技术介绍

[0002]现阶段，脑机接口领域的应用方向主要在医疗健康、娱乐、智能家居等领域。尤其是在医疗领域，脑机接口技术在肢体运动障碍、精神疾病康复治疗、意识与认知障碍诊疗中可以起到辅助性治疗作用，并在癫痫疾病领域已经产生了一些相对成熟的应用。
[0003]相关技术中，脑机接口在通讯领域的应用中，双方交互用户仅能够通过交互来获知信息的内容，难以了解交互对方当前的情感状态，不便于用户之间的情感交流。

技术实现思路

[0004]本专利技术提供一种脑电通讯方法、系统和电子设备，用以解决现有技术中难以了解交互方情感状态的缺陷，实现一种富有情感的交互方式。
[0005]本专利技术提供一种脑电通讯方法，包括：接收用户的脑电信号，所述脑电信号包括SSVEP信号和眼电信号；通过对所述脑电信号进行处理获得文字解码结果和情感解码结果；将所述文字解码结果和所述情感解码结果整合为语音信息；输出所述语音信息。
[0006]根据本专利技术提供的一种脑电通讯方法，接收用户的脑电信号的同时，还包括：接收所述用户的ID信息，根据所述用户的ID信息选择对应的特异处理模型对所述脑电信号进行处理，获得文字解码结果和情感解码结果。
[0007]根据本专利技术提供的一种脑电通讯方法，通过对所述脑电信号进行处理获得文字解码结果和情感解码结果，包括：对所述SSVEP信号进行特征提取处理和分类处理获得所述文字解码结果；对所述眼电信号进行特征提取处理和分类处理获得所述情感解码结果。
[0008]根据本专利技术提供的一种脑电通讯方法，通过对所述脑电信号进行处理获得文字解码结果和情感解码结果之前，还包括：对所述脑电信号进行预处理。
[0009]根据本专利技术提供的一种脑电通讯方法，将所述文字解码结果和所述情感解码结果整合为语音信息，包括：将所述文字解码结果中的不同的单词转换为不同的音素组合；预测各所述音素组合的发音时间、音调和语调；将不同的所述音素组合、以及不同的所述音素组合对应的所述发音时间、音调和语调进行语音合成；语音合成时根据所述情感解码结果赋予所述语音情感标签。
[0010]根据本专利技术提供的一种脑电通讯方法，语音合成过程中还包括：根据所述用户的
声音特征赋予所述语音声音标签；根据所述用户选择的场景风格赋予所述语音场景标签。
[0011]本专利技术还提供一种脑电通讯方法，包括：向用户呈现SSVEP诱发输入界面；接收所述用户的脑电信号，所述脑电信号包括SSVEP信号和眼电信号；通过对所述脑电信号进行处理获得文字解码结果和情感解码结果；将所述文字解码结果和所述情感解码结果整合为语音信息；输出所述语音信息。
[0012]本专利技术还提供一种脑电通讯系统，包括：第一电子设备，用于向用户呈现SSVEP诱发输入界面；脑电采集设备，用于采集所述用户的脑电信号；处理设备，用于接收所述脑电信号，通过对所述脑电信号进行处理获得文字解码结果和情感解码结果，还用于将所述文字解码结果和所述情感解码结果整合为语音信息并输出所述语音信息。
[0013]根据本专利技术提供的一种脑电通讯系统，所述处理设备为服务器或第二电子设备。
[0014]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述脑电通讯方法。
[0015]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述脑电通讯方法。
[0016]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述脑电通讯方法。
[0017]本专利技术提供的脑电通讯方法，通过采集用户的脑电波来获取用户的交互意图和情感状态，使得交互双方能够在了解用户的意图的同时获知用户当前的情感状态，提供了一种富有情感的通讯交流方式。
附图说明
[0018]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是本专利技术提供的脑电通讯方法的流程示意图之一；图2是本专利技术提供的脑电信号处理方法的流程示意图；图3是本专利技术提供的文字解码结果和所述情感解码结果整合方法的流程示意图；图4是本专利技术提供的脑电通讯方法的流程示意图之二；图5 是本专利技术提供的脑电通讯系统的结构示意图；图6是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0020]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]下面结合图1
‑
图3描述本专利技术的脑电通讯方法，参考图1中所示，该方法包括：S101：接收用户的脑电信号，所述脑电信号包括SSVEP信号和眼电信号。
[0022]示例性的，用户的脑电信号可以是由用户佩戴的脑电采集设备采集的，脑电采集设备可以是以耳机、发箍、帽子、眼镜等形式佩戴于用户脑部，以用于采集用户的脑电信号。用户的脑电信号可以是由脑电采集设备采集后直接发出或者经由与脑电采集设备连接的第一电子设备发出的。
[0023]该脑电通讯方法可以由服务器来执行，也可以由与脑电信号所属用户进行通讯的另一用户的第二电子设备来执行。
[0024]S102：通过对所述脑电信号进行处理获得文字解码结果和情感解码结果。
[0025]可以理解的是，通过对脑电信号进行处理可以获得反应用户意图的文字解码结果和反应用户情感的情感解码结果。
[0026]S103：将所述文字解码结果和所述情感解码结果整合为语音信息。
[0027]在获得反应用户意图的文字解码结果和反应用户情感的情感解码结果后，可以通过整合方法将文字解码结果和情感解码结果进行合成，以获得可以反应用户情感及意图的语音信息，用户的意图可以通过语音信息的内容来进行提现，用户的情感可以通过语音信息的音调、节奏快慢、语调等进行体现。
[0028]示例性的，可以通过TTS (Text
‑
To
‑
Speech)技术进行上述合成工作。TTS是将用户输入的或计算机产生的文字信息转变为易懂、流利的口语进行输出，该技术在语音助理、智能家居、地图导航等方面已经有较多的应用，在此不做详细的说明。
[0029]S104：输出所述语音信息。
[0030]在合成能够反应用户意图和情感的语音信息后，则需要将该语音信息进行输出，当该方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种脑电通讯方法，其特征在于，包括：接收用户的脑电信号，所述脑电信号包括SSVEP信号和眼电信号；通过对所述脑电信号进行处理获得文字解码结果和情感解码结果；将所述文字解码结果和所述情感解码结果整合为语音信息；输出所述语音信息。2.根据权利要求1所述脑电通讯方法，其特征在于，接收用户的脑电信号的同时，还包括：接收所述用户的ID信息，根据所述用户的ID信息选择对应的特异处理模型对所述脑电信号进行处理，获得文字解码结果和情感解码结果。3.根据权利要求1或2所述脑电通讯方法，其特征在于，通过对所述脑电信号进行处理获得文字解码结果和情感解码结果，包括：对所述SSVEP信号进行特征提取处理和分类处理获得所述文字解码结果；对所述眼电信号进行特征提取处理和分类处理获得所述情感解码结果。4.根据权利要求3所述脑电通讯方法，其特征在于，通过对所述脑电信号进行处理获得文字解码结果和情感解码结果之前，还包括：对所述脑电信号进行预处理。5.根据权利要求1所述脑电通讯方法，其特征在于，将所述文字解码结果和所述情感解码结果整合为语音信息，包括：将所述文字解码结果中的不同的单词转换为不同的音素组合；预测各所述音素组合的发音时间、音调和语调；将不同的所述音素组合、以及不同的所述音素组合对应的所述发音时...

【专利技术属性】
技术研发人员：曹婕，王宇，陆宇豪，邱爽，张一帆，
申请(专利权)人：中科南京人工智能创新研究院，
类型：发明
国别省市：