交互系统、方法及装置制造方法及图纸

本发明专利技术实施例提供了一种交互系统、方法及装置，所述交互系统包括：覆盖于用户头部表面的脑电电极阵列，微型麦克风阵列以及信号处理电路。信号处理电路分别与脑电电极阵列和微型麦克风阵列电连接；该交互系统还包括与信号处理电路电连接的存储，以及存储于存储器中的至少一个程序，该程序被配置为由信号处理电路执行用于：根据微型麦克风阵列输出的基于声源的音频信号，确定出声源的方位；确定出脑电电极阵列中与声源方向相对应的脑电电极；调用与声源方向相对应的脑电电极输出触感信号，使得正在体验本系统的用户感知到声源方位，大大提升了具有听力障碍的用户与其他用户进行交流沟通的几率。

【技术实现步骤摘要】
交互系统、方法及装置
本专利技术涉及终端
，具体而言，本专利技术涉及一种交互系统、方法及装置。
技术介绍
目前存在很多听力受损或听力障碍的用户，例如耳聋的用户。这些听力障碍的用户(本文后续简称用户)，通常采用手语或者书写的交互方式，与其他用户进行交流。然而，本专利技术的专利技术人发现，在用户已经感知到其他用户在向该用户主动交互的基础上，上述手语或书写的交互方式才得以成立。当用户没有感知到其他用户在向该用户主动交互时，无法进行手语或书写交流。例如，当其他用户主动向用户打招呼，期望与该用户交流时，该用户因为听力障碍，没有感知到存在其他用户期望与其交流，自然不会进入到手语或书写的交互阶段。这种现有的交互方法，导致用户容易错过大量的交流沟通的机会，大大降低了用户与其他用户进行交流的几率，严重影响用户的日常生活、工作和学习。另一种现有的交互方法通常是，用户通过佩戴的助听器，感知其他用户的声音，进而与其他用户进行交流。然而，本专利技术的专利技术人发现，对于听力障碍较为严重的用户而言，即使已佩戴了助听器，也经常出现忽略发声(例如打招呼)期望与该用户进行交流的其他用户，容易错过大量的交流沟通的机会，大大降低了用户与其他用户进行交流的几率，严重影响用户的日常生活、工作和学习。综上，针对听力障碍的用户的现有的交互方法，存在听力障碍的用户容易忽略期望通过语音与其进行交流的其他用户而错失交流机会的缺陷。
技术实现思路
本专利技术针对现有的听力障碍的用户存在的容易忽略期望通过语音与该用户进行交流的其他用户的缺陷，提供了一种交互系统、交互方法以及交互装置，目的在于将声源(例如其他用户)发出的声音转换为人脑可以感知到的触感信号，使得听力存在障碍的用户通过触觉感知到声源方位，从而意识到该方位存在期望与其交流的其他用户，大大提升了具有听力障碍的用户与其他用户进行交流沟通的几率。本专利技术实施例根据第一个方面，提供一种交互系统，包括：脑电电极阵列，覆盖于用户头部表面；微型麦克风阵列；信号处理电路，分别与所述脑电电极阵列和微型麦克风阵列电连接；存储器，与所述信号处理电路电连接；至少一个程序，存储于所述存储器中，被配置为由所述信号处理电路执行，用于：根据所述微型麦克风阵列输出的基于声源的音频信号，确定出所述声源的方位；确定出所述脑电电极阵列中与所述声源的方位相对应的脑电电极；调用所述相对应的脑电电极输出触感信号，使得所述用户感知。进一步地，所述信号处理电路，分别与所述脑电电极阵列和微型麦克风阵列电连接，包括：信号处理电路，位于所述脑电电极阵列之上，并与所述脑电电极阵列电连接；微型麦克风阵列，覆盖于所述信号处理电路，并与所述信号处理电路电连接。进一步地，所述微型麦克风阵列包括：多个微型麦克风；所述信号处理电路包括：处理器和多个转换电路；以及所述微型麦克风阵列，与所述信号处理电路电连接，包括：各微型麦克风分别与各转换电路电连接；各转换电路都与所述处理器电连接；以及所述信号处理电路，与所述脑电电极阵列电连接，包括：所述处理器与所述脑电电极阵列中的各脑电电极电连接；以及所述至少一个程序，被配置为由所述信号处理电路执行，包括：所述至少一个程序被配置为由所述处理器执行。进一步地，所述至少一个程序具体配置用于：根据所述多个微型麦克风输出的基于声源的音频信号的强度，确定出各微型麦克风与所述声源之间的距离；根据各微型麦克风与所述声源之间的距离，确定出所述声源的方位。较佳地，本专利技术实施例提供的交互系统还包括：显示设备；以及所述至少一个程序还配置用于确定出所述声源的方位后，调用所述显示设备进行对应显示。较佳地，本专利技术实施例提供的交互系统还包括：扬声器阵列；所述扬声器阵列中的多个扬声器都与所述处理器电连接；以及所述至少一个程序还配置用于通过所述脑电电极阵列获取用户的交互内容脑电信号和用户指定的方向；调用对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。进一步地，所述至少一个程序配置用于通过所述脑电电极阵列接收到用户的启动主动交互脑电信号时，调用所述显示设备在第一方向选择界面中依次突出显示多个方向范围；通过所述脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的方向范围确定为用户指定的方向范围；确定所述用户指定的方向范围后，调用所述显示设备显示交互信息输入界面；通过所述脑电电极阵列接收到用户针对所述交互信息输入界面的指引反馈的交互内容脑电信号时，调用所述用户指定的方向范围对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。进一步地，所述至少一个程序还配置用于确定所述用户指定的方向范围后，调用所述显示设备在第二方向选择界面中依次突出显示多个角度方向；通过所述脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的角度方向确定为用户指定的角度方向；确定所述用户指定的角度方向后，调用所述显示设备显示交互信息输入界面；通过所述脑电电极阵列接收到用户针对所述交互信息输入界面的指引反馈的交互内容脑电信号时，调用所述用户指定的角度方向对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。本专利技术的实施例根据第二个方面，还提供了一种交互方法，包括：根据微型麦克风阵列输出的基于声源的音频信号，确定出所述声源的方位；确定出脑电电极阵列中与所述声源的方位相对应的脑电电极；调用所述相对应的脑电电极输出触感信号，使得所述用户感知。进一步地，所述根据微型麦克风阵列输出的基于声源的音频信号，确定出所述声源的方位，包括：根据所述多个微型麦克风输出的基于声源的音频信号的强度，确定出各微型麦克风与所述声源之间的距离；根据各微型麦克风与所述声源之间的距离，确定出所述声源的方位。较佳地，本专利技术实施例提供的交互方法，在确定出所述声源的方位后还包括：调用显示设备对确定出的所述声音的方向进行对应显示。较佳地，本专利技术实施例提供的交互方法中，调用显示设备对确定出的所述声音的方向进行对应显示，还包括：通过所述脑电电极阵列获取用户的交互内容脑电信号和用户指定的方向；调用扬声器阵列中对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。进一步地，所述通过所述脑电电极阵列获取用户的交互内容脑电信号和用户指定的方向，包括：通过所述脑电电极阵列接收到用户的启动主动交互脑电信号时，调用所述显示设备在第一方向选择界面中依次突出显示多个方向范围；通过所述脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的方向范围确定为用户指定的方向范围；以及所述调用扬声器阵列中对应的至少一个扬声器输出基于所述交互内容脑电信号的声音，包括：确定所述用户指定的方向范围后，调用所述显示设备显示交互信息输入界面；通过所述脑电电极阵列接收到用户针对所述交互信息输入界面的指引反馈的交互内容脑电信号时，调用所述用户指定的方向范围对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。进一步地，所述通过所述脑电电极阵列获取用户的交互内容脑电信号和用户指定的方向，还包括：确定所述用户指定的方向范围后，调用所述显示设备在第二方向选择界面中依次突出显示多个角度方向；通过所述脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的角度方向确定为用户指定的角度方向；以及所述调用扬声器阵列中对应的至少一个扬声器输出基于所述交互内容脑电信号的声音，还包括：确定所述用户指定的本文档来自技高网...

【技术保护点】
一种交互系统，其特征在于，包括：脑电电极阵列，覆盖于用户头部表面；微型麦克风阵列；信号处理电路，分别与所述脑电电极阵列和微型麦克风阵列电连接；存储器，与所述信号处理电路电连接；至少一个程序，存储于所述存储器中，被配置为由所述信号处理电路执行，用于：根据所述微型麦克风阵列输出的基于声源的音频信号，确定出所述声源的方位；确定出所述脑电电极阵列中与所述声源的方位相对应的脑电电极；调用所述相对应的脑电电极输出触感信号，使得所述用户感知。

【技术特征摘要】
1.一种交互系统，其特征在于，包括：脑电电极阵列，覆盖于用户头部表面；微型麦克风阵列；信号处理电路，分别与所述脑电电极阵列和微型麦克风阵列电连接；存储器，与所述信号处理电路电连接；至少一个程序，存储于所述存储器中，被配置为由所述信号处理电路执行，用于：根据所述微型麦克风阵列输出的基于声源的音频信号，确定出所述声源的方位；确定出所述脑电电极阵列中与所述声源的方位相对应的脑电电极；调用所述相对应的脑电电极输出触感信号，使得所述用户感知。2.根据权利要求1所述的系统，其特征在于，所述信号处理电路，分别与所述脑电电极阵列和微型麦克风阵列电连接，包括：信号处理电路，位于所述脑电电极阵列之上，并与所述脑电电极阵列电连接；微型麦克风阵列，覆盖于所述信号处理电路，并与所述信号处理电路电连接。3.根据权利要求1或2所述的系统，其特征在于，所述微型麦克风阵列包括：多个微型麦克风；所述信号处理电路包括：处理器和多个转换电路；以及所述微型麦克风阵列，与所述信号处理电路电连接，包括：各微型麦克风分别与各转换电路电连接；各转换电路都与所述处理器电连接；以及所述信号处理电路，与所述脑电电极阵列电连接，包括：所述处理器与所述脑电电极阵列中的各脑电电极电连接；以及所述至少一个程序，被配置为由所述信号处理电路执行，包括：所述至少一个程序被配置为由所述处理器执行。4.根据权利要求3所述的系统，其特征在于，所述至少一个程序具体配置用于：根据所述多个微型麦克风输出的基于声源的音频信号的强度，确定出各微型麦克风与所述声源之间的距离；根据各微型麦克风与所述声源之间的距离，确定出所述声源的方位。5.根据权利要求1-4任一项所述的系统，其特征在于，还包括：显示设备；以及所述至少一个程序还配置用于确定出所述声源的方位后，调用所述显示设备进行对应显示。6.根据权利要求5所述的系统，其特征在于，还包括：扬声器阵列；所述扬声器阵列中的多个扬声器都与所述处理器电连接；以及所述至少一个程序还配置用于通过所述脑电电极阵列获取用户的交互内容脑电信号和用户指定的方向；调用对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。7.根据权利要求6所述的系统，其特征在于，所述至少一个程序配置用于通过所述脑电电极阵列接收到用户的启动主动交互脑电信号时，调用所述显示设备在第一方向选择界面中依次突出显示多个方向范围；通过所述脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的方向范围确定为用户指定的方向范围；确定所述用户指定的方向范围后，调用所述显示设备显示交互信息输入界面；通过所述脑电电极阵列接收到用户针对所述交互信息输入界面的指引反馈的交互内容脑电信号时，调用所述用户指定的方向范围对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。8.根据权利要求7所述的系统，其特征在于，所述至少一个程序还配置用于确定所述用户指定的方向范围后，调用所述显示设备在第二方向选择界面中依次突出显示多个角度方向；通过所述脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的角度方向确定为用户指定的角度方向；确定所述用户指定的角度方向后，调用所述显示设备显示交互信息输入界面；通过所述脑电电极阵列接收到用户针对所述交互信息输入界面的指引反馈的交互内容脑电信号时，调用所述用户指定的角度方向对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。9.一种交互方法，其特征在于，包括：根据微型麦克风阵列输出的基于声源的音频信号，确定出所述声源的方位；确定出脑电电极阵列中与所述声源的方位相对应的脑电电极；调用所述相对应的脑电电极输出触感信号，使得所述用户感知。10.根据权利要求9所述的方法，其特征在于，所述根据微型麦克风阵列输出的基于声源的音频信号，确定出所述声源的方位，包括：根据所述多个微型麦克风输出的基于声源的音频信号的强度，确定出各微型麦克风与所述声源之间的距离；根据各微型麦克风与所述声源之间的距离，确定出所述声源的方位。11.根据权利要求9-10任一项所述的方法，其特征在于，还包括：调用显示设备对确定出的所述声音...

【专利技术属性】
技术研发人员：朱琳，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11