人机交互方法、人机交互装置及存储介质制造方法及图纸

本申请实施例提供一种人机交互方法、人机交互装置及存储介质，该方法包括：显示人机界面，该人机界面包括可操作对象和视觉刺激区域；对该可操作对象执行第一操作命令，其中，该第一操作命令根据第一信号确定，该第一信号为用户注视第一区域产生的脑电信号，该第一区域为该视觉刺激区域周围的多个区域中的区域，该用户注视该多个区域中不同的区域产生不同的脑电信号，该不同的脑电信号指示执行与该可操作对象相关的不同的操作命令。本申请能够使得用户无需直视视觉刺激且快速下发不同的操作命令，提高用户体验。提高用户体验。提高用户体验。

【技术实现步骤摘要】
人机交互方法、人机交互装置及存储介质


[0001]本申请涉及人机交互
，尤其涉及一种人机交互方法、人机交互装置及存储介质。

技术介绍

[0002]脑
‑
机接口(Brain
‑
Computer Interface,BCI)是一种基于神经科学与工程技术的新型人机交互方式，能够通过实时获取、分析脑信号，在人脑与计算机或其它电子设备之间建立直接的交流和控制通道，将中枢神经系统活动直接转化为信息输出。
[0003]随着BCI技术的不断发展和广受关注，诸多脑信息检测技术已应用于BCI系统中。其中，脑电(electroencephalography,EEG)信号能够直接反映大脑的电生理活动信息，时间分辨率高，采集设备相对易于轻量化，是当前阶段首选的非侵入式BCI技术。
[0004]由于脑电信号具有非线性及非平稳性的特征，从繁杂的背景脑电中提取微弱的脑电信号特征是BCI系统的重要技术之一。事件相关电位(event
‑
related potential，ERP)是大脑对来自外界环境的特定的感觉、认知或运动事件等产生的心理反应的测量；在小概率事件(刺激)出现后的固定潜伏期，人的大脑皮层会出现相应波峰，因此，ERP在临床和实际应用中都有巨大价值。
[0005]基于ERP的视觉定位是脑
‑
机接口领域应用之一，如文字输入，机器人移动指令下发等。其原理是通过给予使用者视觉刺激，诱发使用者脑电信号产生ERP成分，由于ERP波形与刺激具有严格锁时关系，可以叠加平均方法获取ERP成分，进一步分析视觉刺激与ERP成分的时序关系，识别视觉刺激位置，即实现视觉定位，使用者完成操作指令的下发。
[0006]但是，在现有的BCI技术的应用场景中，一个视觉刺激对应一个可执行的操作命令，若需要执行多个操作命令时，用户需要注视多个视觉刺激，容易造成用户的视觉疲劳，且若要在短识别时间和高正确识别率下实现支持多条命令，采用现有的技术方案存在很大挑战。

技术实现思路

[0007]本申请公开了一种人机交互方法、人机交互装置及存储介质，能够使得用户无需直视视觉刺激且快速下发不同的操作命令，可以缓解用户视觉疲劳，提高用户体验。
[0008]第一方面，本申请提供一种人机交互方法，该方法包括：显示人机界面，该人机界面包括可操作对象和视觉刺激区域；对该可操作对象执行第一操作命令，其中，该第一操作命令根据第一信号确定，该第一信号为用户注视第一区域产生的脑电信号，该第一区域为该视觉刺激区域周围的多个区域中的区域，该用户注视该多个区域中不同的区域产生不同的脑电信号，该不同的脑电信号指示执行与该可操作对象相关的不同的操作命令。
[0009]可选的，当该用户注视该第一区域时的视线与当该用户注视该视觉刺激区域中心点时的视线之间的夹角在预设范围内，例如该夹角不大于5
°
，从而可以保证视觉刺激区域对用户的视觉刺激强度足够诱发较高强度的脑电信号。
[0010]在本申请中，用户意图下发操作命令时，无需直视视觉刺激区域本身，而是注视视觉刺激区域周围的区域即可完成命令的下发，相比于现有的技术方案需要直视视觉刺激区域下发操作命令，本申请能够缓解用户的视觉疲劳，提高在人机交互过程中的用户体验。另外，在本申请中，用户注视视觉刺激区域周围不同的区域可以诱发不同的脑电信号，因此，可以设置用户注视视觉刺激区域周围不同的区域表明用户意图下发不同的操作命令，即在本申请中，能够实现基于单一视觉刺激对应多个操作命令，当用户需连续下发多个操作命令时，无需注视多个视觉刺激区域，只需要按照自身的操作意图注视视觉刺激区域周围的多个区域即可连续下发多个操作命令，降低操作复杂度，提高用户体验。另外，现有的方案中一个视觉刺激对应一个操作命令，当有多个操作命令时需要在人机界面显示同样数量的视觉刺激，从而加重了处理器的负担且实现复杂；而本申请可以实现单一视觉刺激对应多个操作命令，因此，可以减少人机界面中视觉刺激区域的显示，减轻处理器的负担且实现起来更加简单易操作。
[0011]一种可能的实施方式中，上述不同的脑电信号为上述用户注视上述不同的区域时在初级视觉皮层中不同的区域诱发的，上述第一区域是基于该第一信号在初级视觉皮层中出现的区域确定的。
[0012]在本申请中，可以基于视网膜
‑
皮层映射原理来实现上述基于单一视觉刺激对应多个操作命令的功能，该原理中视觉刺激在用户的视场中的不同位置可以诱发不同时空分布特征的脑电信号，即用户注视人机界面中视觉刺激区域周围不同的区域时，可以在大脑的初级视觉皮层中不同的区域诱发对应的脑电信号，通过识别采集到的脑电信号的时空分布特征可以确定用户注视的位置或区域，从而解析出用户的操作意图。
[0013]一种可能的实施方式中，该视觉刺激区域的视觉刺激模式包括闪烁刺激模式、运动刺激模式、元素跳变刺激模式或者混合刺激模式；该混合刺激模式为该闪烁刺激模式、该运动刺激模式和该元素跳变刺激模式中至少两种模式结合的刺激模式；
[0014]该闪烁刺激模式为该视觉刺激区域中的视觉刺激组成元素时而显现时而消失的刺激模式，该运动刺激模式为该视觉刺激区域中的视觉刺激组成元素按照预设的方向和轨迹运动的刺激模式，该元素跳变刺激模式为该视觉刺激区域中的视觉刺激组成元素的形状、颜色和底纹中至少一种不断变化的刺激模式。
[0015]可选的，上述视觉刺激组成元素具备以下特征中的至少一项特征：第一特征，该视觉刺激的组成元素的形状为几何图形，或者为几何图形经过任意组合或变形得到的图形；第二特征，该视觉刺激的组成元素的颜色为光学三原色中的一种，或者为光学三原色中的至少两种颜色按照任意比例叠加后得到的颜色。
[0016]在本申请中，通过设计视觉刺激模式，可以提高视觉刺激的新异形，进而可以诱发高信噪比的脑电信号，提高不同脑电信号特征识别的准确率，进而提高识别用户操作意图的准确率。
[0017]一种可能的实施方式中，该混合刺激模式包括该闪烁刺激模式、该运动刺激模式和该元素跳变刺激模式中至少两种刺激模式交替呈现的刺激模式。
[0018]在本申请中，采用上述混合刺激模式刺激用户视觉，可以进一步提高视觉刺激的新异性，并且可以减弱重复抑制效应，即可以抑制脑电信号因相同刺激模式重复显现而衰弱的效应。
[0019]一种可能的实施方式中，该至少两种刺激模式中包括第一刺激模式，该第一刺激模式为该闪烁刺激模式、该运动刺激模式和该元素跳变刺激模式中的一种；该第一刺激模式至少显示两次，其中，该第一刺激模式的第一次显示和第二次显示的视觉刺激不同。
[0020]可选的，该视觉刺激不同可以是视觉刺激组成元素的颜色、形状和底纹中的一项或多项不同等等。
[0021]在本申请中，在相同视觉刺激模式的视觉刺激出现多次的情况下，通过设计不同时间出现的视觉刺激不同，能够进一步提高视觉刺激的新异性，诱发高信噪比的脑电信号。
[0022]一种可能的实施方式中，该视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人机交互方法，其特征在于，所述方法包括：显示人机界面，所述人机界面包括可操作对象和视觉刺激区域；对所述可操作对象执行第一操作命令，其中，所述第一操作命令根据第一信号确定，所述第一信号为用户注视第一区域产生的脑电信号，所述第一区域为所述视觉刺激区域周围的多个区域中的区域，所述用户注视所述多个区域中不同的区域产生不同的脑电信号，所述不同的脑电信号指示执行与所述可操作对象相关的不同的操作命令。2.根据权利要求1所述的方法，其特征在于，所述不同的脑电信号为所述用户注视所述不同的区域时在初级视觉皮层中不同的区域诱发的；所述第一区域是基于所述第一信号在初级视觉皮层中出现的区域确定的。3.根据权利要求1或2所述的方法，其特征在于，当所述用户注视所述第一区域时的视线与当所述用户注视所述视觉刺激区域中心点时的视线之间的夹角在预设范围内。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述视觉刺激区域与所述可操作对象的显示区域重叠；所述多个区域为分布在以所述视觉刺激区域为中心向周围发散的多个方向上的区域；所述第一区域为分布在第一方向上的区域，所述第一方向为所述多个方向中的一个。5.根据权利要求4所述的方法，其特征在于，所述第一操作命令指示所述可操作对象向所述第一方向移动；或者，所述第一操作命令指示往所述第一方向调整所述可操作对象的显示区域大小。6.根据权利要求4或5所述的方法，其特征在于，所述多个方向上的区域包括至少一个辅助图形，所述至少一个辅助图形用于向所述用户指示注视的位置；所述第一区域包括所述至少一个辅助图形中的第一辅助图形；所述第一信号为所述用户注视所述第一辅助图形产生的脑电信号。7.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述人机界面包括多个所述视觉刺激区域；所述第一信号包括所述多个视觉刺激区域刺激所述用户的视觉产生的多个脑电信号，所述多个脑电信号分别指示所述第一区域与所述多个视觉刺激区域的位置关系。8.根据权利要求7所述的方法，其特征在于，所述第一区域包括第一子区域和第二子区域，所述多个脑电信号包括第一子信号和第二子信号；所述第一子信号为所述用户注视所述第一子区域产生的脑电信号，所述第二子信号为所述用户注视所述第二子区域产生的脑电信号，第一子信号发生在第二子信号之前；所述第一操作命令根据第一信号确定，包括，所述第一操作命令根据所述第一子信号和第二子信号共同确定。9.根据权利要求7所述的方法，其特征在于，所述第一区域为所述可操作对象的显示区域；所述对所述可操作对象执行第一操作命令，包括：对所述可操作对象执行选中的操作命令。10.根据权利要求7
‑
9任一项所述的方法，其特征在于，所述人机界面的形状为多边形，所述多个视觉刺激区域部分或全部设置在所述多边形的多个内角的区域。11.根据权利要求1
‑
10任一项所述的方法，其特征在于，所述方法还包括：根据所述用户的脑电信号的特征改变所述视觉刺激区域中的视觉刺激模式。12.根据权利要求1
‑
11任一项所述的方法，其特征在于，所述视觉刺激区域的视觉刺激
模式包括闪烁刺激模式、运动刺激模式、元素跳变刺激模式或者混合刺激模式；所述闪烁刺激模式为所述视觉刺激区域中的视觉刺激组成元素时而显现时而消失的刺激模式，所述运动刺激模式为所述视觉刺激区域中的视觉刺激组成元素按照预设的方向和轨迹运动的刺激模式，所述元素跳变刺激模式为所述视觉刺激区域中的视觉刺激组成元素的形状、颜色和底纹中至少一种不断变化的刺激模式，所述混合刺激模式为所述闪烁刺激模式、所述运动刺激模式和所述元素跳变刺激模式中至少两种模式结合的刺激模式。13.根据权利要求12所述的方法，其特征在于，所述混合刺激模式包括所述闪烁刺激模式、所述运动刺激模式和所述元素跳变刺激模式中至少两种刺激模式交替呈现的刺激模式。14.根据权利要求12或13所述的方法，其特征在于，所述至少两种刺激模式中包括第一刺激模式，所述第一刺激模式为所述闪烁刺激模式、所述运动刺激模式和所述元素跳变刺激模式中的一种；所述第一刺激模式至少显示两次，其中，所述第一刺激模式的第一次显示和第二次显示的视...

【专利技术属性】
技术研发人员：明东，蒋永斌，许敏鹏，李鹏坤，周晓宇，胡涛，
申请(专利权)人：天津大学，
类型：发明
国别省市：