基于脑电检测的眼动跟踪AR界面导航系统及方法技术方案

技术编号:30025649 阅读:34 留言:0更新日期:2021-09-11 06:56
本发明专利技术公开一种基于脑电检测的眼动跟踪AR界面导航系统及方法。本发明专利技术涉及脑机接口技术领域,解决现有AR界面导航技术无法解放双手,实用效果差的问题。本发明专利技术的基于脑电检测的眼动跟踪AR界面导航系统包括:6通道脑电信号采集模块、AR设备主机以及AR眼镜,6通道脑电信号采集模块与AR设备主机通信连接,AR设备主机与AR眼镜连接,可实现基于脑电检测的眼动跟踪AR界面导航,不需要双手进行操作,最大限度解放双手,在佩戴AR眼镜的时候,双手可以做一些其他的操作,这对AR技术在巡检、军用、娱乐等方面的应用具有重要意义,此外,本发明专利技术的基于脑电检测的眼动跟踪AR界面导航系统的界面导航的准确率得到显著提高。航的准确率得到显著提高。航的准确率得到显著提高。

【技术实现步骤摘要】
基于脑电检测的眼动跟踪AR界面导航系统及方法


[0001]本专利技术涉及脑机接口
,尤其涉及一种基于脑电检测的眼动跟踪AR界面导航系统及方法。

技术介绍

[0002]随着AR技术的飞速发展,AR眼镜将足够轻量化、外观时尚,而且足以取代手机或计算机,可以为使用者提供具有临场感的逼真虚拟社交环境,同时场景感和AI算法将帮助处理日常任务,为使用者提供直观的3D虚拟内容,并将数字和真实世界自然融合。此外,有了AR眼镜,即使不低头看手机,也能同时身处数字和真实世界,应用场景足够灵活。其中,AR界面导航是整个AR技术中最重要的问题之一,因为这将需要全新的界面,并颠覆人类与计算机交互的惯有方式。
[0003]现有的AR界面导航分为两个大类:用手操作模式和语音识别模式。用手操作模式又包括以下几种类型。
[0004]1)手势识别操控模式:在AR眼镜的形态下使用手势进行交互是一种符合自然和习惯的交互模式,拿取东西、放置物品,我们人类天生习惯于用手和这个世界做交互,在AR眼镜界面导航中要使用手势作为交互,首先得保证这台AR眼镜具有手势识别的功能,其次,也要考虑识别的效度、精度和准度。
[0005]2)按键/触摸屏操控模式:正如手机会带一些简单的硬按键一样,有些AR眼镜也会自带一些按键或触屏来支持用户输入。比如市场上有些AR眼镜上带了三个硬按键,我们在系统层级上为单击它们定义了确定、返回、息屏/亮屏的操作语义,在设计具体的应用时,也可以增加定义双击、长按等操作。又比如Google最早的一代AR眼镜,在眼镜的一侧增加了触控板来支持用户进行输入。
[0006]3)遥控器操控模式:遥控器作为外接设备,也是提供AR眼镜界面可交互的一种方式。这种交互比起上面两种交互方式来说是最不容易累的,因为手势如果要被识别,需要抬高手臂让你的手势进入AR眼镜能看得见的地方,而按键和触屏,因为它本身就在AR眼镜上,你也必须抬起手臂让手指能够得着它们。这样两种操作方式虽然可以给手臂做做运动,但总归不是持久之计,使用遥控器就会舒适很多。对于人们来说,这也是一种非常熟悉的交互方式,就像电视机遥控器一样。另外,因为戴着AR眼镜,再看手机屏幕并不是那么方便,需要考虑如何设计让用户在盲操作的情况下依然较为方便的使用手机屏幕作为遥控器。
[0007]现有的技术在实际使用过程中缺点如下:用手操控技术的缺点:1)手势识别操控方式的缺点:首先人手不能得到解放,需要双手或单手做出各种动作以达到让系统识别的目的,时间久了人比较容易疲劳。手势如果要被识别,对动作幅度有要求,需要抬高手臂让你的手势进入AR眼镜能看得见的地方,否则就不能被识别,体验不是很好。目前手势识别分辨率不是很高,可能需要多次重复做同一个动作才能让系统识别,体验不是很好。
[0008]2)按键/触摸屏操控方式的缺点:人的双手不能得到解放,在需要双手对其他设备同步操作的场景,现场人员的处理会非常麻烦,所以会限制技术的应用场景。人比较容易疲劳:手上的按键或屏幕也无法盲按操作,需要不停的低头看操作终端,人很容易疲劳,交互体验很差。
[0009]3)遥控器操控方式的缺点:需要配套遥控器,系统的硬件成本增加;在AR眼镜观看的同时需要一直携带者遥控器并用手操作,增加操作人员的负担。遥控器也可以用手机来替代,但需要在手机上要另外下载安装一个专属APP,同时操作也还是需要用手操作。
[0010]语音识别操控方式的缺点:语音识别主要通过声音判断操作指令,受外部环境噪音的干扰后会导致分辨率不高,甚至无法识别,但实际操作环境往往会有很大噪音,所以体验效果及使用场景会非常受限。
[0011]由此可见,用手操控模式都会涉及到无法解放双手的问题,而AR的应用场景中,尤其是工业场景,更多的是利用AR眼镜的远程专家协助,解决现场人员实际操作问题,所以无法解放双手是用手操控模式无法解决的问题。在很多实际环境中,外接环境非常嘈杂,如工厂、户外作业环境,语音识别会受非常大的干扰,实用效果就会非常差。因此,如何使用户可以在无需外接操作设备的情况下进行操作,最大限度的解放双手,在佩戴AR眼镜的时候,双手可以做一些其他的操作,这对AR技术在巡检、军用、娱乐等方面的应用具有重要意义。

技术实现思路

[0012]本专利技术提供一种基于脑电检测的眼动跟踪AR界面导航系统及方法,以解决现有AR界面导航技术无法解放双手,实用效果差的问题。本专利技术提供一种基于脑电检测的眼动跟踪AR界面导航系统,包括:6通道脑电信号采集模块、AR设备主机以及AR眼镜,所述6通道脑电信号采集模块与所述AR设备主机通信连接,所述AR设备主机与所述AR眼镜连接;所述6通道脑电信号采集模块,用于采集脑电信号,得到6路脑电信号,将所述6路脑电信号发送至AR设备主机;所述AR设备主机包括无线通讯模块、软件滤波模块、并行列队竞争模块以及界面导航模块;所述无线通讯模块,用于接收所述脑电信号;所述软件滤波模块,用于对所述6路脑电信号进行滤波处理;所述并行列队竞争模块,用于对滤波处理后的6路脑电信号进行并行列队竞争处理,输出最终脑电信号频率;所述界面导航模块,用于根据所述最终脑电信号频率确定目标按钮,从而实现界面导航;所述AR眼镜,用于显示6个按钮,所述6个按钮分别按照不同的预设频率闪烁,以使得当人眼凝视所述按钮2秒以上,人脑产生一个与所述按钮的预设频率相同的脑电信号。
[0013]进一步地,所述6通道脑电信号采集模块包括放大电路、第一带通滤波器、第二带通滤波器、第三带通滤波器、第四带通滤波器、第五带通滤波器、第六带通滤波器、ADC电路以及MCU;所述放大电路分别通过第一带通滤波器、第二带通滤波器、第三带通滤波器、第四带通滤波器、第五带通滤波器以及第六带通滤波器与所述ADC电路的6个通道连接,所述ADC电路与所述MCU连接,所述MCU与所述无线通讯模块通信连接;所述第一带通滤波器、第二带通滤波器、第三带通滤波器、第四带通滤波器、第五带通滤波器以及第六带通滤波器的中心频率分别与6个按钮的闪烁频率一致。
[0014]进一步地,所述第一带通滤波器、第二带通滤波器、第三带通滤波器、第四带通滤波器、第五带通滤波器以及第六带通滤波器的中心频率分别为7.3Hz、8.06Hz、9.25Hz、10.42Hz、11.62Hz、12.9Hz。
[0015]进一步地,所述并行列队竞争模块,用于按照以下方式对滤波处理后的6路脑电信号进行处理,输出最终脑电信号频率:以所述滤波处理后的6路脑电信号作为并行列队竞争算法的输入数据,设定并行列队竞争算法的初始参数,所述初始参数包括最小家族数N0,目标家族数Nt,子代数m;在每个通道中截取1024个点的AD数据,然后对所述AD数据进行FFT变换,剔除谐波频率后得出相应的信号频率和幅值,所述信号频率是以闪烁频率为中心频率的频率范围,频率范围是
±
1%;将所述信号频率和幅值作为家族内的单个个体,然后在所述信号频率、ADC电路的采样频率的约束范围内,随机产生N0个个体作为初始家族从而产生N0组操作条件;ADC电路的采本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于脑电检测的眼动跟踪AR界面导航系统,其特征在于,包括:6通道脑电信号采集模块(1)、AR设备主机(2)以及AR眼镜(3),所述6通道脑电信号采集模块(1)与所述AR设备主机(2)通信连接,所述AR设备主机(2)与所述AR眼镜(3)连接;所述6通道脑电信号采集模块(1),用于采集脑电信号,得到6路脑电信号,将所述6路脑电信号发送至AR设备主机(2);所述AR设备主机(2)包括无线通讯模块(21)、软件滤波模块(22)、并行列队竞争模块(23)以及界面导航模块(24);所述无线通讯模块(21),用于接收所述脑电信号;所述软件滤波模块(22),用于对所述6路脑电信号进行滤波处理;所述并行列队竞争模块(23),用于对滤波处理后的6路脑电信号进行并行列队竞争处理,输出最终脑电信号频率;所述界面导航模块(24),用于根据所述最终脑电信号频率确定目标按钮,从而实现界面导航;所述AR眼镜(3),用于显示6个按钮,所述6个按钮分别按照不同的预设频率闪烁,以使得当人眼凝视所述按钮2秒以上,人脑产生一个与所述按钮的预设频率相同的脑电信号。2.如权利要求1所述的基于脑电检测的眼动跟踪AR界面导航系统,其特征在于,所述6通道脑电信号采集模块(1)包括放大电路(10)、第一带通滤波器(11)、第二带通滤波器(12)、第三带通滤波器(13)、第四带通滤波器(14)、第五带通滤波器(15)、第六带通滤波器(16)、ADC电路(17)以及MCU(18);所述放大电路(10)分别通过第一带通滤波器(11)、第二带通滤波器(12)、第三带通滤波器(13)、第四带通滤波器(14)、第五带通滤波器(15)以及第六带通滤波器(16)与所述ADC电路(17)的6个通道连接,所述ADC电路(17)与所述MCU(18)连接,所述MCU(18)与所述无线通讯模块(21)通信连接;所述第一带通滤波器(11)、第二带通滤波器(12)、第三带通滤波器(13)、第四带通滤波器(14)、第五带通滤波器(15)以及第六带通滤波器(16)的中心频率分别与6个按钮的闪烁频率一致。3.如权利要求2所述的基于脑电检测的眼动跟踪AR界面导航系统,其特征在于,所述第一带通滤波器(11)、第二带通滤波器(12)、第三带通滤波器(13)、第四带通滤波器(14)、第五带通滤波器(15)以及第六带通滤波器(16)的中心频率分别为7.3Hz、8.06Hz、9.25Hz、10.42Hz、11.62Hz、12.9Hz。4.如权利要求3所述的基于脑电检测的眼动跟踪AR界面导航系统,其特征在于,所述并行列队竞争模块(23),用于按照以下方式对滤波处理后的6路脑电信号进行处理,输出最终脑电信号频率:以所述滤波处理后的6路脑电信号作为并行列队竞争算法的输入数据,设定并行列队竞争算法的初始参数,所述初始参数包括最小家族数N0,目标家族数Nt,子代数m;在每个通道中截取1024个点的AD数据,然后对所述AD数据进行FFT变换,剔除谐波频率后得出相应的信号频率和幅值,所述信号频率是以闪烁频率为中心频率的频率范围,频率范围是
±
1%;将所述信号频率和幅值作为家族内的单个个体,然后在所述信号频率、ADC电路(17)的采样频率的约束范围内,随机产生N0个个体作为初始家族从而产生N0组操作条件;ADC电路(17)的采样频率在如下集合内逐一采集:{50Hz,100Hz,200Hz,300Hz,400Hz};计算每个通道的目的函数值,所述目标函数值代表6个界面按钮的闪烁频率;计算出N0组操作条件所对应的信号频率,N0组操作条件所对应的信号频率值为:f(1)=
={f1,f2,f3,f4,f5,f6}={ 7.3Hz,8.06Hz,9.25Hz,10.42Hz,11.62Hz,12.9Hz};按照各家族的适应性将它们排成一个列队,所述适应性是每个通道的输出目标函数值所对应的信号幅值最大数据;根据非支配排序等级和拥挤度距离分配搜索空间,处于非支配排序等级靠前的家族,分配较少的搜索空间,等级靠后的家族,分配较大的搜索空间;当各家间处于同一等级时,拥挤度距离较小的家族分配较小的搜索空间,拥挤度距离较大的家族分配较大的搜索空间;搜索空间分配方法如下:设D(K)为第K代时分配给最差家族的搜索空间,当K=l时,D(K):[B,A],B和A指第一代搜索空间内所对应的向量;各个家族根据在列队中的位置分配搜索空间,搜索空间的分配方案如下:列队名次
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ1ꢀꢀꢀꢀꢀꢀꢀꢀꢀ2ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
k
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
m;各家族的空间位置
ꢀꢀꢀꢀꢀꢀ
W1ꢀꢀꢀꢀꢀꢀꢀ
W2
…………
W
k
………ꢀ
W
m
;搜索空间大小
ꢀꢀꢀꢀꢀꢀ
D(K)/m
ꢀꢀꢀꢀ
2D(K)/m
……
kD(K)/m

mD(K)/m;第k个个体的搜索空间是以点W
k
为中心,以kΔ(K)/m为边长向量的一个矩形区域,矩形区域中变量的下界和上界的计算公式为:L
kj
=max(x
kj

Δ
j
k/2m,aj)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式1;U
kj =min(x
kj

j
k/2m,bj)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式2;j=1,2,
ꢀ……
s; k=1,2,
……
,m;aj为在搜索空间中变量的上界向量,bj为在搜索空间中变量的下界向量;向量[1/m,2/m,
……
,m/m]称为分配比例系数向量,从此向量可看出,当m较大时,列队中相邻家族分配的搜索空间相差较小,这将产生搜索空间的重叠,使搜索效率降低,m在5

10之间,最多不超过20;根据公式1和公式2可计算出:家族1分配的搜索区域为:7.1≤x1≤7.3; x2∈{50Hz,100Hz,200Hz,300Hz,400Hz}家族2分配的搜索区域为:8.0≤x1≤8.2;x2∈{50Hz,100Hz,200Hz,300Hz,400Hz}家族3分配的搜索区域为:9.1≤x1≤9.4;x2∈{50Hz,100Hz,200Hz,300Hz,400Hz}家族4分配的搜索区域为:10.2≤x1≤10.6;x2∈{50Hz,100Hz,200Hz,300Hz,400Hz}家族5分配的搜索区域为:11.5≤x1≤11.7;x2∈{50Hz,100Hz,200Hz,300Hz,400Hz}家族6分配的搜索区域为:12.7≤x1≤13.0;x2∈{50Hz,100Hz,200Hz,300Hz,400Hz}各家族在各自的搜索空间内进行繁殖,随机产生m个子代个体;其中,在各自的搜索区域内,分别按照{50Hz,100Hz,200Hz,300Hz,400Hz}这5个采集频率进行AD数据采集,截取1024个数据进行FFT变换,剔除谐波频率后得出相应的信号频率和幅值,所得到的频率为进行了1代繁殖;同一家族内,m个子代个体和父代个体一起进行非支配排序,只保留各自家族的非支配...

【专利技术属性】
技术研发人员:贾明霖孔德春姚远
申请(专利权)人:南京中谷芯信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1