一种二维光标控制方法和装置制造方法及图纸

本发明专利技术公开了一种二维光标控制方法和装置，所述方法包括：将第一提取结果和第二提取结果输入至预设分类模型中进行分类处理，得到对应的分类结果；根据高斯过程回归模型对分类结果进行回归预测，预测出二维光标的目标位置；控制二维光标移动至目标位置。因此，采用本申请实施例，通过将眼动信号对应的第一提取结果和脑电信号对应的第二提取结果输入至预设分类模型中进行分类处理，得到对应的分类结果，并根据高斯过程回归模型对分类结果进行回归预测，能够精准地预测二维光标的目标位置，并控制二维光标移动至预测出的目标位置。

【技术实现步骤摘要】
一种二维光标控制方法和装置
本专利技术结合眼动追踪技术、虚拟现实技术及脑机接口技术，涉及图像处理、信号编/解码领域，特别涉及一种二维光标控制方法和装置。
技术介绍
眼睛是人类从周围世界中获取信息的重要器官。人所接收到的外界信息有80％来自于眼睛所建立的视觉通道，同时人在进行思维或者心理活动时会将其活动过程反映在眼动行为上。眼动追踪技术是指通过测量眼睛的注视点位置或者眼球相对头部的运动而实现对眼球运动的追踪。当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，计算机通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化，预测用户的状态和需求并进行响应，达到用眼睛控制设备的目的。可以说，眼动追踪技术是当前科技允许的条件下，“透视”人类思维的最为直观有效的途径。相比于传统交互方式，虚拟现实(virtualreality,VR)技术模拟出的环境真实性与现实世界难辨真假，让人有种身临其境的感觉。同时，虚拟现实技术具有一切人类所拥有的感知功能系统和超强仿真系统，真正实现了人机交互，使人在操作过程中，可以得到环境中最真实的反馈。正是由于其沉浸性、交互性、多感知性、构想性及自主性，虚拟现实技术的应用场景越来越广泛。而结合了眼动追踪技术的VR头显，可以提供一种更加真实和自然的数字化交互方式。这种交互方式可以用于军事模拟训练，模拟现实中难以布置的战场环境，以及应对战争的超高压状态和如何在敌人火力凶猛的情况下瞄准并击中目标。同时，随着远程遥控技术的提高，VR头显因具备宽广的观察角度及极强的代入感，将成为军用无人机、遥控机器人等设备的最佳观察遥控平台，极大的降低对战斗人员的消耗。由于VR的交互能力依赖于立体显示和传感器技术的发展，现有的力学和触觉传感装置还不够成熟，导致VR设备的追踪精度和跟踪范围也有待提高。
技术实现思路
本申请实施例提供了一种二维光标控制方法和装置。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。第一方面，本申请实施例提供了一种二维光标控制方法，所述方法包括：获取信号采集模块采集到的眼动信号和脑电信号；对所述眼动信号进行第一预处理，得到预处理后的眼动信号，以及对所述脑电信号进行第二预处理，得到预处理后的脑电信号；对所述预处理后的眼动信号进行特征提取，得到至少包括眼动信号特征的第一提取结果；以及对所述预处理后的脑电信号进行特征提取，得到至少包括脑电信号特征的第二提取结果；将所述第一提取结果和所述第二提取结果输入至预设分类模型中进行分类处理，得到对应的分类结果；根据高斯过程回归模型对所述分类结果进行回归预测，预测出二维光标的目标位置，其中，所述高斯过程回归模型用于预测所述二维光标的所述目标位置；控制所述二维光标移动至所述目标位置。第二方面，本申请实施例提供了一种二维光标控制装置，所述装置包括：获取模块，用于获取信号采集模块采集到的眼动信号和脑电信号；预处理模块，用于对所述获取模块获取到的所述眼动信号进行第一预处理，得到预处理后的眼动信号，以及对所述脑电信号进行第二预处理，得到预处理后的脑电信号；特征提取模块，用于对所述预处理模块得到的所述预处理后的眼动信号进行特征提取，得到至少包括眼动信号特征的第一提取结果；以及对所述预处理模块得到的所述预处理后的脑电信号进行特征提取，得到至少包括脑电信号特征的第二提取结果；分类模块，用于将所述特征提取模块提取的所述第一提取结果和所述第二提取结果输入至预设分类模型中进行分类处理，得到对应的分类结果；预测模块，用于根据高斯过程回归模型对所述分类模块分类得到的所述分类结果进行回归预测，预测出二维光标的目标位置，其中，所述高斯过程回归模型用于预测所述二维光标的所述目标位置；控制模块，用于控制所述二维光标移动至所述预测模块预测的所述目标位置。本申请实施例提供的技术方案可以包括以下有益效果：在眼动追踪技术及虚拟现实技术的基础上，结合了脑机接口技术，即由伪随机序列编码刺激的模式来诱发大脑编码调制视觉诱发电位信号。通过对眼动信号及编码调制视觉诱发电位信号的特征值融合，建立高斯过程回归模型，预测目标位置，最终实现二维光标的控制移动。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1是本申请实施例提供的一种二维光标控制方法的流程示意图；图2是本申请实施例提供的一种二维光标控制方法的使用流程示意图；图3是本申请实施例提供的一种二维光标控制方法的工作原理示意图；图4是本申请实施例提供的一种二维光标控制方法的光标指令识别流程图；图5是本申请实施例提供的一种二维光标控制装置的闪烁编码刺激原理示意图；图6是本申请实施例提供的一种二维光标控制装置的模块示意图；图7是本申请实施例提供的另一种二维光标控制装置的结构示意图。具体实施方式以下描述和附图充分地示出本专利技术的具体实施方案，以使本领域的技术人员能够实践它们。应当明确，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。在本专利技术的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。此外，在本专利技术的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。到目前为止，由于VR设备的追踪精度和跟踪范围优先，因此，无法实现对二维光标的精准控制。为此，本申请提供了一种二维光标控制方法和装置，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，在眼动追踪技术及虚拟现实技术的基础上，结合了脑机接口技术，即由伪随机序列编码刺激的模式来诱发大脑编码调制视觉诱发电位(code-modulatedvisualevokedpotentials,cVEPs)信号。通过对眼动信号及cVEPs信号的特征值融合，建立高斯过程回归模型，预测目标本文档来自技高网...

【技术保护点】
1.一种二维光标控制方法，其特征在于，所述方法包括：/n获取信号采集模块采集到的眼动信号和脑电信号；/n对所述眼动信号进行第一预处理，得到预处理后的眼动信号，以及对所述脑电信号进行第二预处理，得到预处理后的脑电信号；/n对所述预处理后的眼动信号进行特征提取，得到至少包括眼动信号特征的第一提取结果；以及对所述预处理后的脑电信号进行特征提取，得到至少包括脑电信号特征的第二提取结果；/n将所述第一提取结果和所述第二提取结果输入至预设分类模型中进行分类处理，得到对应的分类结果；/n根据高斯过程回归模型对所述分类结果进行回归预测，预测出二维光标的目标位置，其中，所述高斯过程回归模型用于预测所述二维光标的所述目标位置；/n控制所述二维光标移动至所述目标位置。/n

【技术特征摘要】
1.一种二维光标控制方法，其特征在于，所述方法包括：
获取信号采集模块采集到的眼动信号和脑电信号；
对所述眼动信号进行第一预处理，得到预处理后的眼动信号，以及对所述脑电信号进行第二预处理，得到预处理后的脑电信号；
对所述预处理后的眼动信号进行特征提取，得到至少包括眼动信号特征的第一提取结果；以及对所述预处理后的脑电信号进行特征提取，得到至少包括脑电信号特征的第二提取结果；
将所述第一提取结果和所述第二提取结果输入至预设分类模型中进行分类处理，得到对应的分类结果；
根据高斯过程回归模型对所述分类结果进行回归预测，预测出二维光标的目标位置，其中，所述高斯过程回归模型用于预测所述二维光标的所述目标位置；
控制所述二维光标移动至所述目标位置。


2.根据权利要求1所述的方法，其特征在于，在所述将所述第一提取结果和所述第二提取结果输入至预设分类模型中进行分类处理之前，所述方法还包括：
读取所述眼动信号特征，
其中，所述眼动信号特征包括以下至少一项：
用户瞳孔特征、用户注视点数目特征和用户眼部注视时长特征。


3.根据权利要求1所述的方法，其特征在于，在所述将所述第一提取结果和所述第二提取结果输入至预设分类模型中进行分类处理之前，所述方法还包括：
读取所述脑电信号特征，
其中，所述脑电信号特征包括以下至少一项：
所述脑电信号对应的频率特征和所述脑电信号对应的相位特征。


4.根据权利要求1所述的方法，其特征在于，所述对所述眼动信号进行第一预处理，得到预处理后的眼动信号包括：
对眼部图像进行数据平滑处理和/或去噪滤波处理，得到包含所述眼动信号的眼部待处理数据；
从所述眼部待处理数据中剔除无效区域的数据，得到有效区域对应的第一有效数据；
利用矩阵法从所述第一有效数据中确定出与用户感兴趣区域对应的第二有效数据；
通过第一预处理模型，对所述第二有效数据进行预处理，得到预处理后的眼动信号。


5...

【专利技术属性】
技术研发人员：范晓丽，王怡静，闫野，印二威，邓宝松，张久松，徐梦菲，谢良，罗治国，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，天津滨海人工智能军民融合创新中心，
类型：发明
国别省市：北京;11