一种基于深度学习的目标识别及反馈系统技术方案

本发明专利技术涉及一种基于深度学习的目标识别及反馈系统，属于视觉搜索人机交互领域，公开了一种基于外部注意力机制的深度学习网络对脑电信号进行分类识别的方法和一种脑电自动矫正方法，具有提高目标识别效率的效果。该系统包括离线训练模块：用于通过对用户进行视觉刺激，使用户产生与任务相关的脑电，并采集脑电数据作为训练样本；在线训练模块：用于在用户进行目标搜索时实时采集用户的脑电数据，并将目标识别模块识别的结果实时反馈给用户；脑电信号自动矫正模块：根据不同用户间的脑电差异，自动学习矫正函数，从而对脑电进行矫正，并将矫正后的脑电信号输入目标识别模块；目标识别模块：用于对脑电信号进行分析，识别出用户目标搜索的结果。目标搜索的结果。目标搜索的结果。

【技术实现步骤摘要】
一种基于深度学习的目标识别及反馈系统


[0001]本专利技术属于视觉搜索人机交互领域，涉及一种基于深度学习的目标识别及反馈系统。

技术介绍

[0002]随着社会的不断发展，脑科学也进入了一个快速的发展期，世界各科研强国相继吹响了探索大脑奥秘的号角，因此，以探索大脑奥秘、发展人机协同为导向的脑科学研究和发展人工智能技术为导向的类脑研究的中国脑计划也正式启动。脑电是从头皮表面记录到的大脑神经元电位变化，是大量神经元同步发生的突触后电位的总和，它是一种电场电位，在头表表现为不同点之间的电位差的变化，其主要来自兴奋性和抑制性突触后电位。虽然脑电信号被用来描述伴随心理过程的神经电生理变化的历史有几十年了，但直到20世纪90年代末，它才被用来研究认知相关任务。
[0003]传统的机器学习算法(例如SVM、KNN等)存在以下的缺点：(1)将特征提取和特征分类分开，增加了工作量；(2)对脑电经过繁杂的预处理，再利用大量的先验知识来提取分类特征；(3)由于脑电信号涉及到时间、空间和频域等多个维度信息，人工提取特征的方式可能会忽略具有判别力的信息。
[0004]专利技术专利申请CN110610168A公开了一种基于自注意和通道注意以及LSTM的方法，该方法利用卷积神经网络(CNN)和通道注意力机制(Channel
‑
wise attention)提取原始EEG信号中的空间信息，再使用循环神经网络(RNN)和自注意力机制(Self
‑
attention)提取经过编码后样本中的时间信息，并最终得到EEG信号的分类特征。但是，该方法中使用的通道注意力机制和自注意力机制都是基于数据自身的注意力机制，没有考虑到用户在同种任务下脑电的共性；该方法中使用的注意力机制和RNN网络计算的复杂度非常高，从而消耗更多的计算资源；该方法使用的是整个脑电时间特征，没有考虑到在时间上动态变化过程，而且没有考虑数据之间的个体性差异与共性。
[0005]专利技术专利申请CN103077205A公开了基于脑电的图像检索系统，利用人类视觉系统在目标图像检测中的优势，设计一种新型的人机协同工作的图像检索系统。该方法没有在用户检索图像状态不佳的时候使用反馈模块帮助用户改善自己的状态，提高用户检索的精确度，而且其在分类模块使用的是传统的机器学习方法，需要进行手工提取等繁杂的工作。

技术实现思路

[0006]有鉴于此，本专利技术的目的在于解决现有存在识别系统中没有将识别与训练相结合的系统，脑电识别方法计算过程复杂，神经网络中的注意力机制没有考虑数据之间关系以及计算复杂度高的问题，提供一种深度学习的目标识别及反馈系统。系统基于视觉刺激时的神经响应，检测了用户对目标识别的状态，并且对目标识别的结果给予反馈。通过这种反馈的形式来提高用户目标识别精度和速度。同时提出一个计算复杂度低，能够学习数据之间相关关系的目标识别方法。
[0007]为达到上述目的，本专利技术提供如下技术方案：
[0008]一种基于深度学习的目标识别及反馈系统，包括离线训练模块、在线训练模块、脑电信号矫正模块和目标识别模块；
[0009]所述目标识别模块采用基于外部注意力机制的深度学习网络对目标进行识别，所述深度学习网络包括注意块、时空卷积块和分类块，每个时空卷积块都是由一个或者多个隐藏层组成；所述注意块采用外部注意力机制对脑电信号特性进行增强与学习。
[0010]所述脑电信号矫正模块用于自动矫正不同用户之间的脑电差异，根据不同用户间脑电存在的差异，脑电矫正函数学习矫正参数，从而自动矫正脑电之间的差异，并将矫正后的脑电信号输入目标识别模块；
[0011]所述离线训练模块用于通过对用户进行视觉刺激，使用户搜索目标并产生与视觉搜索任务相关的脑电，同时采集用户脑电数据作为训练样本，输入脑电信号矫正模块进行自动矫正；
[0012]所述在线训练模块用于在用户进行目标搜索时实时采集用户的脑电数据，依次传输给脑电信号矫正模块和目标识别模块，并将目标识别模块识别的结果实时反馈给用户。
[0013]进一步，当用户对目标识别正确，给用户反馈正性界面；当用户对目标识别错误，在反馈负性界面，并标注出正确的目标位置，用户根据反馈结果调整自己的状态。
[0014]进一步，所述离线训练模块和在线训练模块均是通过视觉刺激子模块对用户进行视觉刺激，视觉目标刺激流程如下：
[0015]流程开始时，在一个黑色背景的屏幕中间出现一个固定“十”字，提醒用户开始训练；
[0016]在接下来的过程中刺激图片和中间有“十”字的黑色背景图片交替出现，刺激图片呈现的时间根据用户的适应情况适当调整；
[0017]当识别目标出现在“十”字左边时，用户需要按下鼠标左键，当识别目标出现在“十”字右边时，用户需要按下鼠标的右键；
[0018]在用户训练的过程中，使用国际10
‑
20系统来记录用户的脑电。
[0019]进一步，所述脑电信号矫正模块的矫正步骤如下：
[0020]S11：首先通过max函数找到与特定认知任务相关的激活点i：
[0021]i＝max(x2)
[0022]S12：获取深度学习网络所需要的特定认知状态分布脑电
[0023]x＝{c
i
‑
a
,
…
,c
i
‑
a+499
}
[0024]S13：对特定认知脑电信号进行映射，映射范围根据脑电进行学习，公式为：
[0025]o＝A(x)+β
[0026]其中，s为刺激开始点，a是根据特定认知任务设定的常量，A为可学习参数，β为范围矫正，o为矫正之后的脑电信号。
[0027]进一步，所述目标识别模块采用的外部注意力机制的深度学习网络包括注意块，时空卷积块和分类块，每个卷积块都是由一个或者多个隐藏层组成，网络搭建的具体流程如下：
[0028]在注意块中，执行两个步骤：一个卷积和一个特征注意层；首先，进行2D卷积时，输
出包含不同频率的脑电信号特征图，随后，进行注意步骤时，注意机制对学习到的脑电信号进行加权，从而获取关注的显著信号，对资源进行重新分配；
[0029]在时空卷积块中，执行两个卷积步骤：首先使用Depthwise卷积来学习一个空间滤波器；然后使用Separable卷积学习脑电的时间特征，Separable卷积核大小为(1,16)；在使用非线性激活函数ReLU之前，对特征图使用批归一化技术，防止梯度消失和梯度爆炸问题；然后使用dropout技术解决模型在训练过程中过拟合的问题；最后使用一个池化层来对特征进行降维；
[0030]通过分类快对特征进行分类：首先通过Flatten层将前面学习到的特征展开成一维向量，求出的两个神经元求概率，概率最大的那个神经元就是深度学习网络所求得的类别。
[0031]进一步，所述外部注意力机制用于对脑电中的特征进行注意力的重新分配以及特征的增强，包括以下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的目标识别及反馈系统，其特征在于：包括离线训练模块、在线训练模块、脑电信号矫正模块和目标识别模块；所述目标识别模块采用基于外部注意力机制的深度学习网络对目标进行识别，所述深度学习网络包括注意块、时空卷积块和分类块，每个时空卷积块都是由一个或者多个隐藏层组成；所述注意块采用外部注意力机制对脑电信号特性进行增强与学习；所述脑电信号矫正模块用于自动矫正不同用户之间的脑电差异，根据不同用户间脑电存在的差异，脑电矫正函数学习矫正参数，从而自动矫正脑电之间的差异，并将矫正后的脑电信号输入目标识别模块；所述离线训练模块用于通过对用户进行视觉刺激，使用户搜索目标并产生与视觉搜索任务相关的脑电，同时采集用户脑电数据作为训练样本，输入脑电信号矫正模块进行自动矫正；所述在线训练模块用于在用户进行目标搜索时实时采集用户的脑电数据，依次传输给脑电信号矫正模块和目标识别模块，并将目标识别模块识别的结果实时反馈给用户。2.根据权利要求1所述的基于深度学习的目标识别及反馈系统，其特征在于：当用户对目标识别正确，给用户反馈正性界面；当用户对目标识别错误，在反馈负性界面，并标注出正确的目标位置，用户根据反馈结果调整自己的状态。3.根据权利要求1所述的基于深度学习的目标识别及反馈系统，其特征在于：所述离线训练模块和在线训练模块均是通过视觉刺激子模块对用户进行视觉刺激，视觉目标刺激流程如下：流程开始时，在一个黑色背景的屏幕中间出现一个固定“十”字，提醒用户开始训练；在接下来的过程中刺激图片和中间有“十”字的黑色背景图片交替出现，刺激图片呈现的时间根据用户的适应情况适当调整；当识别目标出现在“十”字左边时，用户需要按下鼠标左键，当识别目标出现在“十”字右边时，用户需要按下鼠标的右键；在用户训练的过程中，使用国际10
‑
20系统来记录用户的脑电。4.根据权利要求1所述的基于深度学习的目标识别及反馈系统，其特征在于：所述脑电信号矫正模块的矫正步骤如下：S11：首先通过max函数找到与特定认知任务相关的激活点i：i＝max(x2)S12：获取深度学习网络所需要的特定认知状态分布脑电x＝{c
i
‑
a
,
…
,c
i
‑
a+499
}S13：对特定认知脑电信号进行映射，映射范围根据脑电进行学习，公式为：o＝A(x)...

【专利技术属性】
技术研发人员：田银，占益超，谭鉴玲，乔锐，周慧舒，赵云峰，黎晓红，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：