【技术实现步骤摘要】
本申请涉及眼动状态识别，特别是涉及一种基于双分支卷积网络的眼动状态识别方法、装置和设备。
技术介绍
1、人类的视觉认知是一个复杂的学习过程，其中注视分析是计算机视觉和人机交互领域的一个重要研究方向。从眼睛运动中获得的信息有助于理解复杂心理状态的洞察力，包括视觉注意和人类认知。精确的眼动状态检测在现实生活中有许多用例，例如残疾人的输入机制、车辆中驾驶员的注意力检测、在线考试中的作弊检测、增强现实等。眼动状态的识别是眼动应用的前提。大多数应用需要在受限的设备中使用并且要求高识别准确率，因此需要一种快速可靠的眼动注视检测方法。大多数现有研究识别眼动类别一般是识别眼睑的闭合、或者根据眼球运动的方向识别向上、向下、向左、向右、中间五种状态中的几类，在识别类别有限。识别的方法要么计算复杂度高，要么识别准确率不够高。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种非侵入式的基于双分支卷积网络的眼动状态识别方法、装置和设备，能够兼顾识别的准确性和实时性。
2、一种基于双分支卷积网络的眼动状态识别方法，所述方法包括：
3、获取待识别的双眼状态原始图像，对双眼状态原始图像进行分割，得到左右单眼图像；
4、将左右单眼图像分别输入训练好的不同的眼动状态识别分支网络中，得到左眼图像特征和右眼图像特征；眼动状态识别分支网络中包括多个层次级；每一层次级后方均设有block块；block块为双分支结构，其中一个分支为：一个部分卷积层，后跟两个逐点卷积层或两个1×1卷
5、将左眼图像特征和右眼图像特征输入训练好的注意力机制层，得到对应的左眼状态权重和右眼状态权重，并进一步输出双眼图像对应的眼动状态。
6、一种基于双分支卷积网络的眼动状态识别装置，所述装置包括：
7、原始图像处理模块，用于获取待识别的双眼状态原始图像，对双眼状态原始图像进行分割，得到左右单眼图像；
8、单眼图像特征提取模块，用于将左右单眼图像分别输入训练好的不同的眼动状态识别分支网络中，得到左眼图像特征和右眼图像特征；眼动状态识别分支网络中包括多个层次级；每一层次级后方均设有block块；block块为双分支结构，其中一个分支为：一个部分卷积层，后跟两个逐点卷积层或两个1×1卷积层，另一个分支为：两个3×3的深度可分离卷积层；两个分支在进行拼接操作和残差连接之间设有一个1×1卷积层；
9、眼动状态识别模块，用于将左眼图像特征和右眼图像特征输入训练好的注意力机制层，得到对应的左眼状态权重和右眼状态权重，并进一步输出双眼图像对应的眼动状态。
10、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
11、获取待识别的双眼状态原始图像，对双眼状态原始图像进行分割，得到左右单眼图像；
12、将左右单眼图像分别输入训练好的不同的眼动状态识别分支网络中，得到左眼图像特征和右眼图像特征；眼动状态识别分支网络中包括多个层次级；每一层次级后方均设有block块；block块为双分支结构，其中一个分支为：一个部分卷积层，后跟两个逐点卷积层或两个1×1卷积层，另一个分支为：两个3×3的深度可分离卷积层；两个分支在进行拼接操作和残差连接之间设有一个1×1卷积层；
13、将左眼图像特征和右眼图像特征输入训练好的注意力机制层，得到对应的左眼状态权重和右眼状态权重，并进一步输出双眼图像对应的眼动状态。
14、上述基于双分支卷积网络的眼动状态识别方法、装置和设备，相对现有技术具备以下优势：1)通过对原始的双眼图像进行裁剪，进而分别使用不同的分支网络去分别提取左右单眼的状态，如此，每个分支可以学习不同的特征表示，从而捕捉更多的信息，增强网络模型的表示能力，能够提升眼动状态识别的准确性。2)通过block块中的双分支卷积可以减少卷积操作中的计算冗余，将输入的图像特征分成两个分支，每个分支只处理一部分特征，可以减少计算量，提高网络模型的计算效率。具体体现为：一条分支通过pconv(部分卷积层)减少内存访问，另一条分支通过深度可分离卷积减少参数量；2.在双分支拼接操作后，残差连接前使用1x1的卷积降低了特征向量维度，减少了参数量，从这两个方面提高了网络推理速度，进而提升了眼动状态识别的实时性。3)通过注意力机制自适应调整提取到不同眼特征的权重，更有利于识别难以区分的眼动状态。综上，本专利技术能够兼顾眼动状态识别的准确性和实时性。
本文档来自技高网...【技术保护点】
1.一种基于双分支卷积网络的眼动状态识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述双眼状态原始图像是通过以下步骤处理得到的：
3.根据权利要求1所述的方法，其特征在于，所述眼动状态识别分支网络包括四个层次级；第一个层次级前面是一个嵌入层；所述嵌入层为步长为4的常规4×4卷积层；后三个层次级是合并层；所述合并层为步长为2的常规2×2卷积层，用于空间下采样和通道数量扩展。
4.根据权利要求3所述的方法，其特征在于，在第三个层次级的合并层后设有SE注意力模块；所述SE模块的处理过程为：
5.根据权利要求3所述的方法，其特征在于，各个层次级对应的BLOCK块数量分别为1、2、8和2。
6.根据权利要求1所述的方法，其特征在于，所述眼动状态识别分支网络的最后一个BLOCK块后跟一个全局平均池化层和一个1×1卷积层。
7.根据权利要求1所述的方法，其特征在于，所述注意力机制层为CA注意力机制层；
8.根据权利要求1所述的方法，其特征在于，所述眼动状态包括：向上、向下、向左
9.一种基于双分支卷积网络的眼动状态识别装置，其特征在于，所述装置包括：
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于双分支卷积网络的眼动状态识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述双眼状态原始图像是通过以下步骤处理得到的：
3.根据权利要求1所述的方法，其特征在于，所述眼动状态识别分支网络包括四个层次级；第一个层次级前面是一个嵌入层；所述嵌入层为步长为4的常规4×4卷积层；后三个层次级是合并层；所述合并层为步长为2的常规2×2卷积层，用于空间下采样和通道数量扩展。
4.根据权利要求3所述的方法，其特征在于，在第三个层次级的合并层后设有se注意力模块；所述se模块的处理过程为：
5.根据权利要求3所述的方法，其特征在于，各个层次级对应的block块数量分别...
【专利技术属性】
技术研发人员：邹刚，杨旺达，胡学英，闵晓珊，邹亮羽，杨健，罗李嘉诚，谢承霖，
申请(专利权)人：湖南焱炬医科制造有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。