基于球结膜血管图像识别的眼动跟踪系统及其方法技术方案

本申请涉及智能识别领域，其具体地公开了一种基于球结膜血管图像识别的眼动跟踪系统及其方法，其通过采用基于深度学习的神经网络模型挖掘出第一球结膜血管图像和第二球结膜图像中关于球结膜血管特征的差异性特征分布信息，以此来准确地进行更为精准地眼球追踪。以此来准确地进行更为精准地眼球追踪。以此来准确地进行更为精准地眼球追踪。

【技术实现步骤摘要】
基于球结膜血管图像识别的眼动跟踪系统及其方法


[0001]本申请涉及智能识别领域，且更为具体地，涉及一种基于球结膜血管图像识别的眼动跟踪系统及其方法。

技术介绍

[0002]随着建立在通讯和社交功能基础上的移动产业发展步入平稳期，以虚拟/增强现实为代表的新一代移动计算平台开始在工业应用领域大展身手，引领起人机协作等技术的新一轮研究和发展热潮。而新的可穿戴设备形态，就需要相应的安全、交互技术作为支撑。人体球结膜血管网，即眼纹，以测量简便、特征丰富等特点成为生物识别领域近十年最为重要的新兴技术，而且以更高的识别精度在目视跟踪任务中显现了巨大的发展潜力。球结膜血管网的特征识别和跟踪技术使得球结膜血管网成为眼纹识别、眼动跟踪和眼表诊断的共同测量目标，为在一个系统中能同时满足安全、交互和生理检测多方面的测量需求提供了基本的可能性。
[0003]当前针对球结膜血管网图像的研究受到了眼纹识别技术应用的推动而跨出传统的医学领域，而随着相关研究和应用的不断深入，围绕着结膜血管网特征识别和跟踪的主要问题也涌现出来，例如在眼纹识别研究中，不同深度的结膜血管间存在相对滑移和变形，导致结膜血管网图案随眼球转动而变化，难以对其中的特征进行精确的识别和跟踪，是当前眼纹识别精度提升的主要瓶颈之一。并且，目前缺乏球结膜血管网成像分析的理论依据，难以在血管网运动变形情况下进行高精度的特征识别和跟踪，是目前阻碍结膜血管网在医学、生物识别、人机交互等领域应用的主要问题。
[0004]因此，期望一种基于球结膜血管图像识别的眼动跟踪系统。/>
技术实现思路

[0005]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于球结膜血管图像识别的眼动跟踪系统，其通过采用基于深度学习的神经网络模型挖掘出第一球结膜血管图像和第二球结膜图像中关于球结膜血管特征的差异性特征分布信息，以此来准确地进行两个眼球是否为同一眼球的识别检测，从而提高眼球追踪精度。
[0006]根据本申请的一个方面，提供了一种基于球结膜血管图像识别的眼动跟踪系统，其包括：图像数据采集模块，用于获取第一球结膜血管图像和第二球结膜图像；光学成像模型构建模块，用于构建所述第一球结膜血管图像对应的第一三维组织光学成像模型和所述第二球结膜图像对应的第二三维组织光学成像模型；分层图像提取模块，用于提取所述第一三维组织光学成像模型的多个第一分层图像和提取所述第二三维组织光学成像模型的多个第二分层图像；空间特征增强模块，用于将所述多个第一分层图像和所述多个第二分层图像分别通过使用空间注意力机制的卷积神经网络模型以得到多个第一分层特征矩阵和多个第二分层特征矩阵；差分模块，用于计算所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩
阵以得到由多个差分特征矩阵聚合而成的分类特征图；优化模块，用于对所述分类特征图进行特征分布调制以得到优化分类特征图；结果评估模块，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一球结膜血管图像和第二球结膜图像中的眼球是否属于同一对象；以及追踪模块，用于基于所述分类结果，进行眼球追踪。
[0007]在上述基于球结膜血管图像识别的眼动跟踪系统中，所述空间特征增强模块，包括：第一深度卷积编码单元，用于使用所述卷积神经网络模型的各层在层的正向传递中分别对所述多个第一分层图像和所述多个第二分层图像进行卷积处理、基于局部特征矩阵的池化处理和非线性激活处理以由所述卷积神经网络模型的最后一层输出多个初始空间增强特征图；以及，空间注意力单元，用于将所述多个初始空间增强特征图输入所述卷积神经网络模型的空间注意力层以得到所述多个第一分层特征矩阵和所述多个第二分层特征矩阵。
[0008]在上述基于球结膜血管图像识别的眼动跟踪系统中，所述差分模块，用于：以如下公式计算所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩阵以得到多个差分特征矩阵；其中，所述公式为：其中，和表示所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵，表示所述多个差分特征矩阵，表示按位置差分。
[0009]在上述基于球结膜血管图像识别的眼动跟踪系统中，所述优化模块，包括：特征图展开单元，用于将所述分类特征图展开为分类特征向量；结构优化单元，用于对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到优化分类特征向量；以及，重构单元，用于将所述优化分类特征向量进行维度重构以得到所述优化分类特征图。
[0010]在上述基于球结膜血管图像识别的眼动跟踪系统中，所述结构优化单元，用于：以如下公式对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到所述优化分类特征向量；其中，所述公式为：，其中是所述分类特征向量，和分别是所述分类特征向量和所述优化分类特征向量的第个位置的特征值，且是行向量形式，和是所述分类特征向量的各个位置特征值集合的均值和方差，表示向量的二范数的平方，表示矩阵的Frobenius范数，表示指数运算。
[0011]在上述基于球结膜血管图像识别的眼动跟踪系统中，所述结果评估模块，包括：展开单元，用于将所述优化分类特征图基于行向量或列向量展开为展开分类特征向量；全连接编码单元，用于使用所述分类器的多个全连接层对所述展开分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果生成单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
[0012]根据本申请的另一方面，提供了一种基于球结膜血管图像识别的眼动跟踪方法，其包括：获取第一球结膜血管图像和第二球结膜图像；构建所述第一球结膜血管图像对应的第一三维组织光学成像模型和所述第二球结膜图像对应的第二三维组织光学成像模型；提取所述第一三维组织光学成像模型的多个第一分层图像和提取所述第二三维组织光学成像模型的多个第二分层图像；将所述多个第一分层图像和所述多个第二分层图像分别通
过使用空间注意力机制的卷积神经网络模型以得到多个第一分层特征矩阵和多个第二分层特征矩阵；计算所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩阵以得到由多个差分特征矩阵聚合而成的分类特征图；对所述分类特征图进行特征分布调制以得到优化分类特征图；将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一球结膜血管图像和第二球结膜图像中的眼球是否属于同一对象；以及基于所述分类结果，进行眼球追踪。
[0013]根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于球结膜血管图像识别的眼动跟踪方法。
[0014]根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于球结膜血管图像识别的眼动跟踪系统，其特征在于，包括：图像数据采集模块，用于获取第一球结膜血管图像和第二球结膜图像；光学成像模型构建模块，用于构建所述第一球结膜血管图像对应的第一三维组织光学成像模型和所述第二球结膜图像对应的第二三维组织光学成像模型；分层图像提取模块，用于提取所述第一三维组织光学成像模型的多个第一分层图像和提取所述第二三维组织光学成像模型的多个第二分层图像；空间特征增强模块，用于将所述多个第一分层图像和所述多个第二分层图像分别通过使用空间注意力机制的卷积神经网络模型以得到多个第一分层特征矩阵和多个第二分层特征矩阵；差分模块，用于计算所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩阵以得到由多个差分特征矩阵聚合而成的分类特征图；优化模块，用于对所述分类特征图进行特征分布调制以得到优化分类特征图；结果评估模块，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示第一球结膜血管图像和第二球结膜图像中的眼球是否属于同一对象；以及追踪模块，用于基于所述分类结果，进行眼球追踪。2.根据权利要求1所述的基于球结膜血管图像识别的眼动跟踪系统，其特征在于，所述空间特征增强模块，包括：第一深度卷积编码单元，用于使用所述卷积神经网络模型的各层在层的正向传递中分别对所述多个第一分层图像和所述多个第二分层图像进行卷积处理、基于局部特征矩阵的池化处理和非线性激活处理以由所述卷积神经网络模型的最后一层输出多个初始空间增强特征图；以及空间注意力单元，用于将所述多个初始空间增强特征图输入所述卷积神经网络模型的空间注意力层以得到所述多个第一分层特征矩阵和所述多个第二分层特征矩阵。3.根据权利要求2所述的基于球结膜血管图像识别的眼动跟踪系统，其特征在于，所述差分模块，用于：以如下公式计算所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵之间的差分特征矩阵以得到多个差分特征矩阵；其中，所述公式为：其中，和表示所述多个第一分层特征矩阵和所述多个第二分层特征矩阵中每组对应的第一分层特征矩阵和第二分层特征矩阵，表示所述多个差分特征矩阵，表示按位置差分。4.根据权利要求3所述的基于球结膜血管图像识别的眼动跟踪系统，其特征在于，所述优化模块，包括：特征图展开单元，用于将所述分类特征图展开为分类特征向量；结构优化单元，用于对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到优化分类特征向量；以及重构单元，用于将所述优化分类特征向量进行维度重构以得到所述优化分类特征图。5.根据权利要求4所述的基于球结膜血管图像识别的眼动跟踪系统，其特征在于，所述结构优化单元，用于：以如下公式对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到所述优化分类特征向量；其中，所述公式为：，其中是所述分类特征向量，和分别是所述分类特征向量和所述优化分类特征向量的第个位置的特征值，且是行向量形式，和是所述分类特征向量的各个位置特征值集合的均值和方差，表示向量的二范数的平方，表示矩阵的Frobenius范数，表示指
数运算。6.根据权利要求5所述的基于球结膜血管图像识别的眼动跟踪系统，其特征在于，所述结果评估模块，包括：展开单元，用于将所述优化...

【专利技术属性】
技术研发人员：马祥，王建伟，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：