【技术实现步骤摘要】
本申请涉及计算机视觉领域、眼动追踪和心理分析领域，特别涉及一种基于图像特征提取和时空序列分析的眼动分类方法及系统。
技术介绍
1、眼动技术是研究人类视觉过程的重要工具，能够帮助我们了解视觉注意力、认知过程和用户体验等方面的信息，它可以帮助我们更好地理解眼动数据背后的视觉认知过程，改善人机交互体验和用户界面设计，同时，这些技术方法也可以应用于其他领域，如眼动驾驶行为识别、眼动疲劳检测等，为我们提供更多的洞察和解决方案。如眼动仪的产生被认为是一种划时代的眼动技术研究仪器，其原理利用摄像机获取眼部图像，接着通过图像处理得到瞳孔位置（像素坐标），然后将这个位置信息通过内置的算法计算，以获得用户在所看的界面上视线的落点，即用户当前注视点在界面上的位置。
2、在眼动数据的分析中，时空序列分析是另一种常见的眼动分类方法，它基于眼动数据的时序性和空间关系。眼动数据可以被看作是一个包含时间维度的序列，并且眼睛的运动在空间上具有一定的相关性。利用时空序列分析方法，可以通过建立模型来捕捉眼动数据中的时序和空间特征，常用的时空序列分析方法包括马尔可夫模型（markov models）、隐马尔可夫模型（hidden markov models, hmm）以及循环神经网络（recurrent neuralnetworks, rnn）等。基于图像特征提取的眼动分类方法也较为常用，它们通常利用计算机视觉技术从眼动图像中提取特定的视觉特征，常用的图像特征提取方法包括局部二值模式、梯度方向直方图等。通过提取这些特征，可以将眼动数据转化为计算机能够处理的
3、然而，时空序列分析虽然具有一定的数学理论支撑，但无法在更高维度上获取眼动序列的深层次信息；基于图像特征提取的眼动分类方法过于关注图像本身，忽略了眼动轨迹的时空信息；现有的机器学习算法缺乏具体眼动信息的判定，并且丢弃了眼动事件等信息。因此，现有技术不能更全面地捕捉眼动数据中的特征信息，导致对于眼动分类的准确性和可靠性不足。
技术实现思路
1、基于此，本申请提出一种基于图像特征提取和时空序列分析的眼动分类方法及系统，旨在能够解决现有技术不能更全面地捕捉眼动数据中的特征信息，导致对于眼动分类的准确性和可靠性不足的问题。
2、实施例的第一方面提供了一种基于图像特征提取和时空序列分析的眼动分类方法，包括：
3、获取图像样本和眼动序列；
4、将所述眼动序列输入到改进后的i-vt滤波算法中，以根据所述改进后的i-vt滤波算法对所述眼动序列分别进行间隙填充插值操作、降噪操作、速度计算操作以及合并注视点操作，并将每种操作提取的特征进行融合，得到眼动浅层特征；
5、根据语义分割模型deeplabv3从所述图像样本中获取图像语义特征，并将所述眼动浅层特征与所述图像语义特征进行融合，得到眼动融合特征；
6、将所述眼动融合特征输入lstm眼动序列分类网络中，以根据输出结果获取眼动分类结果。
7、作为第一方面的一种可选实施方式，所述将所述眼动序列输入到改进后的i-vt滤波算法中，以根据所述改进后的i-vt滤波算法对所述眼动序列分别进行间隙填充插值操作、降噪操作、速度计算操作以及合并注视点操作，并将每种操作提取的特征进行融合，得到眼动浅层特征的步骤包括：
8、通过所述间隙填充插值操作填补所述眼动序列中非采取误差导致的特殊眼动序列；
9、确定填充间隙的间隙时间，选取所述间隙时间之前最后一个眼动样本的位置数据和间隙时间之后第一个眼动样本的位置数据，将比例因子与所述间隙之后的第一个眼动样本的位置数据相乘，所得结果与所述间隙时间之前最后一个眼动样本的位置数据相加，得到当前特殊眼动样本的替换值，其中，所述比例因子的计算公式为：
10、，
11、其中，s表示比例因子，t1表示将要被替换的眼动样本的时间戳，t2表示间隙之前的最后一个眼动样本的时间戳，t3表示间隙开始时的时间戳，t4表示间隙结束时的时间戳。
12、通过所述降噪操作平均化所述眼动序列中的眼动位置；
13、以所述眼动序列中包含的任一时刻为时间节点，并分别选取位于所述时间节点前后的n个样本，并计算出2n个样本的平均眼动位置：
14、，
15、其中，为降噪后的眼动数据，n为当前降噪位置，k为在-n到n之间的第k个累加索引值，x为需要降噪的眼动序列。
16、通过所述速度计算操作获得所述眼动序列中的眼动线速度:
17、，
18、其中，表示眼动线速度，表示t1时刻和t2时刻的窗口长度，表示t1时刻到t2时刻之间眼睛注视的直线距离差，、分别表示t1时刻和t2时刻眼睛注视的直线距离。
19、通过所述合并注视点操作对所述眼动序列中的相邻注视点进行归类；
20、判断任一所述相邻注视点是否满足预设合并归类条件，所述预设合并归类条件包括下一个注视点与当前注视点间隔时间小于第一预设时间阈值、且下一个注视点与当前注视点的注视圆心距离转换成视角后小于第二预设视角阈值、且注视点的持续注视时间大于第三预设时间阈值；
21、若当前判断的所述相邻注视点满足预设合并归类条件，则对所述相邻注视点合并归类为扫视。
22、作为第一方面的一种可选实施方式，所述根据语义分割模型deeplabv3从所述图像样本中获取图像语义特征的步骤包括：
23、所述语义分割模型deeplabv3包括主干网络、多尺度融合模块和解码器，通过所述主干网络提取图像的高级特征，通过所述多尺度融合模块捕获图像的上下文信息，通过所述解码器输出图像特征。
24、作为第一方面的一种可选实施方式，所述通过所述多尺度融合模块捕获图像的上下文信息的步骤包括：
25、利用多个并行的空洞卷积分支以不同的采样率进行提取特征，再将提取的特征进行融合，空洞卷积的公式为：
26、，
27、其中，x表示输入，y表示输出，w表示卷积核，k表示累加索引值,i表示输入和输出上的位置，r表示膨胀系数。
28、作为第一方面的一种可选实施方式，所述通过所述解码器输出图像特征的步骤包括：
29、deeplabv3在编码器的输出中增加上采样层；
30、利用跳跃连接融合编码器不同层的特征图和解码器的特征图，再输入所述上采样层进行上采样操作。
31、作为第一方面的一种可选实施方式，所述将所述眼动浅层特征与所述图像语义特征进行融合，获得眼动融合特征的步骤包括：
32、构造所述眼动浅层特征与所述图像语义特征融合的一维向量，所述一维向量本文档来自技高网...
【技术保护点】
1.基于图像特征提取和时空序列分析的眼动分类方法，其特征在于，所述方法包括：
2.根据权利要求1所述的眼动分类方法，其特征在于，所述将所述眼动序列输入到改进后的I-VT滤波算法中，以根据所述改进后的I-VT滤波算法对所述眼动序列分别进行间隙填充插值操作、降噪操作、速度计算操作以及合并注视点操作，并将每种操作提取的特征进行融合，得到眼动浅层特征的步骤包括：
3.根据权利要求1所述的眼动分类方法，其特征在于，所述将所述眼动序列输入到改进后的I-VT滤波算法中，以根据所述改进后的I-VT滤波算法对所述眼动序列分别进行间隙填充插值操作、降噪操作、速度计算操作以及合并注视点操作，并将每种操作提取的特征进行融合，得到眼动浅层特征的步骤包括：
4.根据权利要求1所述的眼动分类方法，其特征在于，所述将所述眼动序列输入到改进后的I-VT滤波算法中，以根据所述改进后的I-VT滤波算法对所述眼动序列分别进行间隙填充插值操作、降噪操作、速度计算操作以及合并注视点操作，并将每种操作提取的特征进行融合，得到眼动浅层特征的步骤包括：
5.根据权利要求1所述的眼动
6.根据权利要求1所述的眼动分类方法，其特征在于，所述根据语义分割模型DeepLabv3从所述图像样本中获取图像语义特征的步骤包括：
7.根据权利要求6所述的眼动分类方法，其特征在于，所述通过所述多尺度融合模块捕获图像的上下文信息的步骤包括：
8.根据权利要求6所述的眼动分类方法，其特征在于，所述通过所述解码器输出图像特征的步骤包括：
9.根据权利要求1所述的眼动分类方法，其特征在于，所述将所述眼动浅层特征与所述图像语义特征进行融合，获得眼动融合特征的步骤包括：
10.基于图像特征提取和时空序列分析的眼动分类系统，其特征在于，所述系统包括：
...【技术特征摘要】
1.基于图像特征提取和时空序列分析的眼动分类方法，其特征在于，所述方法包括：
2.根据权利要求1所述的眼动分类方法，其特征在于，所述将所述眼动序列输入到改进后的i-vt滤波算法中，以根据所述改进后的i-vt滤波算法对所述眼动序列分别进行间隙填充插值操作、降噪操作、速度计算操作以及合并注视点操作，并将每种操作提取的特征进行融合，得到眼动浅层特征的步骤包括：
3.根据权利要求1所述的眼动分类方法，其特征在于，所述将所述眼动序列输入到改进后的i-vt滤波算法中，以根据所述改进后的i-vt滤波算法对所述眼动序列分别进行间隙填充插值操作、降噪操作、速度计算操作以及合并注视点操作，并将每种操作提取的特征进行融合，得到眼动浅层特征的步骤包括：
4.根据权利要求1所述的眼动分类方法，其特征在于，所述将所述眼动序列输入到改进后的i-vt滤波算法中，以根据所述改进后的i-vt滤波算法对所述眼动序列分别进行间隙填充插值操作、降噪操作、速度计算操作以及合并注视点操作，并将每种操作提取的特征进行融合，得...
【专利技术属性】
技术研发人员：李汉曦，胡付芝，胡笑羽，范巍，王文浩，
申请(专利权)人：江西师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。