【技术实现步骤摘要】
本专利技术涉及一种眼震分类方法，尤其是涉及一种基于时间序列预测的多视图眼震分类方法及系统。
技术介绍
1、头晕和眩晕是许多疾病的常见临床症状和典型症状。在我国人口众多、老龄化加剧的社会中，头晕和眩晕的患者数量日益增加。在头晕、眩晕的床旁检查中，眼球震颤是前庭病变最敏感、最具特异性的体征。通过临床采集的眼球运动视频测量眼球震颤模式，可为头晕和眩晕的诊断提供有价值的参考依据。在临床中，视频眼震图(vng)检查是诊断良性阵发性位置性眩晕(bppv)的金标准，它需要医疗专业人员在vng视频上检查眼球震颤的方向、频率、强度、持续时间和强度变化。这是一个受医生经验影响很大的繁琐过程，容易出错。现有的基于机器学习或者基于深度学习的方法存在着许多不足之处，其主要集中于提取特征能力不强，对眼球轴向旋转矢量特征提取困难，有些算法只能对水平和垂直两种眼震进行识别，或者只能进行二分类，具有较强的局限性。
2、在线性代数中，gram矩阵可以表示为一组向量在内积空间中的hermitian矩阵，其值由元素的向量内积决定。gram矩阵在数学、控制系统理论、机器学习等领域中均有着广泛的应用。gram矩阵在一定程度上可以衡量两个向量的相似程度，在图片风格转换、序列化数据分类(如时间序列、声音事件)等机器学习任务中均有应用。依据gram矩阵的性质，可以衡量在时序数据中点与点之间的关系。
3、最近的研究证实，神经网络与微分方程存在关系。例如，具有残差机构的网络可以表示为离散常微分方程。神经常微分方程是将离散化步骤设为0所得到的一种连续化的模型。
4、目前，在临床上，医疗影像已经得到极为广泛的应用，成为诊断疾病不可或缺的途径。眼震视频分类任务可以看做是视频理解领域中的动作识别问题。3d卷积神经网络(3d-cnn)是解决动作识别问题的一个经典算法，通过在空间和时间维度上进行3d卷积，从而更好的捕获视频流中的运动信息。事实上，在很多情况下，动作识别需要依赖场景提供一定的先验知识，但是vng视频的场景单一，且目标相似和眼球运动幅度较小，很难提供有效的先验知识用于训练。
5、因此，如何准确的提取视频眼震图特征，对多种类型复合的眼震进行准确分类，成为需要解决的技术问题。
技术实现思路
1、本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于时间序列预测的多视图眼震分类方法及系统。
2、本专利技术的目的可以通过以下技术方案来实现：
3、一种基于时间序列预测的多视图眼震分类方法，包括以下步骤：
4、s1、读取输入的视频眼震图；
5、s2、对步骤s1得到的视频眼震图进行预处理，得到预处理后的视频眼震图数据；
6、s3、采用神经网络算法对步骤s2中预处理后的视频眼震图数据进行特征提取；其中所述神经网络算法结合了改进多头注意力机制和神经常微分方程，改进多头注意力机制为线性化改进；
7、s4、根据步骤s3提取得到的特征进行眼震分类。
8、进一步地，所述的视频眼震图为标准音频视频交错格式或动态图像专家组格式。
9、进一步地，所述对步骤s1得到的视频眼震图进行预处理包括以下步骤：
10、将彩色视频眼震图转换为灰度图；
11、利用霍夫圆变换和轮廓检测算法获取视频眼震图中的瞳孔中心位置；
12、按照时间顺序记录瞳孔坐标，将瞳孔坐标转化为时间序列数据；
13、将所述时间序列数据进行归一化处理，转化为gram特征图。
14、进一步地，所述神经网络算法结合神经常微分方程具体为：将神经网络看作一种随机连续化的系统，使用神经常微分方程求解器来对神经网络隐藏状态在时间连续的条件下进行动力学建模，激活函数为relu函数。
15、进一步地，将常规多头自注意力机制中的softmax函数改为可分解的核函数，选择余弦相似度函数作为核函数，完成对多头注意力机制的低秩线性化改进。
16、一种基于时间序列预测的多视图眼震分类系统，包括视频数据库构建子系统，用于读取输入的视频眼震图，并对其进行预处理；
17、眼震预测子系统，用于通过引入了改进多头注意力机制和神经常微分方程的神经网络算法对预处理后的视频眼震图数据进行特征提取，从而进行眼震分类；
18、所述的视频数据库构建子系统和眼震预测子系统相连。
19、进一步地，所述视频数据库构建子系统包括：
20、数据输入单元，用于输入视频眼震图；
21、数据读取单元，用于读取输入的视频眼震图；
22、数据预处理单元，用于对输入的视频眼震图进行数据预处理；
23、所述的数据输入单元、第一数据读取单元和数据预处理单元依次相连。
24、进一步地，所述眼震预测子系统包括：
25、神经网络单元，用于通过改进多头注意力机制和神经常微分方程的神经网络算法对预处理后的视频眼震图数据进行特征提取；
26、注意力机制单元，用于通过改进多头注意力机制进一步提取视频眼震图数据的特征；
27、预测单元，用于通过提取的特征进行眼震分类；
28、所述的神经网络单元、改进多头注意力机制单元和预测单元依次相连；所述的数据预处理单元和神经网络单元相连。
29、进一步地，所述数据预处理单元中，对输入的视频眼震图进行数据预处理包括以下步骤：
30、将彩色视频眼震图转换为灰度图；
31、利用霍夫圆变换和轮廓检测算法获取视频眼震图中的瞳孔中心位置；
32、按照时间顺序记录瞳孔坐标，将瞳孔坐标转化为时间序列数据；
33、将所述时间序列数据进行归一化处理，转化为gram特征图。
34、进一步地，所述神经网络单元中，神经网络算法结合神经常微分方程具体为：将神经网络看作一种随机连续化的系统，使用神经常微分方程求解器来对神经网络隐藏状态在时间连续的条件下进行动力学建模，激活函数为relu函数；
35、所述改进多头注意力机制具体为将常规多头自注意力机制中的softmax函数改为可分解的核函数，选择余弦相似度函数作为核函数，完成对多头注意力机制的低秩线性化改进。
36、与现有技术相比，本专利技术具有以下有益效果：
37、1、本专利技术利用基于神经常微分方程的神经网络提取特征，解决了人工提取特征具有主观性和局限性。改进的神经网络使用神经常微分方程求解器直接对网络隐藏状态在时间连续的条件下进行动力学建模，并使用伴随方法代替传统的反向传播算法，实现了内存高效。使用神经常微分方程建模的神经网络，其参数可复用，可以大大降低模型总参数的使用，增加模型的鲁棒性。且神经常微分方程中的时间步数可以根据具体任务需要的精度和计算开销来进行动态调节。最后含有神经常微分方程网络可以作为生成模本文档来自技高网...
【技术保护点】
1.一种基于时间序列预测的多视图眼震分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于时间序列预测的多视图眼震分类方法，其特征在于，所述的视频眼震图为标准音频视频交错格式或动态图像专家组格式。
3.根据权利要求1所述的一种基于时间序列预测的多视图眼震分类方法，其特征在于，所述对步骤S1得到的视频眼震图进行预处理包括以下步骤：
4.根据权利要求1所述的一种基于时间序列预测的多视图眼震分类方法，其特征在于，所述神经网络算法结合神经常微分方程具体为：将神经网络看作一种随机连续化的系统，使用神经常微分方程求解器来对神经网络隐藏状态在时间连续的条件下进行动力学建模，激活函数为ReLU函数。
5.根据权利要求1所述的一种基于时间序列预测的多视图眼震分类方法，其特征在于，将常规多头自注意力机制中的Softmax函数改为可分解的核函数，选择余弦相似度函数作为核函数，完成对多头注意力机制的低秩线性化改进。
6.一种基于时间序列预测的多视图眼震分类系统，其特征在于，包括视频数据库构建子系统(1)，用于读取输入的视频眼震图
7.根据权利要求6所述的一种基于时间序列预测的多视图眼震分类系统，其特征在于，所述视频数据库构建子系统(1)包括：
8.根据权利要求7所述的一种基于时间序列预测的多视图眼震分类系统，其特征在于，所述眼震预测子系统(2)包括：
9.根据权利要求7所述的一种基于时间序列预测的多视图眼震分类系统，其特征在于，所述数据预处理单元(5)中，对输入的视频眼震图进行数据预处理包括以下步骤：
10.根据权利要求8所述的一种基于时间序列预测的多视图眼震分类系统，其特征在于，所述神经网络单元(6)中，神经网络算法结合神经常微分方程具体为：将神经网络看作一种随机连续化的系统，使用神经常微分方程求解器来对神经网络隐藏状态在时间连续的条件下进行动力学建模，激活函数为ReLU函数；
...【技术特征摘要】
1.一种基于时间序列预测的多视图眼震分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于时间序列预测的多视图眼震分类方法，其特征在于，所述的视频眼震图为标准音频视频交错格式或动态图像专家组格式。
3.根据权利要求1所述的一种基于时间序列预测的多视图眼震分类方法，其特征在于，所述对步骤s1得到的视频眼震图进行预处理包括以下步骤：
4.根据权利要求1所述的一种基于时间序列预测的多视图眼震分类方法，其特征在于，所述神经网络算法结合神经常微分方程具体为：将神经网络看作一种随机连续化的系统，使用神经常微分方程求解器来对神经网络隐藏状态在时间连续的条件下进行动力学建模，激活函数为relu函数。
5.根据权利要求1所述的一种基于时间序列预测的多视图眼震分类方法，其特征在于，将常规多头自注意力机制中的softmax函数改为可分解的核函数，选择余弦相似度函数作为核函数，完成对多头注意力机制的低秩线性化改进...
【专利技术属性】
技术研发人员：邱禧荷，史少杰，王海玲，高永彬，方志军，李文妍，吴沛霞，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。