一种基于深度学习的多元时间序列分类方法技术

本发明专利技术提供一种基于深度学习的多元时间序列分类方法，该方法在使用BaseCNN捕获变量间交互的同时，还使用具有长距离依赖能力的LSTM来构建了一个子网络，利用其长期记忆特性，强化模型的全局时序特性，帮助模型更好的捕获全局时序特征。此外，巧妙的设计了三步训练模式，有效发挥CenterLoss、TripletLoss的作用，来处理该数据集波动性和特异性的特征，为最终的分类网络提供了良好的特征嵌入。本发明专利技术大力推动现有人工智能前交叉韧带辅助诊断的研究，具有重大临床意义与实际应用价值。具有重大临床意义与实际应用价值。具有重大临床意义与实际应用价值。

【技术实现步骤摘要】
一种基于深度学习的多元时间序列分类方法


[0001]本专利技术涉及人工智能领域，更具体地，涉及一种基于深度学习的多元时间序列分类方法。

技术介绍

[0002]膝关节作为人体最复杂的负重关节之一，在步行和运动时承受更多的负荷，发挥重要的减震作用，而与此同时膝关节损伤也十分常见。其中，膝关节前交叉韧带损伤(anterior cruciate ligament deficiency，ACL
‑
D)是最常见的运动损伤之一。随着经济的发展与生活水准的提高,人们的运动需求逐渐提升,随之而来的是运动损伤的增加。前交叉韧带(anterior cruciate ligament，ACL)不仅限制胫骨前平移，而且还控制膝关节轴向旋转和静脉曲张运动，在控制人体膝关节稳定性方面具有较高的作用价值。它是稳定膝关节的重要的静力性结构，损伤后可引起膝关节不稳，并且均无法自愈,对患者的生活质量会造成严重影响，如不及时进行手术治疗，极易引起严重的关节软骨损伤，严重影响患者的生活质量以及运动水平，最终需进行人工关节置换。
[0003]国外发达地区医疗机构调查结果表明，二十世纪90年代末期到2016年这二十多年来，前交叉韧带(ACL)损伤的初诊诊断正确率几乎没有提高，仅14.4％的病人在初诊时被诊断正确。目前临床上对此类损伤的检测和评估诊断主要依赖主观问诊、手法检查和影像手段，使得对膝关节前交叉韧带损伤或断裂的诊断仍存在漏诊或误诊的情况。常见用于前交叉韧带损伤的有CT和MRI等传统影像学技术，通过获取损伤部位的解剖结构信息来供诊断依据。但这些技术无法探索患者运动学特征，并且存在使用不灵活、检查速度慢、成本高和辐射危害等缺点。此外，关节镜检查是诊断前交叉韧带损伤的金标准，但费用昂贵，属于有创性检查，对患者伤害较大。
[0004]随着生物力学技术的更新和进步，近来研究发现膝关节运动学的分析可为膝关节损伤在动态活动状态下的评估提供重要的理论依据，并可能成为膝关节损伤的重要诊断方法之一，为临床对膝关节损伤的有效诊断奠定重要的基础作用。结构决定功能，因此运动功能改变一定程度能够反应前交叉韧带结构的变化。如图1所示的6自由度(6DoF)运动学数据可从Opti
‑
knee 3D运动分析系统获得。该系统具有使用灵活、检测速度快、成本低、风险低等优点。据所知，虽然6自由度(6DoF)运动学数据可以优化ACL
‑
D诊断过程，但在诊断ACL
‑
D时很少使用深度神经网络进行研究。在这项工作中，尝试将ACL
‑
D的诊断转化为基于6DoF数据的多元时间序列分类问题。
[0005]时间序列是一组按时间顺序排列的实值观测值。多元时间序列(MTS)是一组共同进化的时间序列，通常由一组传感器随时间同时记录。随着传感器技术的进步，多元时间序列分类(MTSC)问题可能是时间序列数据挖掘领域最重要的问题之一，近几十年来受到了大量的关注，然而专门研究膝关节前交叉韧带损伤的工作并不多，对于Opti
‑
Knee六自由度数据集的研究则少之又少。
[0006]现有多元时间序列分类(Multivariable Time Series Classifification，MTSC)
的方法可分为基于时间序列的子序列、模式袋以及基于神经网络的方法。在过去的十年中，基于自序列和模式袋的分类器得到了很好的研究，例如：WeaselMuse、ShapeNet等。这些方法需要将时间序列转换为一组子序列作为候选特征。然而，特征空间的大小和子序列的数量使得特征选择变得困难。最近，基于深度学习的方法在MTSC中取得了良好的性能，例如：MLSTM
‑
FCN、TapNet等。然而，这些方法需要足够的数据来训练大量的参数。
[0007]此外，ACL中6自由度数据集的特征也不同于经典MTSC问题中最常见的数据集，将观察结果总结如下：
[0008]1)六自由度变量间的复杂相关性。
[0009]膝关节的6自由度受膝关节影响，这会在序列数据中产生复杂的时空动力相关性。在经典的MTSC模型中，每个时间序列的特征都是独立提取的，然后拼接起来用于后续的学习过程。认为，简单的提取和拼接过程可能会丢失变量之间的特征关系。
[0010]2)高差异性和高波动性。由于人类体态和步态的高差异性，即使这些数据来自同一类别，6自由度数据也可能存在较大波动。这与典型的MTSC数据不同。膝关节的六自由度受个体差异和时空差异影响，膝盖健康程度不同的个体在不同时刻的六自由度是不同的，运动模式复杂多变，变化规律复杂。
[0011]3)数据有限。医疗数据必须经过专业医生的标注后才可使用。与MTSC中的常见数据集相比，ACL中只有几十到几百个样本。因此，数据量不足以支撑过于复杂的模型。构建模型时，必须考虑模型的复杂性。

技术实现思路

[0012]本专利技术提供一种基于深度学习的多元时间序列分类方法，该方法可有效捕获各变量间的局部和全局的关联特征、以及单变量内部的局部时序特征和全局特征。
[0013]为了达到上述技术效果，本专利技术的技术方案如下：
[0014]一种基于深度学习的多元时间序列分类方法，包括以下步骤：
[0015]S1：对变量进行特征转换；
[0016]S2：对进行特征转换后的变量进行全局特征提取和局部特征提取；
[0017]S3：搭建分类网络；
[0018]S4：对搭建分类网络进行多目标学习训练，将步骤S2中得到的特征输入训练好的分类网络，最终使得同类样本特征距离拉近，异类样本距离拉远。
[0019]进一步地，所述步骤S1的具体过程是：
[0020]第i个变量对应的时间序列可表示为时间序列向量其中l是序列长度，通过使用延时嵌入对原时序向量进行相位空间重构后，第i个变量对应的重构向量的第j项表示为：
[0021][0022]其中j＝1,2,
…
,l
‑
(d
t
‑
1)
·
t，d
t
为相空间的嵌入维数，t表示时延，延时嵌入后第s个样本表示如下：
[0023][0024]其中m＝l
‑
(d
t
‑
1)
·
t，新的相空间中的每一个点，表示一种可能状态，延迟嵌入维度d
t
为3，时延t为1。
[0025]进一步地，所述步骤S2中进行全局特征提取的过程是：
[0026]每个多元时间序列样本学习一个低维的嵌入其中d
e
是最终嵌入维度，总使用基于神经网络的方法其中θ是函数参数集，是延迟嵌入后的时间序列数据；
[0027]先在时间序列数据的第三维度上进行池化操作并进行permute操作，使3维转化为2维然后得到其中d
l
是LSTM层hidden size参数的大小，即完成全局特征提取。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的多元时间序列分类方法，其特征在于，包括以下步骤：S1：对变量进行特征转换；S2：对进行特征转换后的变量进行全局特征提取和局部特征提取；S3：搭建分类网络；S4：对搭建分类网络进行多目标学习训练，将步骤S2中得到的特征输入训练好的分类网络，最终使得同类样本特征距离拉近，异类样本距离拉远。2.根据权利要求1所述的基于深度学习的多元时间序列分类方法，其特征在于，所述步骤S1的具体过程是：第i个变量对应的时间序列可表示为时间序列向量其中l是序列长度，通过使用延时嵌入对原时序向量进行相位空间重构后，第i个变量对应的重构向量的第j项表示为：其中j＝1,2,
…
,l
‑
(d
t
‑
1)
·
t，d
t
为相空间的嵌入维数，t表示时延，延时嵌入后第s个样本表示如下：其中m＝l
‑
(d
t
‑
1)
·
t，新的相空间中的每一个点，表示一种可能状态，延迟嵌入维度d
t
为3，时延t为1。3.根据权利要求2所述的基于深度学习的多元时间序列分类方法，其特征在于，所述步骤S2中进行全局特征提取的过程是：每个多元时间序列样本学习一个低维的嵌入其中d
e
是最终嵌入维度，总使用基于神经网络的方法其中θ是函数参数集，是延迟嵌入后的时间序列数据；先在时间序列数据的第三维度上进行池化操作并进行permute操作，使3维转化为2维然后得到其中d
l
是LSTM层hidden size参数的大小，即完成全局特征提取。4.根据权利要求3所述的基于深度学习的多元时间序列分类方法，其特征在于，所述步骤S2中进行局部特征提取的过程是：1)、利用两层卷积，将96个时间点看作96个通道，重点学习18个变量间的关联特征，此时在延迟嵌入的三个相邻时间维度上没有进行卷积，两层卷积之后的平均池化则强化了延迟嵌入的作用，实现了相邻时间点不同变量间局部特征的提取；同时在特征方向上进行池化，减少了后续的计算量，这里使用平均池化，是因为此时处于初步特征挖掘阶段，相比起最大值池化，平均池化能保留更多的信息；2)、首先使第1)步学习到的全部通道的特征，转换进一个通道里，完成维度转换后，方
便后续卷积层可以对第一部分学习到的特征间关系，进行更深层次的挖掘，最后利用squeeze降维，方便后续使用1...

【专利技术属性】
技术研发人员：王梓曼，印鉴，刘威，陈仲，朱怀杰，邱爽，
申请(专利权)人：中山大学，
类型：发明
国别省市：