基于多模态融合神经网络的心肌梗死自动检测方法技术

本发明专利技术公开了一种基于多模态融合神经网络的心肌梗死自动检测方法，它包括：1）通过对单个心拍的截取，生成12导联的心电信号样本；2）搭建12导联的心电信号的卷积神经网络模型；3）训练卷积神经网络的参数；4）对测试集样本进行自动识别；将划分好的测试集样本输入到卷积神经网络中并运行，获得测试集样本对应的2维预测值向量输出，将测试集样本的标签使用one‑hot编码的方法生成2维的标签向量，将输出的预测值与测试集样本的标签比对来检查分类是否正确，通过分类结果y_pred来判别模型的性能。此方法对多导联心电信号的识别得到了较高的准确率。其中对心肌梗死心拍的识别的准确率可达到99.51%。

Automatic Detection of Myocardial Infarction Based on Multi-modal Fusion Neural Network

【技术实现步骤摘要】
基于多模态融合神经网络的心肌梗死自动检测方法
本专利技术涉及医学信号处理
,更确切地说一种基于多模态融合神经网络的心肌梗死自动检测方法。
技术介绍
随着数字技术的发展,计算机辅助诊断系统由于其快速、可靠的分析手段,已成为最有前景的临床诊断解决方案。当今通过先进的硬件设施,我们可以很容易地得到病人的心电信号，也就是人们所说的心电图。医生可以通过观察心电图中蕴含的信息来判断病人的状态，然而手动或目视检查在长连续心电图节拍中推断这些细微的形态学变化的过程是费时并且容易因疲劳而发生错误。因此,实时计算机辅助诊断系统是必不可少的,可以帮助医生实时监测病人的病况，克服这些对心电图信号的评估限制。计算机辅助诊断系统可以对心电图中的信息进行实时的分析进而得到其中的有效信息。通过提取表征了心电图有效信息的特征向量，输入到分类器算法得到心拍的类别，进而判断心拍有无发生心血管疾病。工作在计算器硬件上的心拍自动识别系统是此类设备的核心，技术途径是提取能够表征心电图有效信息的特征向量，将其输入到分类器算法得到心拍的类别，进而判断心拍是否发生了心肌梗塞。在提取特征向量这一步骤中技术难点是形态学特征的提取，合理的特征提取将会直接影响结果的准确性和可靠性。这种形态学特征辅以心电图上的其它特征构成特征向量输入到分类器，经处理后输出分类结果，给出实时提取的心拍是属于健康心拍还是心肌梗死心拍，医生将根据此结果进行更深层次的诊断。
技术实现思路
本专利技术的目的是为解决传统机器学习框架解决由于信息管理系统的病理变化和一些如患者年龄、性别等外部因素的影响，心电信号会发生变化的方面，泛化能力较弱的问题，而提供一种基于多模态融合神经网络的心肌梗死自动检测方法。一种基于多模态融合神经网络的心肌梗死自动检测方法，它包括：1）通过对单个心拍的截取，生成12导联的心电信号样本读入12导联的心电信号的数据，对每个导联心电信号根据同一时刻R波顶点的位置向前截取P个点，向后截取Q个点，每个导联的每个心拍截取W=P+Q个点的数据，相同时刻R波顶点每个导联所截取心电信号的W个点进行第二维度拼接，此时心电信号由1*W维扩增为12*W维。原始每个心拍的心电信号的数据形成上述12*W维的样本，作为卷积神经网络模型的输入X；将所有12导联的心电信号通过上述单个心拍的截取方法对所有的心拍进行截取，形成数据集U，其中数据集U中的每个样本都是上述12*W维的单个心拍的心电信号数据；2）搭建12导联的心电信号的卷积神经网络模型卷积神经网络模型核心由两部分组成：a.针对12导联的心电信号中每个单导联的心电信号的包含三个串联卷积层的底层卷积层结构，与输入X连接；b.针对12导联的心电信号的包含两个串联卷积层的高层融合卷积层结构，与a部分连接，得出的特征经过多个全连接层得到输出分类结果y_pred；3）训练卷积神经网络的参数初始化所述卷积神经网络的参数，将采样好的数据集U随机抽取80%数目的样本当作训练集，其他未选中的样本视为测试集；将训练集中的心电信号样本输入到初始化后的神经网络中，以最小化代价函数为目标进行迭代，生成所述卷积神经网络的参数并保存；4）对测试集样本进行自动识别将划分好的测试集样本输入到卷积神经网络中并运行，获得测试集样本对应的2维预测值向量输出，将测试集样本的标签使用one-hot编码的方法生成2维的标签向量，将输出的预测值与测试集样本的标签比对来检查分类是否正确，通过分类结果y_pred来判别模型的性能；所述卷积层包含一个卷积层单元以及该卷积层单元输出端依次串联的一激励单元操作和一池化层操作；所述卷积神经网络参数为：输入X为心电信号样本，每个心电信号样本都是12*W维,12为导联的个数，W为每个心拍上截取的点数；将输入12导联心电信号的每个导联的信号分别输入到12个底层卷积层中，其中每个底层卷积层包含三层卷积层单元，每个卷积层单元的输出端依次串联的一激励单元操作和一池化层操作；第一个卷积层单元的卷积核数为5个，卷积核大小为3，卷积层单元后的激励单元为relu函数，池化层单元的池化核大小为2，池化步长为2；经过第一层池化单元后的特征图维度为(W/2)*5；第二个卷积层单元的卷积核数为10个，卷积核大小为4，卷积层单元后的激励单元为relu函数，池化层单元的池化核大小为2，池化步长为2；经过第二层池化单元后的特征图维度为(W/4)*10，第三个卷积层单元的卷积核数为20个，卷积核大小为4，卷积层后的激励单元为relu函数，池化层单元的池化核大小为2，池化步长为2；经过第三层池化单元后的特征图维度为(W/8)*20；将单导联信号进行上述操作后最终输出的特征图拼接操作，形成维度为12*[(W/8)*20]的特征图，输入到高层融合卷积层，高层融合卷积层包含两层卷积层，12导联的特征融合成一块，形成最终特征，得到的特征输入激励单元为softmax的全连接层，全连接层的层数为5层，得到输出分类结果y_pred；所述的迭代为：迭代一次更新一次训练参数，直至最后卷积神经网络的损失值和准确率稳定在某一数值附近，停止训练并保存当前网络的训练参数和模型结构信息。针对心电信号多导联的特性，运用现代的卷积神经网络算法对每个导联进行底层卷积，随后对每个导联底层卷积所得到的特征进一步进行多导联特征的高层融合卷积，得到最终特征进而输入到分类器进行分类得到分类结果。此方法对多导联心电信号的识别得到了较高的准确率。其中对心肌梗死心拍的识别的准确率可达到99.51%。其混淆矩阵如下：附图说明图1为底层卷积层示意图。图2为高层融合卷积层示意图。其中C:卷积层P:池化层X1…X12：输入处理好的单个导联的心电信号Y：卷积输出的特征图D：全连接层y_pred：最终输出结果。具体实施方式实施例1基于多模态融合神经网络的心肌梗死自动检测方法下面结合附图和具体的实施方式对本专利技术作进一步说明。具体实例为国际通行心电图数据库PTBDiagnosticECGDatabase(ptbdb)，该数据库的数据及使用说明公开于行业内周知的physionet.org网站。数据库包含294位患者或者志愿者15个导联的心电信号数据，其中有常规的12个导联和3个的Frank导联的心电信号数据，在此只选择了12个常规导联心电信号的数据做测试。对于physionet.org网站上的数据进行下载，下载时顺便根据已经标注的病型进行分类，在此只讨论健康和心肌梗死两种情况，两种类别的标签以及与ptbdb数据集中类别的对应关系如表2。在本实例中，通过工作在计算机上的软件系统和行业内所周知的Matlab和python软件环境进行实现。本实施例的详细步骤如下：一.生成12导联的心电信号样本用MATLAB读入从physionet.org网站下载的ptbdb数据集的12导联的心电信号的数据，首先对原始信号去噪，然后根据同一时刻R波顶点的位置向前截取200个点，向后截取400个点，每个导联截取到了600个点的数据，随后把相同时刻R波顶点对每个导联所截取的600个点进行第二维度拼接，每导连的心电信号由1*600维扩增为12*600维，此时已经将原始每个导连的心电信号的一个心拍经过采样形成上述12*600维的一个样本。然后对所有心电信号数据的R波顶点进行同样本文档来自技高网...

【技术保护点】
1. 一种基于多模态融合神经网络的心肌梗死自动检测方法，它包括：1）通过对单个心拍的截取，生成12 导联的心电信号样本读入12导联的心电信号的数据，对每个导联心电信号根据同一时刻R波顶点的位置向前截取P个点，向后截取Q个点，每个导联的每个心拍截取W=P+Q个点的数据，相同时刻R波顶点每个导联所截取心电信号的W个点进行第二维度拼接，此时心电信号由1*W维扩增为12*W维；原始每个心拍的心电信号的数据形成上述12*W维的样本，作为卷积神经网络模型的输入X；将所有 12 导联的心电信号通过上述单个心拍的截取方法对所有的心拍进行截取，形成数据集U，其中数据集U中的每个样本都是上述12*W维的单个心拍的心电信号数据；2）搭建 12 导联的心电信号的卷积神经网络模型卷积神经网络模型核心由两部分组成：a.针对 12 导联的心电信号中每个单导联的心电信号的包含三个串联卷积层的底层卷积层结构，与输入X连接；b.针对 12 导联的心电信号的包含两个串联卷积层的高层融合卷积层结构，与a部分连接，得出的特征经过多个全连接层得到输出分类结果y_pred；3）训练卷积神经网络的参数初始化所述卷积神经网络的参数，将采样好的数据集U随机抽取80%数目的样本当作训练集，其他未选中的样本视为测试集；将训练集中的心电信号样本输入到初始化后的神经网络中，以最小化代价函数为目标进行迭代，生成所述卷积神经网络的参数并保存；4）对测试集样本进行自动识别将划分好的测试集样本输入到卷积神经网络中并运行，获得测试集样本对应的2维预测值向量输出，将测试集样本的标签使用one‑hot编码的方法生成2维的标签向量，将输出的预测值与测试集样本的标签比对来检查分类是否正确，通过分类结果y_pred来判别模型的性能。...

【技术特征摘要】
1.一种基于多模态融合神经网络的心肌梗死自动检测方法，它包括：1）通过对单个心拍的截取，生成12导联的心电信号样本读入12导联的心电信号的数据，对每个导联心电信号根据同一时刻R波顶点的位置向前截取P个点，向后截取Q个点，每个导联的每个心拍截取W=P+Q个点的数据，相同时刻R波顶点每个导联所截取心电信号的W个点进行第二维度拼接，此时心电信号由1*W维扩增为12*W维；原始每个心拍的心电信号的数据形成上述12*W维的样本，作为卷积神经网络模型的输入X；将所有12导联的心电信号通过上述单个心拍的截取方法对所有的心拍进行截取，形成数据集U，其中数据集U中的每个样本都是上述12*W维的单个心拍的心电信号数据；2）搭建12导联的心电信号的卷积神经网络模型卷积神经网络模型核心由两部分组成：a.针对12导联的心电信号中每个单导联的心电信号的包含三个串联卷积层的底层卷积层结构，与输入X连接；b.针对12导联的心电信号的包含两个串联卷积层的高层融合卷积层结构，与a部分连接，得出的特征经过多个全连接层得到输出分类结果y_pred；3）训练卷积神经网络的参数初始化所述卷积神经网络的参数，将采样好的数据集U随机抽取80%数目的样本当作训练集，其他未选中的样本视为测试集；将训练集中的心电信号样本输入到初始化后的神经网络中，以最小化代价函数为目标进行迭代，生成所述卷积神经网络的参数并保存；4）对测试集样本进行自动识别将划分好的测试集样本输入到卷积神经网络中并运行，获得测试集样本对应的2维预测值向量输出，将测试集样本的标签使用one-hot编码的方法生成2维的标签向量，将输出的预测值与测试集样本的标签比对来检查分类是否正确，通过分类结果y_pred来判别模型的性能。2.根据权利要求1所述的一种基于多模态融合神经网络的心肌梗死自动检测方法，其特征在于：所述卷积层包含一个卷积层单元以及该卷积...

【专利技术属性】
技术研发人员：刘通，杨春健，臧睦君，邹海林，柳婵娟，周树森，赵玲玲，
申请(专利权)人：鲁东大学，
类型：发明
国别省市：山东,37