一种基于多模态深度学习的心脏肥大多标签检测系统技术方案

本发明专利技术公开了一种基于多模态深度学习的心房心室肥大多标签检测系统，属于心电图上的心脏肥大检测领域。采用自适应小波阈值去噪、基于形态学特征的心拍分割、深度神经网络、多模态特征融合等方法，当下热门的计算机视觉技术迁移到心电信号分类上，通过将心电信号的时域特征、形态特征和病人个体信息融合，对四种心脏肥大和正常同时进行分类，搭建出一个基于多模态深度学习的多标签检测框架，从而解决了心电信号在心脏肥大检测上的准确率差和泛化能力差的问题，实现了基于心电图的心脏肥大准确监测，可用于临床诊断。可用于临床诊断。可用于临床诊断。

【技术实现步骤摘要】
一种基于多模态深度学习的心脏肥大多标签检测系统


[0001]本专利技术属于心电信号检测领域，更具体地，涉及一种基于多模态深度学习的心脏肥大多标签检测系统。

技术介绍

[0002]在心内科临床诊断治疗中，心脏肥大(Cardiac hypertrophy)非常常见。心脏肥大又分为心房肥大(atrial hypertrophy)和心室肥大(ventricular hypertrophy)，主要与心房心室负荷过重有关系。心房肥大导致心脏负荷过重，可能导致心脏血管出现高血压、冠心病、心肌病等问题，而心室肥大困难导致心肌炎、心绞痛、心力衰竭等疾病。而这些心脏类疾病具有高致残率和高死亡率等特点，严重地影响着人类的生命健康。
[0003]临床上诊断心脏肥大的方式主要有心电图(Electrocardiogram,ECG)检查和心脏彩超(Ultrasonic cardiogram,UCG)检测。心脏彩超检测对于心脏各个腔室内径改变的敏感性则较高，误诊率与漏诊率较低，对于心脏肥大的检出率较高。但是心脏彩超检测极其容易受到检查时间和设备等因素的影响，限制性大，并且费用相对较高，并且难以在基层医院普及。心电图是一种检测心脏产生的电活动从而检测心脏异常的心脏检查。心电图临床应一直以其经济实用、方便快捷的优点为广大临床义务工作者所推崇。特别地，心电图在边远地区和基层医院的疾病诊断中被广泛使用。心电图与心脏彩超诊断相比，操作更简单，临床应用范围更广，且重复性也更高，因此它在心房心室肥大诊断中的辅助性更强，也更常用。并且，一些心脏疾病在早期主要出现电学改变，中晚期才会出现形态学的变化，因此利用心电图进行电学检查有助于患者早发现早治疗。但是目前利用心电图诊断心房肥大的准确率很低，因此亟需一种快速有效的利用心电图检测心房肥大的方法。
[0004]传统的心脏肥大心电图分析是由医生结合自己的知识和临床经验对心电图波形进行诊断，这就导致这种方法的准确率严重依赖于医生的经验和诊断水平，同时在数据量较大的情况下耗时长，因此传统方法具有很大的局限性，不能完全满足临床需求。近年来，深度学习使心电图的自动诊断成为医学研究领域研究热点。但是目前利用深度进行心脏肥大心电图诊断的研究非常少，并且大部分研究只聚焦于单个类别的诊断，这使得心电图的诊断仍然具有较大的局限性；同时使用深度学习方法处理心电信号时只关注于心电特征，忽略了个体差异性对医疗检测的影响，这将导致检测方法在普通人群中的泛化能力较差。

技术实现思路

[0005]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于多模态深度学习的心脏肥大多标签检测系统，由此解决现有技术根据单模态的特征表示进行心脏肥大心电图分类的准确率不高的问题。
[0006]为实现上述目的，按照本专利技术的一个方面，提供了一种基于多模态深度学习的心脏肥大多标签检测系统，包括：
[0007]病历信息提取模块，用于从待诊断的电子病历中提取预先设置的属性，将其进行
拼接后转化为属性矢量；
[0008]心电信号去噪模块，用于去除与所述电子病历对应的心电信号中的基线噪声、工频干扰和肌肉干扰，得到去噪后的心电信号；
[0009]心拍图像提取模块，用于对所述去噪后的心电信号中的Ⅱ导联、V1导联和V6导联心电信号分别进行QRS波定位，选择任意相邻的3个QRS波峰点Q
i
‑1，Q
i
，Q
i+1
，截取删除Q
i
‑1的后K个心电采样点及Q
i+1
的前K个心电采样点后、Q
i
‑1及Q
i+1
之间的心电采样点作为心电节拍图像；并将所述Ⅱ导联、V1导联和V6导联心电信号的心电节拍图像进行通道拼接得到心拍图像；
[0010]多模态诊断模块，用于分别提取所述属性矢量、去噪后的心电信号及心拍图像的语义特征、时域特征及形态特征并进行特征融合后进行多标签分类，得到检测结果；
[0011]其中，所述检测结果为左心房肥大(left atrial hypertrophy，LAH)、左心室肥大(left ventricular hypertrophy，LVH)、右心房肥大(right atrial hypertrophy，RAH)和右心室肥大(right ventricularhypertrophy，RVH)中的至少一种，或正常(Normal)。
[0012]总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
[0013]1、本专利技术提供的基于多模态深度学习的心脏肥大多标签检测系统，采用基于形态学特征的心拍分割、深度神经网络、多模态特征融合等方法，将当下热门的计算机视觉技术迁移到心电信号分类上，通过将心电信号的时域特征、形态特征和病人个体信息融合，对四种心脏肥大和正常的情况同时进行判断，搭建出一个基于多模态深度学习的多标签检测框架，从而解决了心电信号在心脏肥大检测上的准确率差和泛化能力差的问题，实现了基于心电图的心脏肥大准确监测，可用于临床诊断。
[0014]2、本专利技术提供的基于多模态深度学习的心脏肥大多标签检测系统，通过选取3个在医学理论中与心脏肥大的诊断密切相关的导联作为心拍输入，减少心电信号中的冗余信息，有利于特征的聚焦，同时通过心拍分割，使得特征提取更关注于心脏肥大的形态学特征，有利于提高分类的准确性。
[0015]3、本专利技术提供的基于多模态深度学习的心脏肥大多标签检测系统，从患者的电子病历中提取年龄和性别作为病历元数据，由于年龄和性别具有明显的个体差异性，将其纳入模型训练输入中可以有效提高模型的泛化能力。同时，年龄和性别也是在医学理论上与心脏肥大的诊断密切相关的属性。因此将年龄和性别作为病历元数据能够有效提高模型的泛化能力和诊断的准确率。
[0016]4、本专利技术提供的基于多模态深度学习的心脏肥大多标签检测系统，通过小波自适应阈值去噪方法去除噪声的同时保证了重构信号的失真尽可能小，在阈值函数中选择软硬阈值结合的方式，既能保证信号的平滑性又能提高去噪效果，从而实现了心电信号的去噪保真。
[0017]5、本专利技术提供的基于多模态深度学习的心脏肥大多标签检测系统，时间序列特征提取模块通过一维卷积神经网络CNN提取频域变化，具备很强的特征提取能力和鲁棒性，同时利用长短期记忆网络LSTM提取长时间序列的历史信息，抽取时间上隐含的特征。心拍图像特征提取模块利用二维卷积神经网络CNN有效提取心拍图像上的局部波形特征，同时使用残差结构保留原始输入信息，将心电信号的局部微小特征更好地抽取出来。病历数据特
征提取模块通过全连接层DENSE层提取数据的年龄和性别作为语义特征，考虑个体差异性，从而提高检测模型的泛化能力。心脏肥大在心电信号上的表现既有时间上的异常也有形态学上的异常，既有上下文的依赖性又有微小波形的变化，因此将时域特征与形态特征结合，才能更好地对心脏肥大进行检测。多模态诊断模块可以很有效的针对这两个特点进行检测，同时考虑个体差异性，从而提高检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态深度学习的心脏肥大多标签检测系统，其特征在于，包括：病历信息提取模块，用于从待诊断的电子病历中提取预先设置的属性，将其进行拼接后转化为属性矢量；心电信号去噪模块，用于去除与所述电子病历对应的心电信号中的基线噪声、工频干扰和肌肉干扰，得到去噪后的心电信号；心拍图像提取模块，用于对所述去噪后的心电信号中的Ⅱ导联、V1导联和V6导联心电信号分别进行QRS波定位，选择任意相邻的3个QRS波峰点Q
i
‑1，Q
i
，Q
i+1
，截取删除Q
i
‑1的后K个心电采样点及Q
i+1
的前K个心电采样点后、Q
i
‑1及Q
i+1
之间的心电采样点作为心电节拍图像；并将所述Ⅱ导联、V1导联和V6导联心电信号的心电节拍图像进行通道拼接得到心拍图像；多模态诊断模块，用于分别提取所述属性矢量、去噪后的心电信号及心拍图像的语义特征、时域特征及形态特征并进行特征融合后进行多标签分类，得到检测结果；其中，所述检测结果为左心房肥大、左心室肥大、右心房肥大和右心室肥大中的至少一种，或正常。2.如权利要求1所述的系统，其特征在于，所述预先设置的属性包括年龄及性别。3.如权利要求1所述的系统，其特征在于，所述多模态诊断模块包括病历数据特征提取模块、心电信号特征提取模块、心拍图像特征提取模块、多模态特征融合模块及多标签分类器；所述病历数据特征提取模块用于提取所述属性矢量的语义特征；所述心电信号特征提取模块用于提取所述去噪后的心电信号的时域特征；所述心拍图像特征提取模块用于提取所述心拍图像的形态特征；...

【专利技术属性】
技术研发人员：袁烨，江一诺，程骋，杨晓云，朱红玲，章龙鉴杰，周子恒，何心，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：