一种基于多模态深度学习的主动脉瓣反流检测系统技术方案

一种基于多模态深度学习的主动脉瓣反流检测系统，涉及心脏医疗领域。本发明专利技术是为了解决现有技术还无法实现通过心电图检测主动脉瓣反流的问题，而提出了一种基于多模态深度学习的主动脉瓣反流检测系统。本发明专利技术包括：获取心电图图像和文本结构化数据；将心电图图像和本文结构化数据输入到主动脉瓣反流检测网络中，获得主动脉瓣反流检测结果；主动脉反流检测网络处理流程为：提取心电图图像的特征和文本结构化数据的特征；将心电图图像特征与文本结构化数据的特征组合，获得最终特征，对最终特征进行分类并输出主动脉瓣反流检测结果；主动脉瓣反流检测结果为0或1，0表示正常，1表示主动脉瓣有反流。本发明专利技术用于利用心电图获取主动脉瓣反流情况。动脉瓣反流情况。动脉瓣反流情况。

【技术实现步骤摘要】
一种基于多模态深度学习的主动脉瓣反流检测系统


[0001]本专利技术涉及心脏医疗领域，特别涉及一种基于多模态深度学习的主动脉瓣反流检测系统。

技术介绍

[0002]心血管疾病是全球最主要的死亡原因，每年夺走1700多万人的生命，其中心脏瓣膜病是最常见的心血管疾病之一，其可导致多种健康风险，如心力衰竭、中风、血栓、心内膜炎和心律失常等。与其他心血管疾病相比，心脏瓣膜病有很高的发病率，主动脉瓣反流是我国最常见的严重心脏瓣膜病之一，是一种进行性疾病，临床诊断需要做多项检查，包括：心电图检查、血液检查、尿液粪便检查、超声心动图检查、胸部CT、心音检查和内脏功能检查等。
[0003]目前，诊断主动脉瓣反流主要采用听诊的方法，而听诊方法的准确判断取决于专业医师多年的经验，并且不能因为没有反流杂音就排除反流的存在。随着医疗手段的进步，超声心动图成为判断主动脉瓣反的金标准，其中主动脉瓣反流轻度指超声反流面积<3cm2，5cm2之内叫中度，5cm2以上叫重度。而进行什么检查，都是基于医生的经验而定的，因此并非每一次都会直接进行超声心动图的检测。然而心电图(ECG)对AR是非特异性的，在疾病早期时心电图可能是正常的，或者可能表明左心室肥大伴有相关的异常和偏移，而在心电图正常的条件下，容易导致患者不进一步进行超声心动图的检查，从而延误了进一步的治疗。目前还没有通过心电图确定主动脉瓣是否反流的系统，因此主动脉瓣反流检测还存在无法通过心电图确定主动脉瓣是否反流的问题。

技术实现思路

[0004]本专利技术目的是为了解决现有技术还无法实现通过心电图检测主动脉瓣反流的问题，而提出了一种基于多模态深度学习的主动脉瓣反流检测系统。
[0005]一种基于多模态深度学习的主动脉瓣反流检测系统包括：输入模块、主动脉瓣反流检测模块、输出模块；
[0006]所述输入模块：获取心电图图像和文本结构化数据；
[0007]所述文本结构化数据包括：患者信息、化验单、慢性病情况；
[0008]所述主动脉反流检测模块：将心电图图像和本文结构化数据输入到主动脉瓣反流检测网络中，获得主动脉瓣反流检测结果；
[0009]所述主动脉反流检测网络，通过以下方式获得：
[0010]步骤一、构建主动脉瓣反流检测模型；
[0011]所述主动脉瓣反流检测模型包括：心电图图像处理单元、文本结构化数据处理单元、特征融合单元、输出单元；
[0012]所述心电图图像处理单元：利用心电图图像特征提取块提取心电图图像的特征；
[0013]所述文本结构化数据处理单元：利用文本特征提取块从病历中提取文本结构化数
据的特征；
[0014]所述特征融合单元：将心电图图像特征与文本结构化数据的特征组合，获得最终特征；
[0015]所述输出单元：对最终特征进行分类并输出主动脉瓣反流检测结果；
[0016]步骤二、获取病历及病历对应的心电图图像，然后对心电图图像进行标准化处理，将病历和病历对应的标准化后的心电图图像划分为训练集和测试集；
[0017]步骤三、设置主动脉瓣反流模型的训练超参数，利用训练集训练主动脉瓣反流检测模型，获得训练好的主动脉瓣反流检测模型；
[0018]步骤四、利用测试集测试训练好的主动脉瓣反流检测模型，若训练好的主动脉瓣反流检测模型准确率大于准确率阈值，则将当前训练好的主动脉瓣反流检测模型作为主动脉瓣反流检测网络；
[0019]所述输出模块：输出主动脉瓣反流检测结果；
[0020]所述主动脉瓣反流检测结果为0或1，0表示正常，1表示主动脉瓣有反流。
[0021]进一步地，所述心电图图像特征提取块，包括：5个卷积子单元、4个反转残差子单元、3个注意力残差子单元：
[0022]其中，1个卷积子单元包括：卷积层、批量归一化层和ReLU激活函数层；
[0023]1个反转残差子单元包括：卷积核为1x1的卷积层、卷积核为3x3的卷积层、卷积核为1x1的卷积层；
[0024]1个注意力残差子单元包括：卷积子单元、通道注意力子块、空间注意力子块；
[0025]所述通道注意力子块包括：全局平均池化层、全局最大池化层、两个多层感知机层、激活函数层；
[0026]所述空间注意力子块包括：全局平均池化层、全局最大池化层、卷积核为3x3的卷积层、激活函数层。
[0027]进一步地，所述通道注意力子块的输出特征F'＝N
c
F，N
c
如下式：
[0028][0029][0030]其中，N
c
是通道权重系数，σ表示sigmoid激活函数，MLP表示多层感知机，MaxPool表示最大池化操作，W1和W0是两个多层感知机的权重，AvgPool()是全局平均池化操作，F是注意力残差子单元中的卷积子单元的输出特征，是对特征F进行平均池化后的特征，是对特征F进行最大池化操作后的特征。
[0031]进一步地，所述空间注意子块的输出特征F”＝N
s
(F')F'，N
s
(F')如下式：
[0032][0033]其中，N
s
(F`)是空间权重系数，f
3*3
表示卷积核为3*3的卷积操作，σ表示Sigmoid激活函数，AvgPool是平均池化操作，F`是通道注意力子块输出的特征，是特征F'进行平均池化后的特征，是特征F'进行最大池化后的特征。
[0034]进一步地，所述多层感知机有一个隐藏层，隐藏层神经元的个数为c/r；
[0035]其中，c是多层感知机的神经元个数，r是衰减率。
[0036]进一步地，所述文本特征提取块为：包含一个隐藏层的人工神经网络。
[0037]进一步地，所述步骤二中的获取病历及病历对应的心电图图像，然后对心电图图像进行标准化处理，将病历和病历对应的标准化后的心电图图像划分为训练集和测试，包括以下步骤：
[0038]步骤二一、抽取n份病历，获取每份病历对应的患者心电图图像、患者信息、化验单、慢性病情况；将病历和患者心电图图像按照主动脉瓣是否反流设置标签；
[0039]步骤二二、将步骤二一获得的心电图图像标准化处理；
[0040]步骤二三、将步骤二一获得的病历与步骤二二标准化处理后的心电图图像都转换为张量，并将张量划分为训练集和测试。
[0041]进一步地，所述训练主动脉瓣反流检测模型，采用以下损失函数：
[0042][0043]其中，P表示真实标签分布，Q为预测标签的分布，p(x)表示真实标签的概率分布，q(x)表示主动脉瓣反流检测模型的预测概率分布，x表示第几个预测结果，X是预测结果的集合，log表示以2为底的对数。
[0044]进一步地，所述训练主动脉瓣反流检测模型采用反向传播进行梯度更新，具体为：
[0045]m
t
＝β1*m
t
‑1+(1
‑
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态深度学习的主动脉瓣反流检测系统，其特征在于所述系统包括：输入模块、主动脉瓣反流检测模块、输出模块；所述输入模块：获取心电图图像和文本结构化数据；所述文本结构化数据包括：患者信息、化验单、慢性病情况；所述主动脉反流检测模块：将心电图图像和本文结构化数据输入到主动脉瓣反流检测网络中，获得主动脉瓣反流检测结果；所述主动脉反流检测网络，通过以下方式获得：步骤一、构建主动脉瓣反流检测模型；所述主动脉瓣反流检测模型包括：心电图图像处理单元、文本结构化数据处理单元、特征融合单元、输出单元；所述心电图图像处理单元：利用心电图图像特征提取块提取心电图图像的特征；所述文本结构化数据处理单元：利用文本特征提取块从病历中提取文本结构化数据的特征；所述特征融合单元：将心电图图像特征与文本结构化数据的特征组合，获得最终特征；所述输出单元：对最终特征进行分类并输出主动脉瓣反流检测结果；步骤二、获取病历及病历对应的心电图图像，然后对心电图图像进行标准化处理，将病历和病历对应的标准化后的心电图图像划分为训练集和测试集；步骤三、设置主动脉瓣反流模型的训练超参数，利用训练集训练主动脉瓣反流检测模型，获得训练好的主动脉瓣反流检测模型；步骤四、利用测试集测试训练好的主动脉瓣反流检测模型，若训练好的主动脉瓣反流检测模型准确率大于准确率阈值，则将当前训练好的主动脉瓣反流检测模型作为主动脉瓣反流检测网络；所述输出模块：输出主动脉瓣反流检测结果；所述主动脉瓣反流检测结果为0或1，0表示正常，1表示主动脉瓣有反流。2.根据权利要求1所述的一种基于多模态深度学习的主动脉瓣反流检测系统，其特征在于：所述心电图图像特征提取块，包括：5个卷积子单元、4个反转残差子单元、3个注意力残差子单元：其中，1个卷积子单元包括：卷积层、批量归一化层和ReLU激活函数层；1个反转残差子单元包括：卷积核为1x1的卷积层、卷积核为3x3的卷积层、卷积核为1x1的卷积层；1个注意力残差子单元包括：卷积子单元、通道注意力子块、空间注意力子块；所述通道注意力子块包括：全局平均池化层、全局最大池化层、两个多层感知机层、激活函数层；所述空间注意力子块包括：全局平均池化层、全局最大池化层、卷积核为3x3的卷积层、激活函数层。3.根据权利要求2所述的一种基于多模态深度学习的主动脉瓣反流检测系统，其特征在于：所述通道注意力子块的输出特征F'＝N
c
F，N
c
如下式：
其中，N
c
是通道权重系数，σ表示sigmoid激活函数，MLP表示多层感知机，MaxPool表示最大池化操作，W1和W0是两个多层感知机的权重，AvgPool()是全局平均池化操作，F是注意力残差子单元中的卷积子单元的输出特征，是对特征F进行平均池化后的特征，是对特征F进行最大池化操作后的特征。4.根据权利要求3所述的一种基于多模态深度学习的主动脉瓣反流检测系统，其特征在于：所述空间注意子块的输出特征F...

【专利技术属性】
技术研发人员：黄少滨，杨顺帆，申林山，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：