一种基于深度学习的心音心电联合诊断装置和系统制造方法及图纸

本发明专利技术属于医学信号处理领域，具体涉及一种基于深度学习的心音心电联合诊断装置和系统，包括提出一种带有跨模态区域感知(通过为每个模态单独生成像素级权重图，充分评估不同模态和不同区域的贡献)和多尺度特征优化模块的密集融合策略，更好地融合多模态互补信息，有效提高诊断精度，其中，跨模态区域感知通过为每个模态单独生成像素级权重图，充分评估不同模态和不同区域的贡献；提出了一种协同学习策略，有效解决多模态模型中训练不平衡问题，该协同学习策略与特定模态

【技术实现步骤摘要】
一种基于深度学习的心音心电联合诊断装置和系统


[0001]本专利技术属于医学信号处理领域，更具体地，涉及一种基于深度学习的心音心电联合诊断装置和系统。

技术介绍

[0002]心血管疾病已成为威胁人类健康的头号杀手，由心血管疾病而导致的死亡人数约占全球死亡总数的三分之一，并且患病率逐年上升，日益严重。心脏听诊(心音图PCG)、心电图(ECG)是心脏疾病的两种重要的初筛手段，其发生机理存在差异：心音信号是从心脏机械运动角度提供诊断信息，常用于检测瓣膜疾病、房室间隔缺损等；心电信号记录的是心脏每一心动周期在体表产生的电位变化，从心脏电活动的角度提供诊断信息，常用于检测心脏变时性和变传导性疾病，如心律不齐、心肌缺血等。因此，心音信号和心电信号可以从不同的角度提供诊断信息，有效实现信息互补，提高心脏疾病初筛精度。基于深度学习的心音心电多模态信号诊断能够有效减少医生主观差异的影响，提升心脏疾病的诊断水平和诊断效率。
[0003]目前，基于深度学习的心音心电多模态信号诊断相关研究非常少，已有研究主要分为两类：一种是人工设计特征提取方案，然后通过深度学习或者机器学习算法进行分类，但这类方法耗时费力而且可能会丢失重要信息；一种是采用深度学习算法作为特征提取器，特征降维后使用机器学习算法进行分类，但是应用过程复杂。此外，现有研究还面临两个局限性：一是现有研究采用的是图1所示的早期或晚期直接融合策略，但是仅仅融合单级特征很难充分挖掘多模态互补信息，直接融合则忽略了不同模态、不同区域的贡献不同这一因素，如图2所示的PCG信号S1、S2心音，ECG信号的P、QRS、T波等含有更加丰富的诊断信息，且PCG和ECG模态信号贡献也不同；二是，现有研究只能应用在PCG、ECG信号都有的多模态场景下，但是实际临床中由于采集设备限制等原因，只有心音信号或者心电信号的单一模态场景非常普遍，这很大程度限制了现有多模态方法的应用。

技术实现思路

[0004]针对现有技术的缺陷和改进需求，本专利技术提供了一种基于深度学习的心音心电联合诊断装置和系统，其目的在于提出一种诊断装置，使其能够更好地融合多模态互补信息，使方法既能应用于心音、心电同时存在的多模态场景又能应用于只有心音信号或者心电信号的单一模态场景。
[0005]为实现上述目的，按照本专利技术的一个方面，提供了一种基于深度学习的心音心电联合诊断装置，用于根据由心音、心电原始信号经预处理得到的各等长片段，采用CRDNet网络模型，计算各等长片段对应的分类结果；根据各分类结果形成诊断分析报告；
[0006]其中，所述CRDNet网络模型包括：结构相同的PCG特定模态编码器和ECG特定模态编码器，密集融合编码器，以及协同决策模块；
[0007]每个特定模态编码器用于对输入的等长片段进行特征的逐级提取，第零级为时空
特征，最后得到深层次特征，并基于所述深层次特征进行分类，得到当前等长片段输入下的模态内分类结果；
[0008]密集融合编码器用于对两个特定模态编码器逐级提取的特征对应进行逐级融合，在每级融合过程中，自适应评估不同模态以及每个模态当前等长片段不同区域对分类结果的贡献，为每个模态的多级聚合特征生成像素级权重图，将每个模态的多级聚合特征与其对应的像素级权重图做像素级乘法，得到加权后的该模态的多级聚合特征；通过卷积操作融合加权后的各模态的多级聚合特征以及前一级融合得到的融合特征，生成当前级的融合特征，用以得到当前等长片段输入下的联合分类结果；生成第零级的融合特征所采用的每个模态的所述多级聚合特征为该模态对应的所述时空特征，生成其它各级的融合特征所采用的每个模态的所述多级聚合特征为通过聚合该模态的特定模态编码器所提取的当前级特征及其先前级特征得到；
[0009]所述协同决策模块用于对PCG和ECG的模态内分类结果以及所述联合分类结果加权相加，得到当前等长片段输入下的最终分类结果。
[0010]进一步，所述根据各分类结果形成诊断分析报告，具体为：
[0011]对所有等长片段输入下所对应的各最终分类结果做均值，形成诊断分析报告。
[0012]进一步，所述密集融合编码器还对其生成的每一级融合特征进行进一步多尺度特征优化，得到优化后的当前级的融合特征，用以得到当前等长片段输入下的联合分类结果。
[0013]进一步，所述密集融合编码器采用递进式分组卷积提供不同的感受野，以进行多尺度特征优化。
[0014]进一步，所述特定模态编码器和所述密集融合编码器中的分类单元均采用双层LSTM网络代替全局池化层，用于全局信息的综合。
[0015]进一步，所述CRDNet网络模型通过采用如下损失函数训练得到：
[0016][0017]其中，λ表示各特定模态编码器的损失权重系数，表示模态内损失，表示联合损失。
[0018]进一步，所述聚合该模态的特定模态编码器所提取的当前级特征及其先前级特征的实现方式为：
[0019][0020][0021]式中，f
iPCG
、f
iECG
分别为PCG和ECG特定模态编码器提取的第i级特定模态的特征，其中分别为PCG和ECG特定模态编码器中提取的时空特征特征，f
iMLP
、f
iMLE
分别为第i级PCG、ECG多级聚合特征，S为进行下采样或进行核尺寸为1*1的卷积操作所产生的映射，用于将i
‑
1级的多级聚合特征的时间维度尺寸和通道数调整至与第i级特定模态特征相同。
[0022]进一步，还用于根据由心音或心电原始信号经预处理得到的各等长片段，采用CRDNet网络模型，计算各等长片段对应的模态内分类结果；根据各模态内分类结果形成单模态信号下的诊断分析报告。
[0023]本专利技术还提供一种基于深度学习的心音心电联合诊断系统，包括：
[0024]客户终端，用于对获取的心音、心电原始信号进行预处理，并分别对预处理后的心音、心电信号分割成等长片段并发送至服务器端，并将从服务器端接收的诊断分析报告展示给用户；
[0025]服务器端，用于根据获得的所述等长片段，采用如上所述的CRDNet网络模型，计算得到分类结果，形成诊断分析报告发送至所述客户终端。
[0026]本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如上所述的一种基于深度学习的心音心电联合诊断装置的功能。
[0027]总体而言，通过本专利技术所构思的以上技术方案，能够取得以下有益效果：
[0028](1)本专利技术提出了基于CRDNet的心音心电联合诊断装置，是一种无需人工设计特征提取方案的端到端的分类装置，可直接对预处理后的原始信号进行分类，过程方便快速。
[0029](2)本专利技术在PCG和ECG特定模态编码器通过时空特征提取单元提取时空特征，既利用了输入信号的空间特征，又利用了时间序列信息；通过残差优化单元提取深层次特征，残本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的心音心电联合诊断装置，其特征在于，用于根据由心音、心电原始信号经预处理得到的各等长片段，采用CRDNet网络模型，计算各等长片段对应的分类结果；根据各分类结果形成诊断分析报告；其中，所述CRDNet网络模型包括：结构相同的PCG特定模态编码器和ECG特定模态编码器，密集融合编码器，以及协同决策模块；每个特定模态编码器用于对输入的等长片段进行特征的逐级提取，第零级为时空特征，最后得到深层次特征，并基于所述深层次特征进行分类，得到当前等长片段输入下的模态内分类结果；密集融合编码器用于对两个特定模态编码器逐级提取的特征对应进行逐级融合，在每级融合过程中，自适应评估不同模态以及每个模态当前等长片段不同区域对分类结果的贡献，为每个模态的多级聚合特征生成像素级权重图，将每个模态的多级聚合特征与其对应的像素级权重图做像素级乘法，得到加权后的该模态的多级聚合特征；通过卷积操作融合加权后的各模态的多级聚合特征以及前一级融合得到的融合特征，生成当前级的融合特征，用以得到当前等长片段输入下的联合分类结果；生成第零级的融合特征所采用的每个模态的所述多级聚合特征为该模态对应的所述时空特征，生成其它各级的融合特征所采用的每个模态的所述多级聚合特征为通过聚合该模态的特定模态编码器所提取的当前级特征及其先前级特征得到；所述协同决策模块用于对PCG和ECG的模态内分类结果以及所述联合分类结果加权相加，得到当前等长片段输入下的最终分类结果。2.根据权利要求1所述的心音心电联合诊断装置，其特征在于，所述根据各分类结果形成诊断分析报告，具体为：对所有等长片段输入下所对应的各最终分类结果做均值，形成诊断分析报告。3.根据权利要求1所述的心音心电联合诊断装置，其特征在于，所述密集融合编码器还对其生成的每一级融合特征进行进一步多尺度特征优化，得到优化后的当前级的融合特征，用以得到当前等长片段输入下的联合分类结果。4.根据权利要求3所述的心音心电联合诊断装置，其特征在于，所述密集融合编码器采用递进式分组卷积提供不同的感受野，以进行多尺度特征优化。5.根据权利要求1所述的心音心电联合诊...

【专利技术属性】
技术研发人员：李强，张浩波，张鹏，
申请(专利权)人：武汉中科医疗科技工业技术研究院有限公司，
类型：发明
国别省市：