一种基于胎心率信号多模态特征融合的胎儿窘迫诊断系统技术方案

本发明专利技术公开一种基于胎心率信号多模态特征融合的胎儿窘迫诊断系统，包括信号预处理模块、数据增强模块、专家特征提取模块、信号特征提取模块、多模态融合模块、输出模块。本发明专利技术将专家特征融合信号特征，有效的降低了胎儿窘迫的误诊率，为胎儿监护、疾病诊断和临床决策提供了重要依据。基于膨胀卷积与因果卷积设计了一种SE

【技术实现步骤摘要】
一种基于胎心率信号多模态特征融合的胎儿窘迫诊断系统


[0001]本专利技术涉及医学信号处理
，具体涉及一种基于胎心率信号多模态特征融合的胎儿窘迫诊断系统，集成了多尺度SE
‑
TCN骨干模型和基于多头自注意力机制的跨模态特征融合模块。

技术介绍

[0002]胎儿窘迫诊断是围产医学中的一个重要领域，胎儿窘迫指胎儿在子宫内发生一系列异常变化，导致胎儿受到氧供不足或其他不良影响的情况，在严重情况可能导致胎儿早产和死亡。临床上胎儿窘迫诊断通常通过一系列的检查手段进行，其中包括监测胎儿心率、胎动、宫缩等指标，其中胎儿心率监测是最为常见和主要的方法。
[0003]近年来，基于胎心率(Fetal Heart Rate,FHR)信号的胎儿窘迫诊断算法发展迅猛。在目前的算法中，常常使用传统的机器学习方法对FHR信号的形态学、时域、频域、非线性域等参数进行特征提取、特征选择和分类，或者采用小波变换、傅里叶变换等时频域转换方式，将一维原始信号转换换为二维的图像表示，然后进行深度学习网络模型构建、训练和评估。然后现有的方法大部分都只基于单个模态特征(特征参数或一维信号或二维图像)，忽略了不同模态特征之间可能存在的互补性。此外单一模态往往无法提供足够的信息，难以全面地描述和分析复杂的FHR信号。并且考虑到FHR信号往往受到各种噪声和干扰，单一模态的特征可能不够稳定和可靠。相反地，多模态特征可以获取更丰富的潜在特征表示，不同的模态特征在不同的情况下可能具有不同的重要性，通过融合多模态特征可以自适应地学习每个模态特征的权重，从而提高诊断的准确性。
[0004]综上所述，亟需开发一种多模态信息融合算法，用于胎儿窘迫诊断。这种多模态信息融合算法的开发对于改进胎儿窘迫诊断的准确性和实时性具有重要意义。

技术实现思路

[0005]针对单模态医学数据信息有限且特征学习不充分的问题，本专利技术提供了一种基于胎心率信号多模态特征融合的胎儿窘迫诊断系统，融合了基于多头自注意力机制(Multi
‑
head Self Attention,MHSA)的跨模态特征融合(Cross
‑
modal Feature Fusion,CMFF)模块和多尺度SE
‑
TCN(Squeeze and Excitation
‑
Temporal Convolutional Network,SE
‑
TCN)骨干网络模型。
[0006]第一方面，本专利技术提供一种基于胎心率信号多模态特征融合的胎儿窘迫诊断系统，包括：
[0007](1)信号预处理模块，去除原始胎心率(Fetal Heart Rate,FHR)信号的噪声，得到干净的FHR信号；
[0008]具体是：
[0009]1‑
1缺失值去除子模块；
[0010]假设X＝{x1,x2,x3,
…
,x
n
}为一个原始FHR信号，其中n是信号的最大长度；对原始
FHR信号找出胎心率为0的连续信号片段，若当前信号片段时长大于阈值ξ1则直接去除当前信号片段，否则使用线性插值来填充当前信号片段；
[0011]本专利技术将插值技术用于FHR信号，有效去除了去除FHR信号在记录过程中受到的各种噪声的干扰，为后续辅助诊断算法研究提供较高质量的数据集。
[0012]1‑
2信号伪影处理子模块；
[0013]针对缺失值去除子模块处理后的FHR信号，若相邻样本点的差值大于阈值ξ2，对相邻点的第一个样本和下一个稳定段的第一个点之间使用线性插值来填充。
[0014]所述稳定段为N个连续样本的差值小于阈值ξ3；
[0015]1‑
3去除尖峰值子模块
[0016]针对信号伪影处理子模块处理后的FHR信号，使用Hermite样条插值去除数据尖峰。
[0017]1‑
4数据划分模块
[0018]对去除尖峰值子模块处理后的FHR信号分为训练集、测试集；
[0019](2)数据增强模块，对训练集进行样本扩充；具体是：
[0020]利用GAN扩充窘迫类FHR信号，具体是：
[0021]基于博弈论构建的生成模型GAN包括生成器G和鉴别器D，两个网络之间进行极大极小对抗训练，训练过程中的损失函数如下：
[0022][0023]其中E[
·
]表示期望值，P
data
和P
z
分别表示真实FHR分布和模拟高斯噪声分布，V(G,D)表示二分类的交叉熵函数。
[0024]基于生成对抗式网络(Generating adversarial networks,GAN)合成病理FHR信号使得正负样本分布平衡。GAN由生成器(Generator,G)和鉴别器(Discriminator,D)组成，生成器的主要任务是从高斯噪声分布中采样噪声信号，并通过一系列的反卷积层(连续的六个一维反卷积层)合成病理信号，使其能够欺骗鉴别器。而鉴别器包括连续的五个卷积层和一个全连接层，最后通过sigmoid函数激活输出鉴别概率，判断输入信号是真实的还是生成的。本专利技术将GAN用于合成病理FHR，为后续辅助诊断算法研究提供规模化和均衡的数据支撑。
[0025](3)专家特征提取模块，基于专家先验知识提取专家潜在特征张量Z
e
，所述专家潜在特征张量Z
e
由形态学、时域、频域和非线性特征经过两层线性投影后得到；其中形态学参数包括基线、加速次数、减速次数等，时域参数主要来自于胎儿心率变异性，包括逐次心跳间隔序列的统计学参数，频域参数使用快速傅里叶变化计算不同频带的功率谱密度、功率谱占比、峰值频率等，非线性参数主要包括庞加莱图参数、近似熵、样本熵、Lempel
–
Ziv复杂度指数、分形维数和赫斯特指数等。本专利技术结合专家先验知识，提取了FHR信号的多种类型特征参数，在一定程度上减少了模型的不确定性和泛化误差，并且提高了模型的可解释性水平。
[0026](4)信号特征提取模块，利用多尺度SE
‑
TCN骨干网络对信号预处理模块处理后的FHR信号提取信号特征潜在张量Z
s
；具体是：
[0027]所述多尺度SE
‑
TCN骨干网络包括多尺度深度可分离卷积模块MDSC、五个串联的|
时间卷积神经网络SE
‑
TCNBlocks；
[0028]所述多尺度深度可分离卷积模块(Multi
‑
scale Depthwise Separable Convolution,MDSC)MDSC将4个不同尺寸的卷积核沿着一维方向移动对输入的整个FHR信号进行特征提取，从而以局部感知的方式逐步获取能够完整表征序列的四个不同尺度特征；然将上述四个不同尺度特征进行融合得到多尺度信号特征张量；
[0029]每个时间卷积神经本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于胎心率信号多模态特征融合的胎儿窘迫诊断系统，其特征在于包括：信号预处理模块，去除原始FHR信号的噪声，得到干净的FHR信号；数据增强模块，对训练集进行样本扩充；专家特征提取模块，基于专家先验知识提取专家潜在特征张量Z
e
，所述专家潜在特征张量Z
e
由形态学、时域、频域和非线性特征经过两层线性投影后得到；信号特征提取模块，利用多尺度SE
‑
TCN骨干网络对信号预处理模块处理后的FHR信号提取信号特征潜在张量Z
s
；所述多尺度SE
‑
TCN骨干网络包括多尺度深度可分离卷积模块MDSC、五个串联的|时间卷积神经网络SE
‑
TCNBlocks；所述多尺度深度可分离卷积模块MDSC将4个不同尺寸的卷积核沿着一维方向移动对输入的整个FHR信号进行特征提取，从而以局部感知的方式逐步获取能够完整表征序列的四个不同尺度特征；然将上述四个不同尺度特征进行融合得到多尺度信号特征张量；每个时间卷积神经网络SE
‑
TCNBlocks包含两个通道，其中主通道中包含两个串联的膨胀因果卷积层，每个膨胀因果卷积层后使用BatchNorm归一化和校正线性单元激活；次通道包括一个下采样卷积层和一个压缩激励层；主通道和次通道间采用残差连接；多模态融合模块，利用跨模态特征融合网络CMFF对专家潜在特征张量Z
e
和信号特征潜在张量Z
s
进行融合；其中跨模态特征融合网络CMFF包括两个并行的多头注意力机制模块、跨模态注意力分数计算模块、两个并行的上下分支、以及跨模态拼接模块；所述两个并行的多头注意力机制模块分别各自接受专家潜在特征张量Z
e
和信号特征潜在张量Z
s
，通过线性投影将每个表征映射到一组具有不同语义的向量，然后通过多个注意力头进行自注意力计算，再将各个注意力头的权重矩阵拼接在一起；所述跨模态注意力分数计算模块获取两个并行的多头注意力机制模块的输出进行注意力分数计算；所述上下分支包括融合层、并行的全局平均池化层和全局最大池化层、以及拼接层；所述跨模态拼接模块用于将上下分支的输出进行拼接，得到融合张量Z
m
：输出模块，利用线性层对融合张量Z
m
进行降维，得到输...

【专利技术属性】
技术研发人员：朱家伟，赵治栋，邓艳军，张显飞，张晓红，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：