基于多模态数据的胎心状态检测方法、电子设备、存储介质技术

本申请提供一种基于多模态数据的胎心状态检测方法、电子设备、存储介质，包括：获取多模态数据；针对每一模态，分别对所述模态下数据进行预处理，得到所述模态的数据特征；将多模态的数据特征分别输入至对应的循环神经网络，得到多个循环神经网络分别输出的特征向量；将多个特征向量融合为待检测特征，并将所述待检测特征输入已训练的分类器，得到胎心状态类别信息。本申请方案，有效提取和整合来自不同模态的有关信息，有效提高了胎心状态检测的准确性和鲁棒性。的准确性和鲁棒性。的准确性和鲁棒性。

【技术实现步骤摘要】
基于多模态数据的胎心状态检测方法、电子设备、存储介质


[0001]本申请涉及医疗数据处理
，特别涉及一种基于多模态数据的胎心状态检测方法及装置、电子设备、计算机可读存储介质。

技术介绍

[0002]胎心即胎儿的心跳，反映胎儿在宫内状态，当各种原因引起胎儿缺氧时，胎心会出现相应的变化。因此，胎儿心跳监测是评估胎儿健康状况的重要手段。相关技术中，胎心的监测方法通常仅依赖单一模态的数据，这些方法可能收到噪声干扰、数据质量不佳等因素影响，导致胎心状态的检测结果的准确性和鲁棒性有限。

技术实现思路

[0003]本申请实施例的目的在于提供一种基于多模态数据的胎心状态检测方法及装置、电子设备、计算机可读存储介质，用于有效提取和整合来自不同模态的有关信息，有效提高了胎心状态检测的准确性和鲁棒性。
[0004]一方面，本申请提供了一种基于多模态数据的胎心状态检测方法，包括：
[0005]获取多模态数据；
[0006]针对每一模态，分别对所述模态下数据进行预处理，得到所述模态的数据特征；
[0007]将多模态的数据特征分别输入至对应的循环神经网络，得到多个循环神经网络分别输出的特征向量；
[0008]将多个特征向量融合为待检测特征，并将所述待检测特征输入已训练的分类器，得到胎心状态类别信息。
[0009]在一实施例中，所述获取多模态数据，包括：
[0010]采集多模态的模拟信号，并分别将每一模态的模拟信号转化为数字信号；
[0011]将多模态的数字信号分别进行编码处理，得到指定格式的多模态数据。
[0012]在一实施例中，所述多模态的模拟信号为多普勒波形、皮肤电信号波形、心电信号波形、母体血压数据、母体血糖数据、母体体温中至少两种的组合。
[0013]在一实施例中，所述针对每一模态，分别对所述模态下数据进行预处理，得到所述模态的数据特征，包括：
[0014]针对每一模态，分别将所述模态下数据进行归一化处理，得到归一化后数据序列；
[0015]将多模态的归一化后数据序列，在数据采集时间上进行对齐，得到多模态的对齐后数据序列；
[0016]为多模态的对齐后数据序列，统一至目标采样率，得到多模态的目标数据序列；
[0017]对每一模态的目标数据序列，进行特征提取，得到对应的数据特征。
[0018]在一实施例中，所述对每一模态的目标数据序列，进行特征提取，得到对应的数据特征，包括：
[0019]对所述目标数据序列进行傅里叶变换，得到第一数据特征；
[0020]对所述目标数据序列进行短时傅里叶变换，得到第二数据特征。
[0021]在一实施例中，所述方法还包括：
[0022]将样本数据集中多组多模态的样本数据特征输入至对应的循环神经网络，得到每一数据特征对应的样本特征向量；其中，所述样本数据集中每一组多模态样本数据特征携带胎心状态类别标签；
[0023]将每一组的多个样本特征向量融合为样本待检测特征，并将所述样本待检测特征输入至分类器，得到预测胎心状态类别；
[0024]基于所述预测胎心状态类别与所述胎心状态类别标签之间的差异，对所述分类器和所述循环神经网络的模型参数进行调整；
[0025]重复上述过程，直至所述分类器和所述循环神经网络收敛，得到已训练的分类器和已训练的循环神经网络。
[0026]在一实施例中，所述循环神经网络为长短时记忆网络。
[0027]另一方面，本申请提供了一种基于多模态数据的胎心状态检测装置，包括：
[0028]获取模块，用于获取多模态数据；
[0029]预处理模块，用于针对每一模态，分别对所述模态下数据进行预处理，得到所述模态的数据特征；
[0030]输入模块，用于将多模态的数据特征分别输入至对应的循环神经网络，得到多个循环神经网络分别输出的特征向量；
[0031]分类模块，用于将多个特征向量融合为待检测特征，并将所述待检测特征输入已训练的分类器，得到胎心状态类别信息。
[0032]进一步的，本申请提供了一种电子设备，所述电子设备包括：
[0033]处理器；
[0034]用于存储处理器可执行指令的存储器；
[0035]其中，所述处理器被配置为执行上述基于多模态数据的胎心状态检测方法。
[0036]此外，本申请提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述基于多模态数据的胎心状态检测方法。
[0037]本申请方案，通过融合多模态数据，可以获取到更丰富的胎儿心跳有关信息，有助于提高预测准确性，且由于综合利用了多种数据来源，在面对单一模态数据质量不佳的情况下，仍能保持较高的预测性能，高了胎心状态检测的鲁棒性；此外，采用深度学习模型进行特征提取和融合，能够自动学习数据中的潜在归类，具有较强的自适应性；通过对多模态数据进行实时处理和预测，可以及时发现胎儿心跳异常。
附图说明
[0038]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。
[0039]图1为本申请一实施例提供的基于多模态数据的胎心状态检测方法的应用场景示意图；
[0040]图2为本申请一实施例提供的电子设备的结构示意图；
[0041]图3为本申请一实施例提供的基于多模态数据的胎心状态检测方法的流程示意
图；
[0042]图4为本申请一实施例提供的图3中步骤320的细节流程示意图；
[0043]图5为本申请一实施例提供的模型架构示意图；
[0044]图6为本申请一实施例提供的模型训练流程示意图；
[0045]图7为本申请一实施例提供的基于多模态数据的胎心状态检测装置的框图。
具体实施方式
[0046]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
[0047]相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0048]图1为本申请实施例提供的基于多模态数据的胎心状态检测方法的应用场景示意图。如图1所示，该应用场景包括客户端20和服务端30；客户端20可以是数据采集设备，比如多普勒超声设备、皮肤电传感器、动态心点图仪等，用于向服务端30传输采集到的数据；服务端30可以是主机、服务器、服务器集群或云计算中心，可以基于多模态数据检测胎心状态。
[0049]如图2所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图2中以一个处理器11为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态数据的胎心状态检测方法，其特征在于，包括：获取多模态数据；针对每一模态，分别对所述模态下数据进行预处理，得到所述模态的数据特征；将多模态的数据特征分别输入至对应的循环神经网络，得到多个循环神经网络分别输出的特征向量；将多个特征向量融合为待检测特征，并将所述待检测特征输入已训练的分类器，得到胎心状态类别信息。2.根据权利要求1所述的方法，其特征在于，所述获取多模态数据，包括：采集多模态的模拟信号，并分别将每一模态的模拟信号转化为数字信号；将多模态的数字信号分别进行编码处理，得到指定格式的多模态数据。3.根据权利要求2所述的方法，其特征在于，所述多模态的模拟信号为多普勒波形、皮肤电信号波形、心电信号波形、母体血压数据、母体血糖数据、母体体温中至少两种的组合。4.根据权利要求1所述的方法，其特征在于，所述针对每一模态，分别对所述模态下数据进行预处理，得到所述模态的数据特征，包括：针对每一模态，分别将所述模态下数据进行归一化处理，得到归一化后数据序列；将多模态的归一化后数据序列，在数据采集时间上进行对齐，得到多模态的对齐后数据序列；为多模态的对齐后数据序列，统一至目标采样率，得到多模态的目标数据序列；对每一模态的目标数据序列，进行特征提取，得到对应的数据特征。5.根据权利要求4所述的方法，其特征在于，所述对每一模态的目标数据序列，进行特征提取，得到对应的数据特征，包括：对所述目标数据序列进行傅里叶变换，得到第一数据特征；对所述目标数据序列进行短时傅里叶变换，得到第二数据特征。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：将样...

【专利技术属性】
技术研发人员：苏至钒，汪吉梅，潘晶，金宇赢，夏知拓，
申请(专利权)人：复旦大学附属妇产科医院，
类型：发明
国别省市：