多模态血液异常检测方法、电子设备及程序产品技术

本申请提供一种多模态血液异常检测方法、电子设备及程序产品。方法包括：获取待测用户的数据集，数据集包括生理信号、血液细胞显微图像及在行动过程中的骨骼关节图；将数据集输入经过训练测试的多模态识别模型中，得到检测结果，检测结果包括表示待测用户的血液异常状况的分类结果及与分类结果对应的因果图，多模态识别模型包括第一LSTM模块、ResNet模块、GCN模块、特征融合模块、第二LSTM模块、因果图学习模块及预测模块。如此，可以实现多模态的数据集的数据融合，有利于提高检测结果的准确性，以及提高检测结果的可解释性。

【技术实现步骤摘要】

本专利技术涉及医学数据处理，具体而言，涉及一种多模态血液异常检测方法、电子设备及程序产品。

技术介绍

1、人类的血液是否异常受到血液病的影响，血液病(hematological disease)是一类威胁人类健康的疾病，是包括贫血、白血病、骨髓増殖性肿瘤、淋巴瘤、骨髓增生异常综合征和多发性骨髓瘤等一组衍生于造血组织及器官的恶性克隆性疾病的统称。目前，在采用神经网络模型进行血液异常检测时，通常是仅针对血液细胞显微图像，这一单模数据进行血液异常识别，导致识别结果有局限性，可解释性较弱，不便于追溯血液异常的原因。

技术实现思路

1、有鉴于此，本申请实施例的目的在于提供一种多模态血液异常检测方法、电子设备及程序产品，能够改善血液异常识别结果可解释性较弱，不便于追溯血液异常的原因的问题。

2、为实现上述技术目的，本申请采用的技术方案如下：

3、第一方面，本申请实施例提供了一种多模态血液异常检测方法，所述方法包括：

4、获取待测用户的数据集，所述数据集包括生理信号、血液细胞显微图像及在本文档来自技高网...

【技术保护点】

1.一种多模态血液异常检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，通过所述第一LSTM模块对所述生理信号进行特征提取，得到时序特征，包括：

3.根据权利要求1所述的方法，其特征在于，通过所述GCN模块对所述骨骼关节图进行特征提取，得到所述待测用户的步态特征，包括：

4.根据权利要求1所述的方法，其特征在于，通过所述特征融合模块，对所述时序特征、细胞形态特征及所述步态特征进行特征对齐及特征融合，得到融合特征，包括：

5.根据权利要求1所述的方法，其特征在于，通过所述第二LSTM模块对所述融合特征进行检测，得...

【技术特征摘要】

1.一种多模态血液异常检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，通过所述第一lstm模块对所述生理信号进行特征提取，得到时序特征，包括：

3.根据权利要求1所述的方法，其特征在于，通过所述gcn模块对所述骨骼关节图进行特征提取，得到所述待测用户的步态特征，包括：

4.根据权利要求1所述的方法，其特征在于，通过所述特征融合模块，对所述时序特征、细胞形态特征及所述步态特征进行特征对齐及特征融合，得到融合特征，包括：

5.根据权利要求1所述的方法，其特征在于，通过所述第二lstm模块对所述融合特征进行检测，得到病理特征，包括：

6.根据权利要求1所述的方法，其特征在...

【专利技术属性】
技术研发人员：张诚，杨武晨，彭贤贵，张曦，刘思恒，陶廷露，刘静雅，刘水清，冯一梅，墙星，张洪洋，邓小娟，王豪，陈思吟，
申请(专利权)人：中国人民解放军陆军军医大学第二附属医院，
类型：发明
国别省市：