一种多模态融合的肺炎辅助诊断方法及其系统技术方案

本发明专利技术涉及智慧医疗和辅助诊断技术领域，具体公开了一种多模态融合的肺炎辅助诊断方法及其系统，所述方法包括：步骤S1：采集多模态数据信息，所述多模态数据信息来自电子听诊器、CT设备、医保系统、以及体检科室的各项信息，所述模态数据包括图像模态、文本模态和音频模态；步骤S2：对多模态数据进行预处理，将三种模态数据信息进行粗加工，使其变为适合神经网络处理的数据格式等内容；本发明专利技术基于多模态融合的肺炎辅助诊断系统，考虑了图像

【技术实现步骤摘要】
一种多模态融合的肺炎辅助诊断方法及其系统


[0001]本专利技术涉及智慧医疗和辅助诊断
，具体是一种多模态融合的肺炎辅助诊断方法及其系统。

技术介绍

[0002]目前医院在肺炎诊断时需要医生需要结合放射科医生给出的CT图像描述和检验报告针对病人的肺部影像进行仔细阅片，同时还要结合病人的病史、体检报告以及心肺听诊等多种信息，最后才能得出结论，存在着耗时长，且实习医生难以胜任的问题。近年来，人工智能辅助诊断系统正逐步深入各大医院，在肺炎辅助诊断领域也有所涉足，但现有技术仍存在着很大的局限性。目前的辅助诊断方法可以按照涉及的模态分为2类，具体如下：
[0003]1、单模态辅助诊断方法
[0004]目前医院最多使用的辅助诊断方法就是基于图像单模态的方法，该方法仅仅只有图像特征(可能为3维也可能为2维)，缺乏其他模态的信息作为支撑，效果一般。南京安科医疗科技有限公司公开了一个用于辅助肺炎诊断的图像处理方法和系统，该系统对肺部图像进行分割处理去除血管后，导入神经网络中，最后输出带有验证标记的图像。该方法仅考虑了CT影像，信息单一。且使用的主干网络为VGG和UNet等非自有专利的方法。如【申请号CN202010126181.8】
[0005]2、多模态辅助诊断方法
[0006]目前针对多模态辅助诊断可以进一步细分为两类，一类多模态是指不同医疗成像设备得到的图像资料，另一种是指图像资料与文本资料等。其中由于前者实现难度较低，成本低，所以更加广泛。
[0007]2.1基于多模态图像资料的辅助诊断
[0008]山西医科大学第一医院公开了一种多模态图像辅助诊断系统及其搭建方法，该方法中关于多模态的应用主要是将CT影像使用UNet进行分割提取轮廓，投影到SPECT影像上提取对应特征，这种方法仅仅是用到了图像信息，且具体工作是图像配准，在某种意义上不能算多模态特征融合。如【申请号CN201811528324.7】
[0009]2.2基于多模态图像、文本等信息的辅助诊断
[0010]中国科学院大学(中国科学院沈阳计算技术研究所)的吕晴提出了基于人工智能的肺癌辅助诊断系统，该系统使用了肺部CT图像以及放射科医生给出的CT图像描述和检验报告作为系统输入，涉及到图像及文本模态，但是涉及到的信息量较少，未能充分利用患者的病史、体检以及心肺音频等多方面信息【基于人工智能的肺癌辅助诊断系统的设计与实现】
[0011]此外，若按照涉及的算法类别分类，目前的辅助诊断方法可以分为传统图像处理方法和机器学习方法2类。其中传统图像处理方法需要耗费极大的人力和时间成本进行调整参数，同时泛用性差，对于不同型号设备的不同成像效果，难以达到很好的兼容性，因此我们提出一种多模态融合的肺炎辅助诊断方法及其系统。

技术实现思路

[0012]本专利技术的目的在于提供一种多模态融合的肺炎辅助诊断方法及其系统，目的在于使用深度学习算法构建神经网络，以包括医疗影像、心肺音频、病史等多模态的信息作为肺炎辅助诊断系统的输入，综合考虑多方面因素，输出辅助诊断的结果并标注影像中的对应位置，供内科医生参考，以此提高医院的接诊效率，提高诊断准确度，并加快实习医生的成长过程。
[0013]为实现上述目的，本专利技术提供如下技术方案：一种多模态融合的肺炎辅助诊断方法，所述方法包括：
[0014]步骤S1：采集多模态数据信息，所述多模态数据信息来自电子听诊器、CT设备、医保系统、以及体检科室的各项信息，所述模态数据包括图像模态、文本模态和音频模态；
[0015]步骤S2：对多模态数据进行预处理，将三种模态数据信息进行粗加工，使其变为适合神经网络处理的数据格式；
[0016]步骤S3：对预处理信息进行特征分析处理，在特征处理完三个模态的信息后，将抽取到的多模态特征进行形态变换，进行多模态特征融合；
[0017]步骤S4：将模态特征融的数据经过形状变化得到最终的输出，输出结果为患者是否患有肺炎，若患有肺炎则还进一步输出对应的标注了炎症位置的影像图，提供给医生参考。
[0018]作为本专利技术所述的一种优选实施方案，其中，所述步骤S1中，所述文字模态的文字信息可以进一步分为结构化文本信息和非结构化文本信息，所述结构化文本信包括体检数据，所述非结构化文本信息包括影响分析报告、病史。
[0019]作为本专利技术所述的一种优选实施方案，其中，所述步骤S2中：
[0020]图像预处理：是将图像大小裁切，将图像拉伸为224*224像素的尺寸，默认使用灰度图像，也可使用彩色多通道图像，数据的尺寸为[N,C,H,W]，分别代表图片数、通道数、高度以及宽度；
[0021]文本预处理：文本信息可以分为两类，结构化文本与非结构化文本，结构化文本以[数值]的形式保存，即[[V1,V
1max
,V
1min
],[V2,V
2max
,V
2min
]....[V
N
,V
Nmax
,V
Nmin
]]，尺寸为[L
N
,V]，其中V为value代表对应的数值，V
max
为value代表对应的最大值，V
min
为value代表对应的最小值，L
N
为列表长度，列表的每一项内容，代表一项属性的数值，考虑到体检等多类信息数据庞大，预先取L
N
＝512，对于数据长度不足512的，将其[数值]用[0]进行填充；便于神经网络计算；对于非结构化文本，直接将其读入即可，分别包括身体各类参数指标报告T0、影象分析报告T1以及病史T2，格式为[T0,T1,T2]，尺寸为[3,L
T
]，L
T
分别为三份文本的最大长度，默认取512；
[0022]音频预处理，音频信息一般为一段固定长度的时间序列，对于过长的音频，使用首尾裁切的方法自动保留中间信噪比更高的内容，对于过短的音频，在音频末尾自动添加空白音频，将其扩展到期望长度，尺寸为[L
A
,A]，其中L
A
为音频时长，A为某一采样时刻的音频信息，默认取32位存储空间；
[0023]其中，三类模态信息预处理完毕后，将其进行连接，形成多模态数据，尺寸为[[N,C,224,224],[[L
N
,3],[3,L
T
]],[L
A
,32]]。
[0024]作为本专利技术所述的一种优选实施方案，其中，所述步骤S3中，特征处理包括图像模
态特征提取、文本模态特征提取和音频模态特征提取，具体如下：
[0025]图像模态特征提取：图像模态的输入为CT影像，图像的格式已预处理为224*224，对于每一张图像使用U型网络进行特征提取，最后模块输出的特征尺寸同样为224*224；
[0026]文本模态特征提取：在结构化文本中，对于数值型的数据，可以直接输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态融合的肺炎辅助诊断方法，其特征在于，所述方法包括：步骤S1：采集多模态数据信息，所述多模态数据信息来自电子听诊器、CT设备、医保系统、以及体检科室的各项信息，所述模态数据包括图像模态、文本模态和音频模态；步骤S2：对多模态数据进行预处理，将三种模态数据信息进行粗加工，使其变为适合神经网络处理的数据格式；步骤S3：对预处理信息进行特征分析处理，在特征处理完三个模态的信息后，将抽取到的多模态特征进行形态变换，进行多模态特征融合；步骤S4：将模态特征融的数据经过形状变化得到最终的输出，输出结果为患者是否患有肺炎，若患有肺炎则还进一步输出对应的标注了炎症位置的影像图，提供给医生参考。2.根据权利要求1所述的一种多模态融合的肺炎辅助诊断方法，其特征在于，所述步骤S1中，所述文字模态的文字信息可以进一步分为结构化文本信息和非结构化文本信息，所述结构化文本信包括体检数据，所述非结构化文本信息包括影响分析报告、病史。3.根据权利要求2所述的一种多模态融合的肺炎辅助诊断方法，其特征在于，所述步骤S2中：图像预处理：是将图像大小裁切，将图像拉伸为224*224像素的尺寸，默认使用灰度图像，也可使用彩色多通道图像，数据的尺寸为[N,C,H,W]，分别代表图片数、通道数、高度以及宽度；文本预处理：文本信息可以分为两类，结构化文本与非结构化文本，结构化文本以[数值]的形式保存，即[[V1,V
1max
,V
1min
],[V2,V
2max
,V
2min
]....[V
N
,V
Nmax
,V
Nmin
]]，尺寸为[L
N
,V]，其中V为value代表对应的数值，V
max
为value代表对应的最大值，V
min
为value代表对应的最小值，L
N
为列表长度，列表的每一项内容，代表一项属性的数值，考虑到体检等多类信息数据庞大，预先取L
N
＝512，对于数据长度不足512的，将其[数值]用[0]进行填充；便于神经网络计算；对于非结构化文本，直接将其读入即可，分别包括身体各类参数指标报告T0、影象分析报告T1以及病史T2，格式为[T0,T1,T2]，尺寸为[3,L
T
]，L
T
分别为三份文本的最大长度，默认取512；音频预处理，音频信息一般为一段固定长度的时间序列，对于过长的音频，使用首尾裁切的方法自动保留中间信噪比更高的内容，对于过短的音频，在音频末尾自动添加空白音频，将其扩展到期望长度，尺寸为[L
A
,A]，其中L
A
为音频时长，A为某一采样时刻的音频信息，默认取32位存储空间；其中，三类模态信息预处理完毕后，将其进行连接，形成多模态数据，尺寸为[[N,C,224,224],[[L
N
,3],[3,L
T
]],[L
A
,32]]。4.根据权利要求3所述的一种多模态融合的肺炎辅助诊断方法，其特征在于，所述步骤S3中，特征处理包括图像模态特征提取、文本模态特征提取和音频模态特征提取，具体如下：图像模态特征提取：图像模...

【专利技术属性】
技术研发人员：郭存涵，黄道银，
申请(专利权)人：莆田市数字集团有限公司，
类型：发明
国别省市：