一种基于医学影像的疾病诊断装置及方法制造方法及图纸

本发明专利技术提供一种基于医学影像的疾病诊断装置及方法。所述装置包括：特征提取模块，用于利用卷积神经网络对输入的医学影像进行特征提取；第一诊断模块，用于基于贝叶斯网络进行疾病诊断推理；第二诊断模块，用于基于图卷积网络进行疾病诊断和属性类别推理；诊断结果融合模块，用于对第一诊断模块和第二诊断模块的输出进行融合，得到最终的诊断结果。本发明专利技术通过基于贝叶斯网络和图卷积网络进行疾病诊断推理，使得疾病智能诊断模型可以像专业医生一样思考，从病灶的影像学表征推断疾病，实现了可验证性的疾病智能诊断，融合了医生的专业知识，进而提高了自动诊断的精度、可验证性和泛化性。化性。化性。

【技术实现步骤摘要】
一种基于医学影像的疾病诊断装置及方法


[0001]本专利技术属于医学影像
，具体涉及一种基于医学影像的疾病诊断装置及方法。

技术介绍

[0002]在近期的计算机视觉研究中，人工智能尤其是深度神经网络在图像识别、目标检测、语义分割等一系列任务中取得了超过经典机器学习模型的精度。同时，深度神经网络被应用到医学影像分析领域，在一些疾病的自动诊断中取得了较好的识别结果，如基于CT图像的颅内出血区域的自动检测、基于X光图像的胸部疾病自动分类与病灶定位、基于钼靶的乳腺癌自动诊断、基于眼底图像的糖尿病自动筛查等。深度学习之所以能够在医学影像分析领域取得较好的模型性能，主要得益于其强大的图像特征提取和特征学习能力，能够从各种医学影像中学习到病灶的代表性和区分性强的图像特征，从而实现高精度的疾病诊断。
[0003]现有的医学影像人工智能辅助诊断系统可以将医学影像传输到人工智能计算平台，并调用相应的深度学习模型对其进行自动识别，之后将识别结果传输给医生供参考、查询和审核。然而上述系统只是利用通用的深度学习模型对病灶进行识别和分类，由于深度学习本质上是一个数据驱动模型，其学习过程接近于黑箱，因此，上述模型的可验证性较差，诊断准确度不高。虽然医生也能得到深度学习模型给出的病灶识别结果，但是模型的识别过程对医生不可见，医生很难完全信赖自动诊断的结果，因此在实际工作过程中还要花费时间对自动诊断结果进行仔细审核，难以满足医生对于人工智能模型推理过程的泛化性要求。具体而言，可验证性是指疾病智能诊断模型内部的推理和决策过程不仅需要具备可解释性，同时需要推理和决策过程与医学领域的知识和规则保持一致，使其诊断结果具备可验证性。以医学影像诊断中的肺结节良恶性分类为例，疾病智能诊断模型需要首先像医生一样对肺结节的影像学属性进行识别和分级，然后学习这些病灶属性(如分叶征、毛刺征、球形度等)和病灶良恶性之间的因果关系，才能实现对医生诊断过程的还原，使诊断结果具有可验证性。

技术实现思路

[0004]为了解决现有技术中存在的上述问题，本专利技术提供一种基于医学影像的疾病诊断装置及方法。
[0005]为了实现上述目的，本专利技术采用以下技术方案。
[0006]第一方面，本专利技术提供一种基于医学影像的疾病诊断装置，包括：
[0007]特征提取模块，用于利用卷积神经网络对输入的医学影像进行特征提取，并将提取的特征适配转换后分别输入到第一诊断模块和第二诊断模块；
[0008]第一诊断模块，用于基于贝叶斯网络进行疾病诊断推理；
[0009]第二诊断模块，用于基于图卷积网络进行疾病诊断和属性类别推理；
[0010]诊断结果融合模块，用于对第一诊断模块和第二诊断模块的输出进行融合，得到最终的诊断结果。
[0011]进一步地，所述输入的医学影像包括CT图像、MRI图像或X光图像。
[0012]进一步地，所述特征提取模块以ResNet或EfficientNet卷积神经网络为特征提取的主干网；采用特征金字塔网络对ResNet或EfficientNet进行多尺度扩展，利用全局平均池化算子对特征金字塔每一层的特征向量进行空间尺度降维，得到宽和高均为1的特征向量，设定所有尺度的特征输出维度都相同，在不同尺度特征经过全局平均池化算子后，利用全连接层对其进行特征变换，同时使用加法运算将所有尺度的特征进行融合，并继续利用另一个全连接层对融合后的特征继续进行特征变换，最后输出提取的图像特征。
[0013]进一步地，所述第一诊断模块基于贝叶斯网络建立疾病类别与病灶属性之间的概率依赖关系模型；贝叶斯网络表示为B＝<V
B
,E
B
,θ>，其中<V
B
,E
B
>表示有向无环图，V
B
表示节点的集合，E
B
表示边的集合，θ表示由每个节点的条件概率表组成的贝叶斯网络参数；连接两个节点的边用来表示这两个节点之间的概率依赖关系；首先将输入的图像特征转换为属性的概率分值，并将其作为证据送入贝叶斯网络进行前向推理，将每个节点的输入证据与条件概率表结合在一起运算，从而得到每个节点的边际后验概率，节点v0的边际后验概率P
B
(v0)为：
[0014]P
B
(v0)＝∫...∫
V
P(v0,v1,...,v
n
)dv1...dv
n
ꢀꢀ
(1)
[0015][0016]其中，n为节点的数量，Parents(v
i
)表示节点v
i
的父节点，当v
i
没有任何父节点时，Parents(v
i
)为空。
[0017]进一步地，所述第二诊断模块基于图卷积网络建立病灶属性之间以及病灶属性与疾病类别之间的关系模型；图卷积网络基于无向图G＝(V
G
,E
G
)进行构建，其中V
G
、E
G
分别代表节点集合和边的集合，每一个节点及其包含的特征向量与病灶的某一属性或疾病类别相对应，如果两个节点存在连接，说明这两个节点相关；对于这两个节点之间的边，用一个可学习的权重表示两个节点的相关程度；图卷积网络共包含L层，每层的节点数量相同；采用残差图卷积运算实现从第l层到第l+1层之间的特征变换：
[0018][0019]其中，F(G
l
,W
l
)表示第l层的图卷积算子，分别表示第l层和第l+1层所有节点的特征向量矩阵。
[0020]进一步地，所述诊断结果融合模块采用残差融合算法，将第一诊断模块的贝叶斯网络作为主分支，将第二诊断模块的图卷积网络作为残差分支，预测结果叠加到贝叶斯网络的输出之上；在融合过程中，对疾病类别的预测结果、病灶属性的预测结果分别进行融合，分别如式(4)、(5)：
[0021][0022][0023]其中，为融合后的疾病类别的概率，为融合后的病灶属性的概率，
分别代表贝叶斯网络输出的与疾病类别和病灶属性对应的边际后验概率，分别表示图卷积网络输出的疾病类别和病灶属性的概率，w
B
和w'
B
分别表示两个可学习的系数，W0和W'0分别表示两个全连接层的权重矩阵，σ表示softmax函数，Concat()表示特征堆叠算子。
[0024]进一步地，所述装置还包括模型优化模块，用于通过模型训练优化模型参数，所述模型训练的方法包括：
[0025]步骤S1，保持贝叶斯网络的结构和参数不变，利用反向传播算法对特征提取模块的卷积神经网络和第二诊断模块的图卷积网络的参数进行更新；
[0026]步骤S2，采用动态规划法对第一诊断模块的贝叶斯网络的结构进行更新，然后采用最大似然估计法对条件概率表进行更新；
[0027]步骤S1、S2重复执行，当重复次数超过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于医学影像的疾病诊断装置，其特征在于，所述装置包括：特征提取模块，用于利用卷积神经网络对输入的医学影像进行特征提取，并将提取的特征适配转换后分别输入到第一诊断模块和第二诊断模块；第一诊断模块，用于基于贝叶斯网络进行疾病诊断推理；第二诊断模块，用于基于图卷积网络进行疾病诊断和属性类别推理；诊断结果融合模块，用于对第一诊断模块和第二诊断模块的输出进行融合，得到最终的诊断结果。2.根据权利要求1所述的基于医学影像的疾病诊断装置，其特征在于，所述输入的医学影像包括CT图像、MRI图像或X光图像。3.根据权利要求1所述的基于医学影像的疾病诊断装置，其特征在于，所述特征提取模块以ResNet或EfficientNet卷积神经网络为特征提取的主干网；采用特征金字塔网络对ResNet或EfficientNet进行多尺度扩展，利用全局平均池化算子对特征金字塔每一层的特征向量进行空间尺度降维，得到宽和高均为1的特征向量，设定所有尺度的特征输出维度都相同，在不同尺度特征经过全局平均池化算子后，利用全连接层对其进行特征变换，同时使用加法运算将所有尺度的特征进行融合，并继续利用另一个全连接层对融合后的特征继续进行特征变换，最后输出提取的图像特征。4.根据权利要求1所述的基于医学影像的疾病诊断装置，其特征在于，所述第一诊断模块基于贝叶斯网络建立疾病类别与病灶属性之间的概率依赖关系模型；贝叶斯网络表示为B＝<V
B
,E
B
,θ>，其中<V
B
,E
B
>表示有向无环图，V
B
表示节点的集合，E
B
表示边的集合，θ表示由每个节点的条件概率表组成的贝叶斯网络参数；连接两个节点的边用来表示这两个节点之间的概率依赖关系；首先将输入的图像特征转换为属性的概率分值，并将其作为证据送入贝叶斯网络进行前向推理，将每个节点的输入证据与条件概率表结合在一起运算，从而得到每个节点的边际后验概率，节点v0的边际后验概率P
B
(v0)为：P
B
(v0)＝∫...∫
V
P(v0,v1,...,v
n
)dv1...dv
n
ꢀꢀꢀꢀ
(1)其中，n为节点的数量，Parents(v
i
)表示节点v
i
的父节点，当v
i
没有任何父节点时，Parents(v
i
)为空。5.根据权利要求3所述的基于医学影像的疾病诊断装置，其特征在于，所述第二诊断模块基于图卷积网络建立病灶属性之间以及病灶属性与疾病类别之间的关系模型；图卷积网络基于无向图G＝(V
G
,E
G
)进行构建，其中V
G
、E
G
分别代表节点集合和边的集合，每一个节点及其包含的特征向量与病灶的某一属性或疾病类别相对应，如果两个节点存在连接，说明这两个节点相关；对于这两个节点之间的边，用一个可学习的权重表示两个节点的相关程度；图卷积网络共包含L层，每层的节点数量相同；采用残差图卷...

【专利技术属性】
技术研发人员：俞益洲，周振，赵刚明，冯权泷，李一鸣，乔昕，
申请(专利权)人：杭州深睿博联科技有限公司，
类型：发明
国别省市：