【技术实现步骤摘要】
本专利技术涉及图像处理，特别是涉及基于多模态原型网络的可解释医学图像分类系统。
技术介绍
1、本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
2、医学图像处理是指计算机图像处理技术对医学图像进行分析和处理，它可以辅助医生对病变体以及其它感兴趣的区域进行定性定量的分析，从而大大提高医疗诊断的准确性和可靠性。近几十年来，使用深度神经网络的自动化诊断方法取得了很高的性能，但是模型由于缺乏可解释性，导致这些模型在临床中很少使用。这是因为医疗决策关乎病人生命，这要求模型不仅有高准确性，还需要给出模型推理的依据。可解释人工智能(xai，explanable artificial intelligence)旨在研究可解释的模型，同时保持高水平的学习性能和预测准确性。
3、专利技术人发现，近年来，原型网络受到了研究者的关注，原型通过比较待测试图像的区域补丁与特征原型的相似度来给出分类判断依据。现有的方法其在生成原型时，原型会不可避免的生成在一些重复出现的相似医学背景区域中，因此得到的原型可能呈现出疾病无关的特征。在胸部x射线图像中，大部分区域都是重复的健康区域，病变区域非常小并且是稀疏的，这为生成准确的疾病原型制造了障碍。最近的研究表明，机器学习模型容易学习医学无关特征(例如健康组织的模式)和预测目标(例如肿瘤边缘的类型)之间的虚假关联。除此之外，传统的基于原型的解决方案只关注原型在像素特征的相似度，忽略了原型的位置信息，在医学图像中，一些疾病往往发生在相似位置，这些信息并没有被利用。
...【技术保护点】
1.基于多模态原型网络的可解释医学图像分类系统，其特征是，包括：
2.如权利要求1所述的基于多模态原型网络的可解释医学图像分类系统，其特征是，所述将训练集，输入到多模态原型网络中，对网络进行训练得到训练后的多模态原型网络，其中，多模态原型网络，网络结构包括：
3.如权利要求2所述的基于多模态原型网络的可解释医学图像分类系统，其特征是，所述图像特征提取层，采用Resnet-50网络来实现；
4.如权利要求2所述的基于多模态原型网络的可解释医学图像分类系统，其特征是，所述文本特征提取层，采用BERT网络来实现。
5.如权利要求2所述的基于多模态原型网络的可解释医学图像分类系统，其特征是，所述位置嵌入层，用于嵌入位置信息；
6.如权利要求2所述的基于多模态原型网络的可解释医学图像分类系统，其特征是，所述多模态注意力层，用于使用图像特征和文本特征计算相似度，生成多模态注意力矩阵：
7.如权利要求2所述的基于多模态原型网络的可解释医学图像分类系统，其特征是，所述原型层，由C组原型单元构成，其中C为疾病个数，每组原型单元
8.如权利要求2所述的基于多模态原型网络的可解释医学图像分类系统，其特征是，所述分类层，采用全连接层来实现，使用分组的全连接层将相似性分数转换为预测分数，在每组分类层中，仅考虑一种疾病类别对应的原型来计算相似度；
9.如权利要求2所述的基于多模态原型网络的可解释医学图像分类系统，其特征是，所述将训练集，输入到多模态原型网络中，对网络进行训练得到训练后的多模态原型网络，网络训练过程包括：
10.如权利要求9所述的基于多模态原型网络的可解释医学图像分类系统，其特征是，网络的总损失函数，公式表达为：
...【技术特征摘要】
1.基于多模态原型网络的可解释医学图像分类系统，其特征是，包括：
2.如权利要求1所述的基于多模态原型网络的可解释医学图像分类系统，其特征是，所述将训练集，输入到多模态原型网络中，对网络进行训练得到训练后的多模态原型网络，其中，多模态原型网络，网络结构包括：
3.如权利要求2所述的基于多模态原型网络的可解释医学图像分类系统，其特征是，所述图像特征提取层，采用resnet-50网络来实现；
4.如权利要求2所述的基于多模态原型网络的可解释医学图像分类系统，其特征是，所述文本特征提取层，采用bert网络来实现。
5.如权利要求2所述的基于多模态原型网络的可解释医学图像分类系统，其特征是，所述位置嵌入层，用于嵌入位置信息；
6.如权利要求2所述的基于多模态原型网络的可解释医学图像分类系统，其特征是，所述多模态注意力层，用于使用图像特征和文本特征计算相似度，生成多模态注意力矩阵：
7.如...
【专利技术属性】
技术研发人员：刘嵩，王光晨，李金保，田诚，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。