【技术实现步骤摘要】
本专利技术涉及人工智能深度学习，尤其是涉及一种基于多模态数据的医学影像报告生成方法及装置。
技术介绍
1、正畸诊断是指，错颌畸形是指儿童在生长发育时期，颅面骨骼、肌肉在内外环境和遗传的相互作用下，牙、颌、颅面部发育异常的一种临床表现。口腔正畸治疗目的，是在正常口腔功能和生理范围内，获取患者个体最完美的牙颌颜面美观稳定、协调、平衡的颌、颌关系。然而错颌畸形的病因错综复杂，牙颌关系变化较大，要求医师在对患者进行初步检查后，立刻提出一个比较符合患者实际的治疗方案，是比较困难的。它需要患者与医师密切合作，认真分析后，列出患者牙颌畸形所存在的主要问题，明确错颌畸形的病因，分析错颌畸形的机理，然后提出下一步的治疗方案。正畸诊断常常根据患者的各种临床信息，形成个体化的诊断系统。
2、目前，医学影像数据在辅助正畸诊断、治疗方案制定等方面具有重要作用。临床上，医学影像的解释通常由医生通过审阅医学影像并进行分析和描述，给出影像报告，进而对最终的正畸诊断与治疗方案制定起到参考作用。但是，随着影像技术的发展，不同患者的影像数据在数量上骤增，而报告的格式和专业术语等又大多为统一、重复的文字描述，因此，完全依靠人力进行报告的撰写将会浪费大量的人力成本和时间成本。故医学影像报告自动生成系统随之兴起。例如，中国专利cn 115205880a公开了一种医学影像报告生成方法及装置，其中的方法通过获取目标医学影像，基于目标医学影像语义关联模型对获取的影像进行处理，得到对应的多模态主题分布信息，进而生成多层次文本描述信息，得到对应的医学影像报告。虽然该方法
3、由于正畸诊断涉及的检查分析内容包括病史、临床检查、功能性分析、模型分析、x线片检查、x线头影测量分析等多种类型，因此在生成医学影像报告时考虑更多的内容将有效提高报告的可靠性。目前，基于多模态深度学习算法的医学影像报告生成技术逐渐成为趋势。口腔正畸多模态数据包括患者的影像学资料，例如头颅定位侧位片、曲面断层片、正面相，侧面相以及患者的口内照片等，除此之外，还包括患者的锥形束计算机断层扫描影像(cbct影像)和颞下颌关节核磁共振影像(颞下颌关节mri影像)等，患者的临床检查和主诉也在正畸诊断的分析范围内。因此，准确生成医学影像报告依赖于对患者临床多模态数据的综合分析，进而辅助形成对患者的口腔正畸有效诊断。基于此，如何进一步提高医学影像报告生成的可靠性、降低人工负荷，成为本领域需要解决的问题。
技术实现思路
1、本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多模态数据的医学影像报告生成方法及装置，能够融合口腔正畸的多模态数据，提高医学影像报告生成的可靠性、降低人工负荷。
2、本专利技术的目的可以通过以下技术方案来实现：
3、根据本专利技术的第一方面，提供一种基于多模态数据的医学影像报告生成方法，包括以下步骤：获取原始的多模态数据并进行预处理，所述多模态数据包括影像数据、主诉文本数据和临床检查文本数据；基于预处理后的多模态数据，利用训练好的多模态深度学习模型进行预测，生成相应的医学影像报告；其中，所述多模态深度学习模型包括训练好的卷积神经网络模型、人工神经网络模型以及全连接层，预测过程具体包括：基于预处理后的影像数据，利用训练好的卷积神经网络模型提取图像特征；基于预处理后的主诉文本数据和临床检查文本数据，利用训练好的人工神经网络模型提取语义特征；融合所述图像特征与相应的语义特征，得到融合特征；将所述融合特征输入所述全连接层，映射得到所述医学影像报告。
4、作为优选的技术方案，所述预处理的过程具体包括图像重建、图像分割和归一化处理。
5、作为优选的技术方案，训练所述卷积神经网络模型和所述人工神经网络模型的过程具体包括：将预处理后的多模态数据划分为训练集、验证集与测试集；基于所述训练集中的影像数据，利用梯度下降算法训练预训练的卷积神经网络模型；基于所述训练集中的主诉文本数据和临床检查文本数据，利用梯度下降算法训练预训练的人工神经网络模型；利用所述验证集分别确定所述卷积神经网络模型和所述人工神经网络模型的最优参数；利用所述测试集对优化后的卷积神经网络模型和人工神经网络模型进行评估。
6、作为优选的技术方案，所述多模态深度学习模型的训练过程具体包括：将预处理后的多模态数据划分为训练集与验证集；基于预设的初始模型参数，利用所述训练集和梯度下降算法对所述多模态深度学习模型进行迭代训练；利用所述验证集确定所述多模态深度学习模型的最优参数。
7、作为优选的技术方案，融合所述图像特征与相应的语义特征的方法包括向量拼接。
8、作为优选的技术方案，所述影像数据包括锥形束计算机断层扫描影像和颞下颌关节核磁共振影像以及头颅定位侧位片、曲面断层片、正面相、侧面相和口腔内部照片。
9、根据本专利技术的第二方面，提供一种基于多模态数据的医学影像报告生成装置，包括数据获取与预处理模块以及医学影像报告生成模块，所述数据获取与预处理模块用于获取原始的多模态数据并进行预处理，所述多模态数据包括影像数据、主诉文本数据和临床检查文本数据；所述医学影像报告生成模块用于基于预处理后的多模态数据，利用训练好的多模态深度学习模型进行预测，生成相应的医学影像报告；其中，所述多模态深度学习模型包括训练好的卷积神经网络模型、人工神经网络模型以及全连接层，预测过程具体包括：基于预处理后的影像数据，利用训练好的卷积神经网络模型提取图像特征；基于预处理后的主诉文本数据和临床检查文本数据，利用训练好的人工神经网络模型提取语义特征；融合所述图像特征与相应的语义特征，得到融合特征；将所述融合特征输入所述全连接层，映射得到所述医学影像报告。
10、作为优选的技术方案，所述数据获取与预处理模块包括图像重建单元、图像分割单元和归一化处理单元，分别用于进行图像重建、图像分割和归一化处理。
11、作为优选的技术方案，所述医学影像报告生成模块包括单模态模型训练单元，所述单模态模型训练单元用于训练所述卷积神经网络模型和所述人工神经网络模型，训练具体过程包括：将预处理后的多模态数据划分为训练集、验证集与测试集；基于所述训练集中的影像数据，利用梯度下降算法训练预训练的卷积神经网络模型；基于所述训练集中的主诉文本数据和临床检查文本数据，利用梯度下降算法训练预训练的人工神经网络模型；利用所述验证集分别确定所述卷积神经网络模型和所述人工神经网络模型的最优参数；利用所述测试集对优化后的卷积神经网络模型和人工神经网络模型进行评估。
12、作为优选的技术方案，所述医学影像报告生成模块还包括多模态模型训练单元，所述多模态模型训练单元用于训练所述多模态深度学习模型，训练具体过程包括：将预处理后的多模态数据划分为训练集与验证集；基于预设的初始模型参数，利用所述训练集和梯度下降算法对所述多模态深度学习模型进行迭本文档来自技高网...
【技术保护点】
1.一种基于多模态数据的医学影像报告生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多模态数据的医学影像报告生成方法，其特征在于，所述预处理的过程具体包括图像重建、图像分割和归一化处理。
3.根据权利要求1所述的基于多模态数据的医学影像报告生成方法，其特征在于，训练所述卷积神经网络模型和所述人工神经网络模型的过程具体包括：
4.根据权利要求1所述的基于多模态数据的医学影像报告生成方法，其特征在于，所述多模态深度学习模型的训练过程具体包括：
5.根据权利要求1所述的基于多模态数据的医学影像报告生成方法，其特征在于，融合所述图像特征与相应的语义特征的方法包括向量拼接。
6.根据权利要求1所述的基于多模态数据的医学影像报告生成方法，其特征在于，所述影像数据包括锥形束计算机断层扫描影像和颞下颌关节核磁共振影像以及头颅定位侧位片、曲面断层片、正面相、侧面相和口腔内部照片。
7.一种基于多模态数据的医学影像报告生成装置，其特征在于，包括数据获取与预处理模块以及医学影像报告生成模块，
8.根据
9.根据权利要求7所述的基于多模态数据的医学影像报告生成装置，其特征在于，所述医学影像报告生成模块包括单模态模型训练单元，所述单模态模型训练单元用于训练所述卷积神经网络模型和所述人工神经网络模型，训练具体过程包括：将预处理后的多模态数据划分为训练集、验证集与测试集；基于所述训练集中的影像数据，利用梯度下降算法训练预训练的卷积神经网络模型；基于所述训练集中的主诉文本数据和临床检查文本数据，利用梯度下降算法训练预训练的人工神经网络模型；利用所述验证集分别确定所述卷积神经网络模型和所述人工神经网络模型的最优参数；利用所述测试集对优化后的卷积神经网络模型和人工神经网络模型进行评估。
10.根据权利要求9所述的基于多模态数据的医学影像报告生成装置，其特征在于，所述医学影像报告生成模块还包括多模态模型训练单元，所述多模态模型训练单元用于训练所述多模态深度学习模型，训练具体过程包括：将预处理后的多模态数据划分为训练集与验证集；基于预设的初始模型参数，利用所述训练集和梯度下降算法对所述多模态深度学习模型进行迭代训练；利用所述验证集确定所述多模态深度学习模型的最优参数。
...【技术特征摘要】
1.一种基于多模态数据的医学影像报告生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多模态数据的医学影像报告生成方法，其特征在于，所述预处理的过程具体包括图像重建、图像分割和归一化处理。
3.根据权利要求1所述的基于多模态数据的医学影像报告生成方法，其特征在于，训练所述卷积神经网络模型和所述人工神经网络模型的过程具体包括：
4.根据权利要求1所述的基于多模态数据的医学影像报告生成方法，其特征在于，所述多模态深度学习模型的训练过程具体包括：
5.根据权利要求1所述的基于多模态数据的医学影像报告生成方法，其特征在于，融合所述图像特征与相应的语义特征的方法包括向量拼接。
6.根据权利要求1所述的基于多模态数据的医学影像报告生成方法，其特征在于，所述影像数据包括锥形束计算机断层扫描影像和颞下颌关节核磁共振影像以及头颅定位侧位片、曲面断层片、正面相、侧面相和口腔内部照片。
7.一种基于多模态数据的医学影像报告生成装置，其特征在于，包括数据获取与预处理模块以及医学影像报告生成模块，
8.根据权利要求7所述的基于多模态数据的医学影像报告生成装置，其特征在于，所述数据获取与预处理模块...
【专利技术属性】
技术研发人员：李海振，石汶轩，夏伦果，经典，孙倩男，
申请(专利权)人：上海交通大学医学院附属第九人民医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。