【技术实现步骤摘要】
本专利技术涉及诊断报告自动生成领域，尤其涉及一种多图像融合的诊断报告生成方法、模型训练方法及设备。
技术介绍
1、共聚焦显微内镜是一种可以借助胃镜、结肠镜等通道伸入人体，获取细胞与亚细胞级别的局部组织学图像从而精准诊断微小病灶、胃肠道病变及早期胃肠道癌变等疾病的医疗设备，在临床检查时常结合白光内镜一起使用。
2、在进行共聚焦显微内镜检查后，医生需要亲自分析检查过程的共聚焦显微内镜图像以及对应的白光内镜图像并撰写诊断报告，然后手动录入到专用的eis(内镜中心信息系统)中，不仅费时费力，大大降低了检查效率而且根据医生经验的不同，可能会出现遗漏、误判的情况。
技术实现思路
1、本专利技术提供了一种多图像融合的诊断报告生成方法、模型训练方法及设备，解决了以上所述的技术问题。
2、本专利技术实施例的第一方面提供了一种多图像融合的诊断报告生成模型训练方法，包括以下步骤：
3、步骤1，采集不同部位的共聚焦显微内镜图像以及对应的白光内镜图像和诊断报告，建立数据集；
4、步骤2，构建诊断报告生成模型，所述诊断报告生成模型包括图像解码模块和文本生成模块，所述图像解码模块用于提取所述共聚焦显微内镜图像的局部特征向量以及所述白光内镜图像的整体特征向量，并生成所述局部特征向量和所述整体特征向量的融合结果；所述文本生成模块用于生成所述融合结果对应的第一主题向量，并将所述第一主题向量和先验知识对应的第二主题向量进行语句合并，生成诊断报告；
5、步骤3，
6、本专利技术实施例的第二方面提供了一种多图像融合的诊断报告生成方法，包括以下步骤：
7、步骤401，采集待融合的医学影像图片，所述医学影像图片包括目标共聚焦显微内镜图像和目标白光内镜图像；
8、步骤402，通过预设病变诊断模型对所述目标共聚焦显微内镜图像进行识别生成目标疾病诊断信息；
9、步骤403，通过预设部位识别模型对所述目标白光内镜图像进行识别生成目标部位信息；
10、步骤404，将所述医学影像图片以及对应的目标疾病诊断信息、目标部位信息输入至所述诊断报告生成模型，生成包括所述医学影像图片的图文诊断报告。
11、本专利技术实施例的第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使处理器执行以上所述训练方法或所述诊断报告生成方法的步骤。
12、本专利技术实施例的第四方面提供了一种电子设备，所述电子设备包括：
13、一个或多个处理器；
14、存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现所述训练方法或所述诊断报告生成方法的步骤。
15、本专利技术的有益效果是：本专利技术提供了一种多图像融合的诊断报告生成方法、模型训练方法及设备，可以识别并融合共聚焦显微内镜图像以及相关联白光内镜图像的图像特征，并结合疾病诊断信息和部位信息自动输出对应的图文诊断报告，不仅减轻了医生负担，提升了诊断速度，而且可以避免遗漏、误判等情况，提高了诊断报告的准确性。
16、为使专利技术的上述目的、特征和优点能更明显易懂，下文特举本专利技术较佳实施例，并配合所附附图，作详细说明如下。
本文档来自技高网...【技术保护点】
1.一种多图像融合的诊断报告生成模型训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述多图像融合的诊断报告生成模型训练方法，其特征在于，所述步骤1具体为：
3.根据权利要求1或2所述多图像融合的诊断报告生成模型训练方法，其特征在于，通过所述图像解码模块生成所述局部特征向量和所述整体特征向量的融合结果，具体为：
4.根据权利要求3所述多图像融合的诊断报告生成模型训练方法，其特征在于，所述先验知识包括疾病诊断信息和部位信息，
5.根据权利要求4所述多图像融合的诊断报告生成模型训练方法，其特征在于，通过所述文本生成模块生成诊断报告，具体为：
6.根据权利要求5所述多图像融合的诊断报告生成模型训练方法，其特征在于，对所述疾病诊断信息和所述部位信息进行编码融合，具体为：
7.一种多图像融合的诊断报告生成方法，其特征在于，包括以下步骤：
8.根据权利要求7所述多图像融合的诊断报告生成方法，其特征在于，还包括数据关联步骤，具体为：
9.一种电子设备，其特征在于：所述电子设备包括：
<...【技术特征摘要】
1.一种多图像融合的诊断报告生成模型训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述多图像融合的诊断报告生成模型训练方法，其特征在于，所述步骤1具体为：
3.根据权利要求1或2所述多图像融合的诊断报告生成模型训练方法，其特征在于，通过所述图像解码模块生成所述局部特征向量和所述整体特征向量的融合结果，具体为：
4.根据权利要求3所述多图像融合的诊断报告生成模型训练方法，其特征在于，所述先验知识包括疾病诊断信息和部位信息，
5.根据权利要求4所述多图像融合的诊断报告生成模型训练方法，其特征在于，通过所述文本生成模块生成诊断报告，具体为...
【专利技术属性】
技术研发人员：朱永凯，段西尧，谭梦旖，冯宇，
申请(专利权)人：精微视达医疗科技苏州有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。