【技术实现步骤摘要】
本申请涉及图像处理领域，特别是涉及一种检验报告生成模型的训练方法及装置、检验报告生成方法。
技术介绍
1、随着人工智能技术的不断进步，目前已出现将放射学图像输入至报告生成模型中，使得报告生成模型自动生成针对放射学图像的诊断报告的技术。然而受到数据质量和模型容量的影响，现有的自动生成诊断报告技术生成的各个报告中通常存在大量重复内容，报告之间缺乏显著性差异，使得生成的诊断报告精度不高。
2、因此，针对当前自动生成放射学报告的不足和缺陷，需要提出一种能针对不同个体生成个性化报告的方法。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种检验报告生成模型的训练方法及装置、检验报告生成方法。
2、第一方面，本申请提供了一种检验报告生成模型的训练方法。初始检验报告生成模型包括特征提取模块及特征融合模块，所述方法包括：
3、获取样本检验图像，对各检验图像及所述样本检验图像进行匹配处理，得到与所述样本检验图像相匹配的目标检验图像，并将所述目标检验图像在检验报告先验知识图谱中对应的子图，作为所述样本检验图像对应的目标子图；
4、通过所述特征提取模块分别对所述样本检验图像及所述目标子图进行特征提取处理，得到所述样本检验图像的图像特征、及所述目标子图的图谱特征；
5、通过所述特征融合模块对所述图像特征及所述图谱特征进行融合处理，得到融合特征；
6、根据所述融合特征生成目标检验报告，并根据所述样本检验图像对应的样本检验报告与所
7、在其中一个实施例中，所述方法还包括：
8、通过所述特征提取模块分别对所述图像特征及所述图谱特征进行掩盖处理，得到所述图像特征对应的对比图像特征、及所述图谱特征对应的对比图谱特征；
9、通过所述特征融合模块对所述对比图像特征及所述对比图谱特征进行融合处理，得到对比融合特征；
10、根据所述对比融合特征生成对比检验报告；
11、所述根据所述样本检验图像对应的样本检验报告与所述目标检验报告之间的差异，对所述初始检验报告生成模型进行训练，得到训练好的检验报告生成模型，包括：
12、根据所述对比检验报告与所述目标检验报告之间的差异、及所述样本检验图像对应的样本检验报告与所述目标检验报告之间的差异，对所述初始检验报告生成模型进行训练，得到训练好的检验报告生成模型。
13、在其中一个实施例中，所述对各检验图像及所述样本检验图像进行匹配处理，得到与所述样本检验图像相匹配的目标检验图像，包括：
14、针对任一所述检验图像，确定所述样本检验图像与所述检验图像之间的差异值；
15、将各所述差异值中最小的差异值对应的所述检验图像，作为所述样本检验图像对应的目标检验图像。
16、在其中一个实施例中，所述特征提取模块包括图谱特征提取模块，所述图谱特征提取模块包括多个注意力层，相邻的两个所述注意力层之间具有残差连接，
17、通过所述特征提取模块对所述目标子图进行特征提取处理，得到所述目标子图的图谱特征，包括：
18、针对所述目标子图中的第一节点及第二节点，根据所述第一节点的节点特征、所述第二节点的节点特征、及与所述第一节点之间具有连接关系的各邻近节点的节点特征，确定所述第一节点针对第二节点的注意力特征值，所述第一节点是所述目标子图中的任意一个节点，所述第二节点是所述邻近节点中的任意节点；
19、分别将所述目标子图中的各所述节点对应的各所述注意力特征值输入至所述图谱特征提取模块中，以使得所述图谱特征提取模块针对任一所述节点，顺序通过各所述注意力层对所述节点对应的各所述注意力特征值进行特征提取处理，得到所述节点对应的目标注意力特征向量，根据各所述节点对应的所述目标注意力特征向量确定所述目标子图的图谱特征，并输出所述图谱特征。
20、在其中一个实施例中，所述特征融合模块包括结构特征提取模块及至少两个结构注意力提取模块，
21、所述通过所述特征融合模块对所述图像特征及所述图谱特征进行融合处理，得到融合特征，包括：
22、确定所述目标子图的邻接矩阵，并通过所述结构特征提取模块对所述邻接矩阵进行结构特征提取处理，得到结构特征向量；
23、针对任一所述结构注意力提取模块，通过所述结构注意力提取模块对所述图像特征、所述图谱特征及所述结构特征向量进行结构注意力提取处理，得到所述结构注意力提取模块对应的结构注意力向量；
24、对各所述结构注意力提取模块的所述结构注意力向量进行融合处理，得到融合特征。
25、在其中一个实施例中，所述通过所述结构特征提取模块对所述邻接矩阵进行结构特征提取处理，得到结构特征向量，包括：
26、在第m轮结构特征向量确定过程中，通过所述结构特征提取模块对所述邻接矩阵的m次幂进行拉普拉斯归一化操作，得到第m个结构特征向量元素；
27、在m小于预设阶数的情况下，进入第m+1轮结构特征向量确定过程；或者，
28、在m等于预设阶数的情况下，根据各所述结构特征向量元素得到所述结构特征向量；
29、其中，m为正整数。
30、在其中一个实施例中，所述结构注意力提取模块的输入为查询矩阵、键值矩阵及值矩阵，
31、在所述特征融合模块包括2个结构注意力提取模块的情况下，所述针对任一所述结构注意力提取模块，通过所述结构注意力提取模块对所述图像特征、所述图谱特征及所述结构特征向量进行结构注意力提取处理，得到所述结构注意力提取模块对应的结构注意力向量，包括：
32、根据所述图谱特征确定第一查询矩阵、根据所述图像特征确定第一键值矩阵、根据所述图像特征确定第一值矩阵，并通过第一结构注意力提取模块，对所述第一查询矩阵、所述第一键值矩阵、所述第一值矩阵及所述结构特征向量进行结构注意力提取处理，得到第一结构注意力向量；
33、根据所述图像特征确定第二查询矩阵、根据所述图谱特征确定第二键值矩阵、根据所述图谱特征确定第二值矩阵，并通过第二结构注意力提取模块，对所述第二查询矩阵、所述第二键值矩阵、所述第二值矩阵及所述结构特征向量进行结构注意力提取处理，得到第二结构注意力向量。
34、在其中一个实施例中，所述结构注意力提取模块用于根据所述查询矩阵及所述键值矩阵确定第一中间矩阵，根据所述第一中间矩阵及所述结构特征向量确定第二中间矩阵，并根据所述第二中间矩阵及所述值矩阵确定结构注意力向量。
35、在其中一个实施例中，所述根据所述对比检验报告与所述目标检验报告之间的差异、及所述样本检验图像对应的样本检验报告与所述目标检验报告之间的差异，对所述初始检验报告生成模型进行训练，得到训练好的检验报告生成模型，包括：
36、确定所述对比检验报告的对比文本向量、所述目标本文档来自技高网...
【技术保护点】
1.一种检验报告生成模型的训练方法，其特征在于，初始检验报告生成模型包括特征提取模块及特征融合模块，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述特征提取模块包括图谱特征提取模块，所述图谱特征提取模块包括多个注意力层，相邻的两个所述注意力层之间具有残差连接，
4.根据权利要求1所述的方法，其特征在于，所述特征融合模块包括结构特征提取模块及至少两个结构注意力提取模块，
5.根据权利要求4所述的方法，其特征在于，所述结构注意力提取模块的输入为查询矩阵、键值矩阵及值矩阵，
6.根据权利要求5所述的方法，其特征在于，所述结构注意力提取模块用于根据所述查询矩阵及所述键值矩阵确定第一中间矩阵，根据所述第一中间矩阵及所述结构特征向量确定第二中间矩阵，并根据所述第二中间矩阵及所述值矩阵确定结构注意力向量。
7.一种检验报告生成方法，其特征在于，所述方法包括：
8.一种检验报告生成模型的训练装置，其特征在于，初始检验报告生成模型包括特征提取
9.一种检验报告生成装置，其特征在于，所述装置包括：
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种检验报告生成模型的训练方法，其特征在于，初始检验报告生成模型包括特征提取模块及特征融合模块，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述特征提取模块包括图谱特征提取模块，所述图谱特征提取模块包括多个注意力层，相邻的两个所述注意力层之间具有残差连接，
4.根据权利要求1所述的方法，其特征在于，所述特征融合模块包括结构特征提取模块及至少两个结构注意力提取模块，
5.根据权利要求4所述的方法，其特征在于，所述结构注意力提取模块的输入为查询矩阵、键值矩阵及值矩阵，
6.根据权利要求5所述的...
【专利技术属性】
技术研发人员：黄雨，徐德轩，黄粤，楼轶维，李航，何菁，
申请(专利权)人：北京大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。