一种胎儿心脏超声图像诊断报告自动生成系统的实现方法技术方案

本发明专利技术公开了一种胎儿心脏超声图像诊断报告自动生成系统的实现方法，本发明专利技术方法的核心步骤包括：首先对传入的一批胎儿心脏超声图像进行两种不同的数据增强，将增强的图像编码为特征表示；根据此特征的投影计算对比损失的同时，将此特征传入注意力模块中计算得到图像特征指导解码器解码生成句子；在每个时间步，解码器的输入都与前一个时间步的隐藏状态做多次交互，将交互之后的特征输入到LSTM进行解码操作，根据真实词和生成词计算交叉熵损失。训练完成之后，学到一个胎儿心脏超声图像诊断报告生成模型。将模型封装到系统，系统用此模型对图像进行推理，生成的报告显示在系统界面右下角。右下角。右下角。

【技术实现步骤摘要】
一种胎儿心脏超声图像诊断报告自动生成系统的实现方法


[0001]本专利技术属于人工智能中的医学图像主题生成
，涉及一种胎儿心脏超声图像诊断报告自动生成系统的实现方法。

技术介绍

[0002]在人口越来越多的今天，新生儿的身体健康对人们非常重要，有许多胎儿出生就夭折，大多数都是死于先天性心脏疾病。因此，胎儿的心脏诊断至关重要，医生可以在孕妇怀孕期间时，通过超声图像了解胎儿的健康问题，并撰写对应的诊断报告。对于经验丰富的医生来说，撰写诊断报告这种简单的工作是很枯燥乏味的，对于经验不足的医生来说，这样的工作不仅枯燥乏味，而且容易出错。因此为胎儿心脏超声图像自动生成文本是一大便利，不仅能减少医生不必要的工作量，降低经验不足的医生出错的概率，还能降低患者等待的时间。
[0003]由于胎儿心脏超声图像具有纹理不清晰、噪声大、背景信息单一等特点，为胎儿心脏超声图像生成诊断报告具有很大的挑战。当胎儿心脏超声图像内存在多个目标时，如果形状不固定，由于胎儿心脏超声图像成像时的仪器角度不同，同一个器官在不同的图像上的大小、形状不一定一样，不同器官在同一个图中形状有可能一样，很难判断是否是同一个器官。相比于自然图像简洁明了的描述，胎儿心脏超声图像中很多诊断报告都比较长，偏向于模板化，且胎儿心脏超声图像大都是针对少量疾病类别的图像，图像间差异较小，单纯的监督学习方法不能很好的拟合数据真实的分布，以至于不能很好地获取图像中有用的信息。

技术实现思路

[0004]针对以上问题，提出了一种胎儿心脏超声图像诊断报告自动生成系统的实现方法，此方法利用注意力机制来关注图像中的重点区域，并使用多次交互的方式对注意力进行增强，这有利于模型识别图像重点区域以及生成较长诊断报告的能力。同时，使用对比学习，将图像类间差异增大，类内差异减小，增强图像的表示能力，更好地获取图像中有用的信息，进而提升整体模型的性能。最后将模型封装到系统中，医生可以通过简单的交互式界面进行辅助诊断。
[0005]本专利技术旨在解决以上现有技术的问题，提出了一种胎儿心脏超声图像诊断报告自动生成系统的实现方法，包括以下步骤：
[0006]1)将输入的胎儿心脏超声图像进行两种数据增强后编码为特征表示，根据特征计算对比损失
[0007]2)根据步骤1)得到的图像编码特征，使用注意力机制计算出全局图像特征和局部注意特征；
[0008]3)结合步骤2)得到的局部注意特征、图像对应真实句子的词向量和解码器上一个时间步的上下文向量得到新的特征；
[0009]4)将步骤3)得到的特征与解码器的隐藏状态进行交互，将交互后的输入和隐藏状态传入到解码器LSTM中；
[0010]5)将步骤2)计算得到的全局图像特征与解码器生成的当前时间步的隐藏状态一起传入到注意力块中，将注意力块生成的特征和解码器的隐藏状态使用GLU激活函数计算得到新的特征，称为上下文信息，利用上下文信息预测生成词，并根据真实词和生成词计算交叉熵损失
[0011]6)、循环步骤1)到步骤5)训练模型。
[0012]7)将步骤6)训练得到的模型封装到胎儿心脏超声图像诊断报告自动生成系统中。
[0013]本专利技术具有以下有益技术效果：
[0014]本专利技术提出的方法，可以利用注意力机制自动关注图像的重点区域，充分利用图像和句子模态间的高阶交互信息，并使用了一种多阶交互的方式来对注意力进行增强，减少上下文信息的丢失，使其能够解决部分诊断报告过长的问题。对于胎儿心脏超声图像大都是针对少量疾病类别的图像，图像间差异较小，类间差异与类内差异界限不明确的问题，使用对比学习思想，构建对比损失训练，让相似度高的样本接近，相似度低的样本远离，从而提高编码器对图像的表示能力，提高整体模型生成句子的准确性。更有效地辅助医生进行诊断。
附图说明
[0015]图1是本专利技术的总体框架图；
[0016]图2是构建对比损失的示意图；
[0017]图3是解码器端每个时间步工作的图。
[0018]图4是胎儿心脏超声图像诊断报告自动生成系统数据预处理的示意图。
[0019]图5是胎儿心脏超声图像诊断报告自动生成系统诊断超声图像的示意图。
[0020]图6是胎儿心脏超声图像诊断报告自动生成系统生成的诊断报告完整图。
[0021]图7是胎儿心脏超声图像诊断报告自动生成系统的流程图。
具体实施方式
[0022]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本专利技术的一部分实施例。
[0023]如图1所示，一种胎儿心脏超声图像诊断报告自动生成系统的实现方法，包括：
[0024]1)、构建胎儿心脏超声图像数据集，对训练的一批胎儿心脏超声图像进行必要的预处理操作。
[0025]2)、图像编码为特征表示。
[0026]3)、如图2所示，构建并计算对比损失。
[0027]4)、根据步骤2)得到的图像编码表示，使用注意力机制计算出全局图像特征和局部注意特征。
[0028]5)、结合步骤4)得到的局部注意特征、图像对应真实句子的词向量和解码器上一个时间步的上下文向量得到新的特征。
[0029]6)、如图3所示，将步骤5)得到的特征与解码器的隐藏状态进行交互，以减少上下
文信息的丢失，更好地建模长距离语义。将交互后的输入和隐藏状态传入到解码器LSTM中。
[0030]7)、将步骤4)计算得到的全局图像特征与解码器生成的当前时间步的隐藏状态一起传入到注意力块中，以更好地利用图像信息和语义信息之间的高阶交互。将注意力块生成的特征和解码器的隐藏状态使用GLU激活函数计算得到新的特征，称为上下文信息。并利用上下文信息预测生成词。
[0031]8)、结合步骤3)的对比损失与步骤7)的预测词和真实词之间的交叉熵损失，训练模型。
[0032]9)、将训练好的模型封装到胎儿心脏超声图像诊断报告自动生成系统中，系统主要包括两个功能，分别是图像增强、生成报告；在使用系统时，首先选择性地对图像预处理，然后点击系统的生成报告按钮，系统会使用模型推理，生成对应胎儿心脏超声图像的诊断报告，显示到系统右下角，并且可以手动地保存报告与图像。
[0033]10)、系统使用包括：如图4所示，首先可以选择性的对图像进行预处理工作。预处理之后，如图5所示，传入图像，点击生成报告，系统会根据步骤2)、步骤4)、步骤5)、步骤6)、步骤7)进行推理，将生成的报告显示在系统右下角的框内。如图5所示，生成的诊断报告和图像一起保存到doc文档中，供用户打印。如图6所示，生成的诊断报告结果和图像一起保存到文件中。图7为使用系统生成图像对应诊断报告的流程图。
[0034]进一步的，所述步骤1)首先使用两种数据增强方法，对训练的一个批次大小为B的图像使用两种不同的数据增强方式增强得到新的图像{f
aug1
(I1),...,f
aug1...

【技术保护点】

【技术特征摘要】
1.一种胎儿心脏超声图像诊断报告自动生成系统的实现方法，其特征在于，包括以下步骤：1)将输入的胎儿心脏超声图像进行两种数据增强后编码为特征表示，根据特征计算对比损失；2)根据步骤1)得到的图像编码特征，使用注意力机制计算出全局图像特征和局部注意特征；3)结合步骤2)得到的局部注意特征、图像对应真实句子的词向量和解码器上一个时间步的上下文向量得到新的输入特征；4)将步骤3)得到的输入特征与解码器的隐藏状态进行交互，将交互后得到的新的输入特征和新的隐藏状态传入到解码器LSTM中；5)将步骤2)计算得到的全局图像特征与解码器生成的当前时间步的隐藏状态一起传入到注意力块中，将注意力块生成的特征和解码器的隐藏状态使用GLU激活函数计算得到新的特征，称为上下文信息，利用上下文信息预测生成词，并根据真实词和生成词计算交叉熵损失；6)、循环步骤1)到步骤5)训练模型；7)将步骤6)训练得到的模型封装到胎儿心脏超声图像诊断报告自动生成系统中。2.根据权利要求1所述一种胎儿心脏超声图像诊断报告自动生成系统的实现方法，其特征在于：步骤1)所述将输入图像编码为特征表示，同时计算对比损失。3.根据权利要求2所述一种胎儿心脏超声图像诊断报告自动生成系统的实现方法，其特征在于：步骤2)所述使用注意力机制计算出全局图像特征v
global
和局部注意特征v
att
。4.根据权利要求1所述一种胎儿心脏超声图像诊断报告自动生成系统的实现方法，其特征在于：所述步骤3)具体为：对于解码器LSTM当前时间步t，根据局部注意特征v
att
和当前时间步的词向量，得到解码器LSTM当前时间步的输入x
t
。5.根据权利要求1所述一种胎儿心脏超声图像诊断报告自动生成系统的实现方法，其特征在于：所述步骤4)中多次交互输入x
t
与上一个时间步的隐藏状态h
t
‑1的计算过程如下：的计算过程如下：的计算过程如下：的计算过程如下：其中e
t
是当前时间步的词向量，
⊙
代表元...

【专利技术属性】
技术研发人员：曾宪华，黄海云，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：