一种医学影像文本报告的生成方法及装置制造方法及图纸

本发明专利技术提供了一种医学影像文本报告的生成方法及装置，其中，所述生成方法包括：将待识别的医学影像输入目标识别模型中的目标卷积神经网络，输出针对所述待识别的医学影像的语义特征向量和图像特征向量；将所述语义特征向量和所述图像特征向量输入所述目标识别模型中的目标循环神经网络，输出针对所述待识别的医学影像的文本报告。用于提高医学影像文本报告的生成效率。

A method and device for generating medical image text report

【技术实现步骤摘要】
一种医学影像文本报告的生成方法及装置
本专利技术涉及图像描述
，特别涉及一种医学影像文本报告的生成方法及装置。
技术介绍
图像描述相较于图像识别、目标检测等技术更具有挑战性，具体来讲，其不仅需要识别图像中的目标对象，检测该目标对象的位置，还需要理解目标对象的形状色彩等属性，目标对象间的关系，目标对象参与的活动，并以自然语言的方式表述。现有医学影像文本报告存在数据集有限，没有有效的预训练模型，语料库建立难度大等问题，无法生成更为细粒度的图像特征理解和描述文本。可见，现有医学影像文本报告的生成效率较低。
技术实现思路
本专利技术提供了一种医学影像文本报告的生成方法及装置，用于提高医学影像文本报告的生成效率。第一方面，本专利技术实施例提供了一种医学影像文本报告的生成方法，包括：将待识别的医学影像输入目标识别模型中的目标卷积神经网络，输出针对所述待识别的医学影像的语义特征向量和图像特征向量；将所述语义特征向量和所述图像特征向量输入所述目标识别模型中的目标循环神经网络，输出针对所述待识别的医学影像的文本报告。在一种可能的实施方式中，所述输出针对所述待识别的医学影像的语义特征向量和图像特征向量，包括：输出针对所述待识别的医学影像的语义特征向量和第一诊断标签；对所述第一诊断标签进行全连接处理，获得针对所述待识别的医学影像的图像特征向量。在一种可能的实施方式中，所述输出针对所述待识别的医学影像的语义特征向量和第一诊断标签，包括：确定针对所述待识别的医学影像的至少一个诊断标签；从所述至少一个诊断标签中确定出用于表征被测者患病类别的第一诊断标签；将所述第一诊断标签输入目标词嵌入模型，输出针对所述待识别的医学影像的所述语义特征向量。在一种可能的实施方式中，所述对所述第一诊断标签进行全连接处理，获得针对所述待识别的医学影像的图像特征向量，包括：确定从所述目标卷积神经网络中最靠近输出层的卷积层输出的针对所述待识别的医学影像的特征图；根据所述第一诊断标签将所述特征图进行权重加权，获得针对所述待识别的医学影像的所述图像特征向量。在一种可能的实施方式中，在将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成方法还包括：将预训练的第一数据集输入待训练的卷积神经网络，其中，所述第一数据集包括含有已知诊断标签的多个医学影像；将二分类交叉熵作为所述卷积神经网络的损失函数；将所述损失函数低于第一预设阈值时所对应的卷积神经网络，作为所述目标卷积神经网络。在一种可能的实施方式中，在将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成方法还包括：将预训练的第二数据集输入待训练的识别模型，其中，所述第二数据集包括含有已知文本报告的多个医学影像，所述待训练的识别模型包括所述目标卷积神经网络和待训练的循环神经网络；在所述识别模型的损失函数低于第二预设阈值时所对应的识别模型，作为所述目标识别模型。在一种可能的实施方式中，在将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成方法还包括：将预训练的词条输入待训练的词嵌入模型，获得识别结果，其中，所述预训练的词条来自医学文献检索服务系统；将所述识别结果满足预设误差范围时所对应的词嵌入模型，作为所述目标词嵌入模型。第二方面，本专利技术实施例提供了一种医学影像文本报告的生成装置，包括：第一处理单元，用于将待识别的医学影像输入目标识别模型中的目标卷积神经网络，输出针对所述待识别的医学影像的语义特征向量和图像特征向量；第二处理单元，用于将所述语义特征向量和所述图像特征向量输入所述目标识别模型中的目标循环神经网络，输出针对所述待识别的医学影像的文本报告。在一种可能的实施方式中，所述第一处理单元用于：输出针对所述待识别的医学影像的语义特征向量和第一诊断标签；对所述第一诊断标签进行全连接处理，获得针对所述待识别的医学影像的图像特征向量。在一种可能的实施方式中，所述第一处理单元用于：确定针对所述待识别的医学影像的至少一个诊断标签；从所述至少一个诊断标签中确定出用于表征被测者患病类别的第一诊断标签；将所述第一诊断标签输入目标词嵌入模型，输出针对所述待识别的医学影像的所述语义特征向量。在一种可能的实施方式中，所述第一处理单元用于：确定从所述目标卷积神经网络中最靠近输出层的卷积层输出的针对所述待识别的医学影像的特征图；根据所述第一诊断标签将所述特征图进行权重加权，获得针对所述待识别的医学影像的所述图像特征向量。在一种可能的实施方式中，在将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成装置还包括第三处理单元，所述第三处理单元用于：将预训练的第一数据集输入待训练的卷积神经网络，其中，所述第一数据集包括含有已知诊断标签的多个医学影像；将二分类交叉熵作为所述卷积神经网络的损失函数；将所述损失函数低于第一预设阈值时所对应的卷积神经网络，作为所述目标卷积神经网络。在一种可能的实施方式中，在将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成装置还包括第四处理单元，所述第四处理单元用于：将预训练的第二数据集输入待训练的识别模型，其中，所述第二数据集包括含有已知文本报告的多个医学影像，所述待训练的识别模型包括所述目标卷积神经网络和待训练的循环神经网络；在所述识别模型的损失函数低于第二预设阈值时所对应的识别模型，作为所述目标识别模型。在一种可能的实施方式中，在将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成装置还包括第五处理单元，所述第五处理单元用于：将预训练的词条输入待训练的词嵌入模型，获得识别结果，其中，所述预训练的词条来自医学文献检索服务系统；将所述识别结果满足预设误差范围时所对应的词嵌入模型，作为所述目标词嵌入模型。第三方面，本专利技术实施例还提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上面所述的医学影像报告文本的生成方法的步骤。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上面所述的医学影像报告文本的生成方法的步骤。本专利技术的有益效果如下：本专利技术实施例提供的一种医学影像文本报告的生成方法及装置，首先，将待识别的医学影像输入目标识别模型中的目标卷积神经网络，便可以输出针对该待识别的医学影像的语义特征向量和图像特征向量，然后，将经目标卷积神经网络输出的针对待识别的医学影像的语义特征向量和图像特征向量输入至目标识别模型中的目标循环神经网络，便可以由该目标循环神经网络输出针对该待识别的医学影像的文本报告，从而实现了针对该待识别的医学影像的文本报告的自动生本文档来自技高网...

【技术保护点】
1.一种医学影像文本报告的生成方法，其特征在于，包括：/n将待识别的医学影像输入目标识别模型中的目标卷积神经网络，输出针对所述待识别的医学影像的语义特征向量和图像特征向量；/n将所述语义特征向量和所述图像特征向量输入所述目标识别模型中的目标循环神经网络，输出针对所述待识别的医学影像的文本报告。/n

【技术特征摘要】
1.一种医学影像文本报告的生成方法，其特征在于，包括：
将待识别的医学影像输入目标识别模型中的目标卷积神经网络，输出针对所述待识别的医学影像的语义特征向量和图像特征向量；
将所述语义特征向量和所述图像特征向量输入所述目标识别模型中的目标循环神经网络，输出针对所述待识别的医学影像的文本报告。


2.如权利要求1所述的生成方法，其特征在于，所述输出针对所述待识别的医学影像的语义特征向量和图像特征向量，包括：
输出针对所述待识别的医学影像的语义特征向量和第一诊断标签；
对所述第一诊断标签进行全连接处理，获得针对所述待识别的医学影像的图像特征向量。


3.如权利要求2所述的生成方法，其特征在于，所述输出针对所述待识别的医学影像的语义特征向量和第一诊断标签，包括：
确定针对所述待识别的医学影像的至少一个诊断标签；
从所述至少一个诊断标签中确定出用于表征被测者患病类别的第一诊断标签；
将所述第一诊断标签输入目标词嵌入模型，输出针对所述待识别的医学影像的所述语义特征向量。


4.如权利要求3所述的生成方法，其特征在于，所述对所述第一诊断标签进行全连接处理，获得针对所述待识别的医学影像的图像特征向量，包括：
确定从所述目标卷积神经网络中最靠近输出层的卷积层输出的针对所述待识别的医学影像的特征图；
根据所述第一诊断标签将所述特征图进行权重加权，获得针对所述待识别的医学影像的所述图像特征向量。


5.如权利要求1所述的生成方法，其特征在于，在将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成方法还包括：
将预训练的第一数据集输入待训练的卷积神经网络，其中，所述第一数据集包括含有已知诊断标签的多个医学影像；
将二分类交叉熵作为所述卷积神经网络...

【专利技术属性】
技术研发人员：吴琼，欧歌，张永忠，张海鹏，黄继景，刘宗民，唐大伟，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京;11