一种放射学报告生成方法、装置、终端及存储介质制造方法及图纸

本发明专利技术公开了一种放射学报告生成方法、装置、终端及存储介质。本发明专利技术提供的放射学报告生成方法，将待处理影像输入至已训练的报告生成模型，模型中包括视觉特征编码器、潜在特征编码器和分层解码器，通过视觉特征编码器提取待处理影像的视觉特征后，再通过潜在特征编码器提取潜在特征，在分层解码器中采用多层注意力机制操作，使得报告的字符特征和句子特征被交替地聚合和分布，并将潜在特征和视觉特征编码至报告的语义特征中，保证了利用报告的现有字符预测的下一个字符的准确性，实现了利用深度学习模型生成待处理影像的放射学报告，提升了放射学报告的编写效率。了放射学报告的编写效率。了放射学报告的编写效率。

【技术实现步骤摘要】
一种放射学报告生成方法、装置、终端及存储介质


[0001]本专利技术涉及深度学习
，特别涉及一种放射学报告生成方法、装置、终端及存储介质。

技术介绍

[0002]放射学影像在医学领域中广泛应用，根据放射学影像编写的诊断报告中需要对放射学影像进行描述，然而编写放射学报告通常是耗时的，需要全面的知识和丰富的经验来理解放射学影像。
[0003]因此，现有技术还有待改进和提高。

技术实现思路

[0004]针对现有技术的上述缺陷，本专利技术提供一种放射学报告生成方法，旨在解决现有技术放射学报告编写耗时长的问题。
[0005]为了解决上述技术问题，本专利技术所采用的技术方案如下：
[0006]本专利技术的第一方面，提供一种放射学报告生成方法，所述方法包括：
[0007]获取待处理影像，将所述待处理影像输入至已训练的报告生成模型，其中，所述报告生成模型包括视觉特征编码器、目标嵌入矩阵、潜在特征编码器和分层解码器，所述分层解码器包括第一注意力层、第二注意力层和第三注意力层；
[0008]通过所述视觉特征编码器获取所述待处理影像的视觉特征，将所述待处理影像的视觉特征输入至所述潜在特征编码器，获取所述潜在特征编码器输出的所述待处理影像对应的潜在特征；
[0009]根据所述目标嵌入矩阵获取当前的放射学报告中的每个字符的嵌入特征，将每个所述嵌入特征输入至所述第一注意力层，获取所述第一注意力层输出的当前的所述放射学报告中每个字符的第一字符级特征以及每个句子的第一聚合特征；<br/>[0010]将当前的所述放射学报告的每个句子的所述第一聚合特征和所述待处理影像的潜在特征输入至所述第二注意力层，通过所述第二注意力层将所述待处理影像的潜在特征编码至当前的所述放射学报告的每个句子的语义特征中，得到当前的所述放射学报告中每个句子的第二聚合特征；
[0011]将各个所述第二聚合特征、各个所述第一字符级特征以及所述待处理影像的视觉特征输入至所述第三注意力层，通过所述第三注意力层将所述待处理影像的视觉特征编码至当前的所述放射学报告的每个字符的语义特征中，得到当前的所述放射学报告的每个字符对应的第二字符级特征，根据各个所述第二字符级特征获取当前的所述放射学报告中的下一个字符；
[0012]重复执行所述根据所述目标嵌入矩阵获取当前的放射学报告中的每个字符的嵌入特征的步骤，直至获取到预设结束字符，得到所述待处理影像对应的目标放射学报告；
[0013]其中，所述放射学报告的初始内容为预设句子标记字符。
[0014]所述的放射学报告生成方法，其中，所述报告生成模型是根据预设数据集训练得到的，所述预设数据集中包括多组训练样本，每组训练样本中包括样本影像以及对应的样本放射学报告；所述将所述待处理影像输入至已训练的报告生成模型之前，包括：
[0015]在所述预设数据集中选择目标训练样本；
[0016]将所述目标训练样本中的样本影像输入至所述报告生成模型，获取所述样本影像的所述视觉特征；
[0017]将所述目标训练样本中的样本放射学报告输入至文本编码器，获取所述样本放射学报告的文本特征，将所述文本特征输入至所述潜在特征编码器，获取所述样本放射学报告对应的所述潜在特征；
[0018]将所述样本影像的所述视觉特征、所述样本放射学报告中的第一个字符和所述样本放射学报告对应的所述潜在特征输入至所述分层编码器，得到所述样本放射学报告对应的预测报告；
[0019]根据所述预测报告获取所述目标训练样本的损失，根据所述目标训练样本的损失更新所述报告生成模型的网络参数；
[0020]重新执行所述在所述预设数据集中选择目标训练样本的步骤，直至所述报告生成模型的参数收敛。
[0021]所述的放射学报告生成方法，其中，所述根据所述预测报告获取所述目标训练样本的损失，包括：
[0022]根据所述预测报告获取第一概率分布，所述第一概率分布为所述文本特征对应的所述潜在特征和所述样本影像联合条件下所述预测报告为所述样本放射学报告的概率分布；
[0023]将所述样本影像的所述视觉特征输入至所述潜在特征编码器，根据所述潜在特征编码器的输出获取第二概率分布，所述第二概率分布为所述样本影像条件下所述文本特征对应的所述潜在特征的概率分布；
[0024]根据所述文本特征对应的所述潜在特征获取第三概率分布，所述第三概率分布为所述样本放射学报告条件下所述文本特征对应的所述潜在特征的概率分布；
[0025]根据所述第一概率分布、所述第二概率分布和所述第三概率分布获取所述目标训练样本的损失。
[0026]所述的放射学报告生成方法，其中，所述获取所述第一注意力层输出的当前的所述放射学报告中每个字符的第一字符级特征以及每个句子的第一聚合特征，包括：
[0027]将当前的所述放射学报告中每个句子的所述预设句子标记字符对应的所述第一字符级特征作为所述放射学报告中每个句子的所述第一聚合特征。
[0028]所述的放射学报告生成方法，其中，所述通过所述第二注意力层将所述待处理影像的潜在特征编码至当前的所述放射学报告的每个句子的语义特征中，得到当前的所述放射学报告中每个句子的第二聚合特征，包括：
[0029]根据句子的所述第一聚合特征生成句子的查询嵌入；
[0030]根据所述待处理影像的潜在特征生成句子的键嵌入和值嵌入；
[0031]根据每个句子的查询嵌入、键嵌入和值嵌入执行多头注意力机制得到每个句子的所述第二聚合特征。
[0032]所述的放射学报告生成方法，其中，所述通过所述第三注意力层将所述待处理影像的视觉特征编码至当前的所述放射学报告的每个字符的语义特征中，得到当前的所述放射学报告的每个字符对应的第二字符级特征，包括：
[0033]根据文字字符的所述第一字符级特征生成文字字符的查询嵌入，根据句子的所述第二聚合特征生成句子的所述预设句子标记字符的查询嵌入；
[0034]根据所述待处理影像的视觉特征生成字符的键嵌入和值嵌入；
[0035]根据每个字符的查询嵌入、键嵌入和值嵌入执行多头注意力机制得到每个字符的所述第二字符级特征。
[0036]所述的放射学报告生成方法，其中，所述分层解码器还包括前馈层，所述前馈层中包括至少一个线性变换层；所述根据各个所述第二字符级特征获取当前的所述放射学报告中的下一个字符，包括：
[0037]将各个所述第二字符级特征输入至所述前馈层；
[0038]根据所述前馈层的输出得到当前的所述放射学报告中的下一个字符。
[0039]本专利技术的第二方面，提供一种放射学报告生成装置，包括：
[0040]影像获取模块，所述影像获取模块用于获取待处理影像，将所述待处理影像输入至已训练的报告生成模型，其中，所述报告生成模型包括视觉特征编码器、目标嵌入矩阵、潜在特征编码器和分层解码器，所述分层解码器包括第一注意力层、第二注意力层和第三注意力层；
[0041]潜在特征提取模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种放射学报告生成方法，其特征在于，所述方法包括：获取待处理影像，将所述待处理影像输入至已训练的报告生成模型，其中，所述报告生成模型包括视觉特征编码器、目标嵌入矩阵、潜在特征编码器和分层解码器，所述分层解码器包括第一注意力层、第二注意力层和第三注意力层；通过所述视觉特征编码器获取所述待处理影像的视觉特征，将所述待处理影像的视觉特征输入至所述潜在特征编码器，获取所述潜在特征编码器输出的所述待处理影像对应的潜在特征；根据所述目标嵌入矩阵获取当前的放射学报告中的每个字符的嵌入特征，将每个所述嵌入特征输入至所述第一注意力层，获取所述第一注意力层输出的当前的所述放射学报告中每个字符的第一字符级特征以及每个句子的第一聚合特征；将当前的所述放射学报告的每个句子的所述第一聚合特征和所述待处理影像的潜在特征输入至所述第二注意力层，通过所述第二注意力层将所述待处理影像的潜在特征编码至当前的所述放射学报告的每个句子的语义特征中，得到当前的所述放射学报告中每个句子的第二聚合特征；将各个所述第二聚合特征、各个所述第一字符级特征以及所述待处理影像的视觉特征输入至所述第三注意力层，通过所述第三注意力层将所述待处理影像的视觉特征编码至当前的所述放射学报告的每个字符的语义特征中，得到当前的所述放射学报告的每个字符对应的第二字符级特征，根据各个所述第二字符级特征获取当前的所述放射学报告中的下一个字符；重复执行所述根据所述目标嵌入矩阵获取当前的放射学报告中的每个字符的嵌入特征的步骤，直至获取到预设结束字符，得到所述待处理影像对应的目标放射学报告；其中，所述放射学报告的初始内容为预设句子标记字符。2.根据权利要求1所述的放射学报告生成方法，其特征在于，所述报告生成模型是根据预设数据集训练得到的，所述预设数据集中包括多组训练样本，每组训练样本中包括样本影像以及对应的样本放射学报告；所述将所述待处理影像输入至已训练的报告生成模型之前，包括：在所述预设数据集中选择目标训练样本；将所述目标训练样本中的样本影像输入至所述报告生成模型，获取所述样本影像的所述视觉特征；将所述目标训练样本中的样本放射学报告输入至文本编码器，获取所述样本放射学报告的文本特征，将所述文本特征输入至所述潜在特征编码器，获取所述样本放射学报告对应的所述潜在特征；将所述样本影像的所述视觉特征、所述样本放射学报告中的第一个字符和所述样本放射学报告对应的所述潜在特征输入至所述分层编码器，得到所述样本放射学报告对应的预测报告；根据所述预测报告获取所述目标训练样本的损失，根据所述目标训练样本的损失更新所述报告生成模型的网络参数；重新执行所述在所述预设数据集中选择目标训练样本的步骤，直至所述报告生成模型的参数收敛。
3.根据权利要求2所述的放射学报告生成方法，其特征在于，所述根据所述预测报告获取所述目标训练样本的损失，包括：根据所述预测报告获取第一概率分布，所述第一概率分布为所述文本特征对应的所述潜在特征和所述样本影像联合条件下所述预测报告为所述样本放射学报告的概率分布；将所述样本影像的所述视觉特征输入至所述潜在特征编码器，根据所述潜在特征编码器的输出获取第二概率分布，所述第二概率分布为所述样本影像条件下所述文本特征对应的所述潜在特征的概率分布；根据所述文本特征对应的所述潜在特征获取第三概率分布，所述第三概率分布为所述样本放射学报告条件下所述文本特征对应的所述潜在特征的概率分布；根据所述第一概率分布、所述第二概率分布和所述第三概率分布获取所述目标训练样本的损失。4.根据权利要求1所述的放射学报告生成方法，其特征在于，所述获取所述第一注意力层输出的当前的所述放射学报告中每个字符的第一字符级特征以及每个句子的第一聚合特征，包括：将当前的所述放射学报告中每个句子的所述预设句子标记字符对应的所述第一字符级特征作为所述放射学报告中每个句子的所述第一聚合特征。5.根据权利要求1所述的放射学报告生成方法，其特征在于，所述通...

【专利技术属性】
技术研发人员：张灵艳，陈志鸿，李米芳，万翔，朱记超，谢尚煌，孙崎元，
申请(专利权)人：深圳市大数据研究院，
类型：发明
国别省市：