【技术实现步骤摘要】
一种基于关系模型的医学报告生成模型及其生成方法
本专利技术涉及机器学习
，特别是涉及一种基于关系模型的医学报告生成模型及其生成方法。
技术介绍
自动生成医学图像报告最近引起了越来越多的研究兴趣，这对于简化诊断程序和减轻医生负担具有显著的潜力。不同于生成一个单句的传统视觉图像理解任务，生成描述患者状况和症状的主题一致的长报告，在计算机视觉和自然语言处理的交叉领域上构成了更具挑战性的任务。除了与图像理解和视觉问答(VQA)共有的困难(例如，细粒度的视觉处理和推理，桥接视觉和语言模式)外，医学报告生成是一个由多个句子或段落组成的长篇叙事，必须有一个合理的逻辑和一致的主题。此外，作为面向任务的挑战，它不仅需要预测高度准确的医学术语诊断，还需要预测多种形式的信息，包括结论和细节发现。基于深度神经网络架构，序列到序列模型和视觉注意机制已经在图像理解和视觉问答(VQA)中被广泛采用，其通过学习关注图像的显着区域来提高性能。然而，在没有关于视觉内容的其他先验知识的情况下，这种计算的视觉注意力可能集中于不相关的区。虽然已经提出了一些方法来通过求助于基于集成检索，分层架构和多任...
【技术保护点】
1.一种基于关系模型的医学报告生成模型，包括：深度卷积网络，用于对异常术语进行分类并抽取视觉特征，并将其输入分为两级的双向长短期记忆网络层进行注意力操作，在每级双向长短期记忆网络层后接入全连接层以分别负责选择模板和单词；分级递归神经网络，包括2层双向长短期记忆网络层，其顶层双向长短期记忆网络层通过注意力操作，再连接全连接层选择正确的模板，低层双向长短期记忆网络层介入顶层的信息并连接全连接层选择正确的单词；报告生成模块，包括用于预测异常句子的模板解码器和用于正常句子生成的单词解码器，以根据所述分级递归神经网络的决策选择对当前句子生成使用模板检索或句子生成，并将所有来自检索或自...
【技术特征摘要】
1.一种基于关系模型的医学报告生成模型，包括：深度卷积网络，用于对异常术语进行分类并抽取视觉特征，并将其输入分为两级的双向长短期记忆网络层进行注意力操作，在每级双向长短期记忆网络层后接入全连接层以分别负责选择模板和单词；分级递归神经网络，包括2层双向长短期记忆网络层，其顶层双向长短期记忆网络层通过注意力操作，再连接全连接层选择正确的模板，低层双向长短期记忆网络层介入顶层的信息并连接全连接层选择正确的单词；报告生成模块，包括用于预测异常句子的模板解码器和用于正常句子生成的单词解码器，以根据所述分级递归神经网络的决策选择对当前句子生成使用模板检索或句子生成，并将所有来自检索或自动生成的句子最终连接起来形成医学报告。2.如权利要求1所述的一种基于关系模型的医学报告生成模型，其特征在于：给定医学图像I，所述深度卷积网络通过于卷积层引入残差模块提取其特征图并接入全连接层，生成所有异常医学术语的分布。3.如权利要求2所述的一种基于关系模型的医学报告生成模型，其特征在于：所述深度卷积网络还通过异常多标签分类损失对异常术语的分布进行优化，所述异常多标签分类损失由两部分组成，其表述为：第一项为每个类别的平均二元交叉熵损失，其中ai表示异常医学术语i的多标签分类概率，yi是基本医学术语的标签，第二项是关系约束损失，其中r(i,j)表示这两个异常医学术语之间的相关性，R*表示关系矩阵r中的非零数，对于一对异常概率ai和aj，如果相关系数r(i,j)更大，关系约束损失可以引导ai和aj更接近。同样，当r(i,j)较小时，ai和aj不会相互影响。4.如权利要求3所述的一种基于关系模型的医学报告生成模型，其特征在于，所述分级递归神经网络包括：关系主题编码器，用于通过注意力操作，采用自上而下的机制，为单词解码器生成关系主题向量qi以顺序地预测单词，产生编码的上下文主题向量ci用于自适应句子生成；自适应生成器，用于将所述关系主题编码器生成的上下文主题向量ci作为输入以决定是否对当前句子生成使用模板检索或句子生成。5.如权利要求4所述的一种基于关系模型的医学报告生成模型，其特征在于：所述关系主题编码器包括双向长短期记忆网络层和注意力层组成，在每个时间戳，双向长短期记忆网络层连接自适应生成器的先前状态图像均值特征上一个模板的嵌入向量Oi-1作为输入向量：所述编码器通过双向长短期记忆网络层产生隐状态并用于产生3种信号向量：首先被线性投影成停止信号zi，其中Wz是一个可训练的权重参数；att代表注意力操作，生成上下文主题向量ci；最后，将隐状态和上下文注意力向量ci送入到全连...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。