一种基于层级自注意力序列编码的脑CT医学报告生成方法技术

本发明专利技术公开了一种基于层级自注意力序列编码的医学报告生成方法，步骤(1)获取脑CT图像以及对应的医学报告数据并预处理；步骤(2)构建特征提取器；步骤(3)构建序列处理器，经过序列处理器之后，得到一个包含各个相邻断层块信息的图像特征编码V

【技术实现步骤摘要】
一种基于层级自注意力序列编码的脑CT医学报告生成方法
本专利技术涉及计算机视觉和自然语言处理两个领域，针对医学领域中报告自动生成任务，设计了一种基于层级自注意力序列编码的医学报告生成方法。
技术介绍
医疗数据中有90％来自于医疗影像，与之对应的医学报告是具有专业医学知识和经验的放射科医生根据影像书写而成，是主治医生诊断疾病及明确治疗方案的关键依据。然而，放射科医生一直以来都面临着巨大的挑战：知识门槛高、培养周期长、任务繁重、漏诊率上升，而且医学影像数据还在逐年增长，放射科医生的增长速度和工作效率不足以应对这样的数据增长趋势。这意味着放射科医生在未来处理影像数据的压力会越来越大，甚至远远超过负荷。医学影像报告自动生成研究是解决目前面临问题的重要途径，辅助医生进行自动阅片的人工智能技术具有缓解医生的工作压力、降低漏诊率、节约学习和诊断时间等优势，对于病灶发现、手术方案规划与临床治疗都有着重要的医学价值。脑CT(ComputedTomography)是一种检查方便，迅速安全，无痛苦，无创伤的检查方法，它能清楚的显示颅脑不同横断面的解剖关系和具本文档来自技高网...

【技术保护点】
1.一种基于层级自注意力序列编码的医学报告生成方法，其特征在于：该方法包括如下步骤：/n步骤(1)获取脑CT图像以及对应的医学报告数据并预处理；/n步骤(2)构建特征提取器，对特征提取网络进行预训练，完成脑CT图像数据I的编码，得到图像特征F；/n步骤(3)构建序列处理器，序列处理器是一个层级的自注意力序列编码模型，包括处理相邻断层信息的NSA模块和处理全部断层信息的SA模块；经过序列处理器之后，得到一个包含各个相邻断层块信息的图像特征编码V

【技术特征摘要】
1.一种基于层级自注意力序列编码的医学报告生成方法，其特征在于：该方法包括如下步骤：
步骤(1)获取脑CT图像以及对应的医学报告数据并预处理；
步骤(2)构建特征提取器，对特征提取网络进行预训练，完成脑CT图像数据I的编码，得到图像特征F；
步骤(3)构建序列处理器，序列处理器是一个层级的自注意力序列编码模型，包括处理相邻断层信息的NSA模块和处理全部断层信息的SA模块；经过序列处理器之后，得到一个包含各个相邻断层块信息的图像特征编码VNSA以及基于整个病例的三维脑CT图像特征编码VSA；
步骤(4)构建解码器，对三维脑CT图像特征VSA进行解码；解码器是一种包含注意力模型的循环神经网络，包括基于邻域自注意力的NSA-ATT网络和LSTM模型；解码器的输入为三维脑CT图像特征编码VSA以及相邻断层块的图像特征VNSA，输出为报告文本数据Y,Y＝{w0,w1,…,wT},wn表示组成报告的单词，n∈[0,T]，T为报告文本数据的最长时刻，即报告的最大长度；
步骤(5)模型训练；基于产生的报告文本数据Y与标准的报告文本数据计算交叉熵损失或者强化学习梯度损失，使用随机梯度下降算法对模型进行优化，得到最终模型。


2.根据权利要求1所述的一种基于时空记忆注意力的图像描述方法，其特征在于：步骤(1)中，步骤(1.1)获取脑CT数据，包含图像数据I及其对应的报告文本数据
步骤(1.2)对脑CT数据中的图像数据I进行预处理；
步骤(1.3)对脑CT数据中的报告文本数据进行预处理。


3.根据权利要求1所述的一种基于时空记忆注意力的图像描述方法，其特征在于：步骤(2)中，步骤(2.1)采用深度卷积神经网络或目标检测模型构建特...

【专利技术属性】
技术研发人员：冀俊忠，胡启鹏，张晓丹，刘颖，王筝，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11