一种基于自然语言处理的影像结构化报告生成方法及装置制造方法及图纸

本发明专利技术公开了一种基于自然语言处理的影像结构化报告生成方法及装置，该方法包括：首先，将胸部CT影像结构作为训练样本；其中，所述胸部CT影像结构包括：胸部CT影像和对应的文字内容；其次，对所述训练样本中文本内容进行预处理，得到文本信息；之后，对所述训练样本中胸部CT影像进行特征提取处理，得到视觉特征；最后，基于所述视觉特征和所述对应的文本信息，进行解码训练，得到自然语言模型。由此，基于自然语言处理的方式对胸部CT影像结构进行模型训练，从而获得自然语言模型，提高了模型训练的准确性，进而能够实现将非结构化胸部CT影像自动转化为结构化胸部CT影像。自动转化为结构化胸部CT影像。自动转化为结构化胸部CT影像。

【技术实现步骤摘要】
一种基于自然语言处理的影像结构化报告生成方法及装置


[0001]本专利技术属于医疗影像
，尤其涉及一种基于自然语言处理的影像结构化报告生成方法及装置。

技术介绍

[0002]随着信息技术的发展和医疗信息化的建设，目前医院已经使用各类信息化软件辅助医疗行业流程。目前在医疗行业常用的信息化软件有医院管理信息系统、临床信息系统以及影像归档和通信系统。
[0003]医院管理信息系统(Hospital Management Information System，缩写HMIS)的主要目标是支持医院的行政管理与事务处理业务，譬如财务管理系统、人事管理系统、住院病人管理系统、药品药库管理系统等均属于HMIS的范围。医院管理信息系统不仅能够减轻事务处理人员劳动强度，而且能够辅助高层领导决策，从而提高医院工作效率，进而使医院能够以少的投入获得更好的社会效益与经济效益。临床信息系统(Clinical Information System,缩写CIS)的主要目标是支持医院医护人员的临床活动，收集和处理病人的临床医疗信息，丰富和积累临床医学知识，并提供临床咨询、辅助诊疗、辅助临床决策，提高医护人员工作效率和诊疗质量，为病人提供更多、更快、更好的服务。譬如医嘱处理系统、病人床边系统、重症监护系统、移动输液系统、合理用药监控系统、医生工作站系统、实验室检验信息系统、药物咨询系统等均属于CIS范围。影像归档和通信系统(PictureArchiving and Communication System，缩写PACS)是应用在医院影像科室的系统，主要的任务就是把日常产生的各种医学影像(包括核磁MR，CT，超声US，各种X光机，各种红外仪，显微仪等设备产生的图像)通过各种接口(模拟，DICOM,网络)以数字化的方式海量保存起来，当需要的时候在一定的授权下能够很快的调回使用，同时增加一些辅助诊断管理功能。它在各种影像设备间传输数据和组织存储数据具有重要作用。随着信息化系统遍布各个医疗领域，医学影像报告系统多为报告模板加人工编辑的形式，相比这个传统的模式，新的影像结构化报告在提高效率，辅助诊断等方面有着巨大的优势。
[0004]目前，在医院对胸部CT图像进行电子病历的建设中，也就是在非结构化电子病历系统中，除了表格式数据外，所有的医疗文书都以文本的方式保存到数据库中。这些文本包括纯文本或带格式的文本。而结构化电子病历指从医学信息学的角度将以自然语言方式录入的医疗文书按照医学术语的要求进行结构化分析，并将这些语义结构最终以关系型结构的方式保存到数据库中，通过数据库将纸质病历的信息转化为计算机能够识别和理解的结构化数据。结构化数据可输入、处理、传输和应用，在临床诊疗、科研应用、数据共享等方面实现了突破，并在信息标准化进程中迈出了坚实的一步。在以下几个方面突出优势：第一、支持医学术语的结构化录入，以及自由描述语言的书写，同时满足图文混排，表格操作、评估问卷等一般文字处理软件的需要；第二、系统实现了病历的快速的智能的结构化录入、自动化录入、关联计算、实时质控、实时提醒等高级应用，实现了病历模板的标准化管理，同时基于元素的科研检索应用支持子系统，也为后续病历数据深层次挖掘、临床决策等提供可
能。第三、系统彻底解决了病历数据孤岛难以分析利用的问题，实现与其他临床业务系统的无缝连接，同时支持其他任意临床子系统以及移动设备实时提取、分析、显示病历内容。第四、增强的病历质控体系，极大的提高医院的甲级病历率，首先通过引入基于规则的内容质控功能，从源头上尽可能的避免了张冠李戴等现象，确保了在病历书写流程上的正确性和规范性。第五、形成标准化的CDA和XML语言，便于区域、社区、国家平台的信息共享和互联互通。

技术实现思路

[0005]有鉴于此，在本专利技术实施例第一方面提供一种基于自然语言处理的影像结构化报告生成方法，该方法包括：将胸部CT影像结构作为训练样本；其中，所述胸部CT影像结构包括：胸部CT影像和对应的文字内容；对所述训练样本中文本内容进行预处理，得到文本信息；对所述训练样本中胸部CT影像进行特征提取处理，得到视觉特征；基于所述视觉特征和所述对应的文本信息，进行解码训练，得到自然语言模型。
[0006]可选的，所述的方法还包括：利用所述自然语言模型对所述待测胸部CT影像进行预测，得到所述待测胸部CT影像对应的文本信息；基于所述待测胸部CT影像对应的文本信息，构建与所述待测胸部CT影像对应的结构化报告。
[0007]可选的，所述对所述训练样本中胸部CT影像进行特征提取处理，得到视觉特征，包括：对所述训练样本中胸部CT影像进行特征提取处理，得到视觉信息；对所述视觉信息进行编码处理处理，得到视觉特征。
[0008]可选的，每个训练样本具有对应的视觉特征和文本信息；所述基于所述视觉特征和所述对应的文本信息，进行解码训练，得到自然语言模型，包括:将所述视觉特征和所述对应文本信息进行融合处理，得到视觉文本内容；基于所述视觉文本内容的相似性，将若干视觉文本内容进行聚类处理；针对任一所述视觉文本内容：基于聚类结果，确定所述视觉文本内容对应的码本矢量；基于所述码本矢量，进行解码训练，得到自然语言模型。
[0009]可选的，将所述视觉特征和所述对应文本信息进行融合处理，得到视觉文本内容；包括：对所述视觉特征施加不同的权重；将施加权重后的视觉特征和所述对应文本信息进行融合处理，得到视觉文本内容。
[0010]可选的，对所述训练样本中文本内容进行预处理，得到文本信息；包括：对所述训练样本中文本内容进行清洗处理；对所述清洗后的文本内容进行分词处理；将分词处理后文本内容中停用词去除，得到文本信息。
[0011]在本专利技术实施例第二方面还提供一种基于自然语言处理的影像结构化报告生成装置，该装置包括：训练样本模块，用于将胸部CT影像结构作为训练样本；其中，所述胸部CT影像结构包括：胸部CT影像和对应的文字内容；预处理模块，用于对所述训练样本中文本内容进行预处理，得到文本信息；特征提取模块，用于对所述训练样本中胸部CT影像进行特征提取处理，得到视觉特征；解码训练模块，用于基于所述视觉特征和所述对应的文本信息，进行解码训练，得到自然语言模型。
[0012]可选的，所述的装置还包括：预测模块，用于利用所述自然语言模型对所述待测胸部CT影像进行预测，得到所述待测胸部CT影像对应的文本信息；报告构建模块，用于基于所述待测胸部CT影像对应的文本信息，构建与所述待测胸部CT影像对应的结构化报告。
[0013]可选的，特征提取模块包括：特征提取单元，用于对所述训练样本中胸部CT影像进行特征提取处理，得到视觉信息；编码处理单元，用于对所述视觉信息进行编码处理处理，得到视觉特征。
[0014]在本专利技术实施例第三方面还提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面所述的方法。
[0015]为实现上述目的，根据本专利技术实施例第四方面提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自然语言处理的影像结构化报告生成方法，其特征在于，包括：将胸部电子计算机断层摄影CT影像结构作为训练样本；其中，所述胸部CT影像结构包括：胸部CT影像和对应的文字内容；对所述训练样本中文本内容进行预处理，得到文本信息；对所述训练样本中胸部CT影像进行特征提取处理，得到视觉特征；基于所述视觉特征和所述对应的文本信息，进行解码训练，得到自然语言模型。2.根据权利要求1所述的方法，其特征在于，还包括：利用所述自然语言模型对所述待测胸部CT影像进行预测，得到所述待测胸部CT影像对应的文本信息；基于所述待测胸部CT影像对应的文本信息，构建与所述待测胸部CT影像对应的结构化报告。3.根据权利要求1所述的方法，其特征在于，所述对所述训练样本中胸部CT影像进行特征提取处理，得到视觉特征，包括：对所述训练样本中胸部CT影像进行特征提取处理，得到视觉信息；对所述视觉信息进行编码处理处理，得到视觉特征。4.根据权利要求1所述的方法，其特征在于，每个训练样本具有对应的视觉特征和文本信息；所述基于所述视觉特征和所述对应的文本信息，进行解码训练，得到自然语言模型，包括:将所述视觉特征和所述对应文本信息进行融合处理，得到视觉文本内容；基于所述视觉文本内容的相似性，将若干视觉文本内容进行聚类处理；针对任一所述视觉文本内容：基于聚类结果，确定所述视觉文本内容对应的码本矢量；基于所述码本矢量，进行解码训练，得到自然语言模型。5.根据权利要求4所述的方法，其特征在于，将所述视觉特征和所述对应文本信息进行融合处理，得到视觉文本内容；包括：对所述视...

【专利技术属性】
技术研发人员：刘士远，范丽，王平，谢小峰，施则人，王忠贤，
申请(专利权)人：医智源健康科技海南有限公司海南大学三亚研究院，
类型：发明
国别省市：