用于基于医学报告中的文本数据来生成医学图像的方法和系统技术方案

本公开内容的实施例公开了用于基于医学报告中的文本数据来生成医学图像的方法和系统。为了生成，从患者的一个或多个医学报告中的每个医学报告中检索文本数据。文本数据包括一个或多个医学事件和对应的一个或多个属性，该对应的一个或多个属性与一个或多个医学报告中的每个医学报告相关联。另外，使用第一机器学习模型基于文本数据来计算针对多幅参考图像中的每幅参考图像的匹配分数。在计算匹配分数时，基于与多幅参考图像中的每幅参考图像相关联的匹配分数从多幅参考图像中选择一幅或多幅图像。使用第二机器学习模型基于一幅或多幅图像和文本数据来生成针对患者的医学图像。

【技术实现步骤摘要】
【国外来华专利技术】用于基于医学报告中的文本数据来生成医学图像的方法和系统
本主题总体上涉及健康护理领域，但是更具体地但非排他性地涉及用于基于患者的医学报告中的文本数据来生成医学图像的系统和方法。
技术介绍
诸如专科医院、次级专科医院、诊断中心等医学机构中的放射信息系统(RIS)可以被配置为管理与该医学机构相关的每一个患者相关联的医学数据。医学数据可以包括与患者管理、检查、报告、统计、系统管理等相关联的数据。由RIS管理的医学数据可以用于多种目的，例如显示、存储、检索、传输、交换、打印订单、结果、报告等。然而，在医学机构中部署RIS是复杂的流程。而且，可能有些医学机构可能无法负担这样的管理系统。通常，在检查(其可能是计算机断层摄影(CT)扫描、磁共振成像(MRI)扫描、超声心动描记(ECG)等)之后，只会将与该检查相关联的文本报告提供给患者。在检查时生成的图像会由医学机构存档，而不会被提供给患者。而且，可能会发生由于处理不当而使生成的图像不可用或者对生成的图像放置不当的情况。对于检查者(其可能是医生或医师)来说，仅基于文本报告来分析患者的状态可能是困难的。本文档来自技高网...

【技术保护点】
1.一种用于基于患者的医学报告中的文本数据来生成医学图像的方法，包括：/n由图像生成系统(101)从患者的一个或多个医学报告(207)中的每个医学报告中检索文本数据(208)，其中，所述文本数据(208)包括一个或多个医学事件和对应的一个或多个属性，所述对应的一个或多个属性与所述一个或多个医学报告(207)中的每个医学报告相关联；/n由所述图像生成系统(101)使用第一机器学习模型基于所述文本数据(208)来计算针对多幅参考图像(210)中的每幅参考图像的匹配分数(209)；/n由所述图像生成系统(101)基于与所述多幅参考图像(210)中的每幅参考图像相关联的所述匹配分数(209)从所述多幅...

【技术特征摘要】
【国外来华专利技术】20180316 US 62/6438161.一种用于基于患者的医学报告中的文本数据来生成医学图像的方法，包括：
由图像生成系统(101)从患者的一个或多个医学报告(207)中的每个医学报告中检索文本数据(208)，其中，所述文本数据(208)包括一个或多个医学事件和对应的一个或多个属性，所述对应的一个或多个属性与所述一个或多个医学报告(207)中的每个医学报告相关联；
由所述图像生成系统(101)使用第一机器学习模型基于所述文本数据(208)来计算针对多幅参考图像(210)中的每幅参考图像的匹配分数(209)；
由所述图像生成系统(101)基于与所述多幅参考图像(210)中的每幅参考图像相关联的所述匹配分数(209)从所述多幅参考图像(210)中选择一幅或多幅图像；并且
由所述图像生成系统(101)使用第二机器学习模型基于所述一幅或多幅图像和所述文本数据(208)来生成针对所述患者的医学图像(218)。


2.根据权利要求1所述的方法，其中，所述文本数据(208)中的所述一个或多个医学事件和所述对应的一个或多个属性是按时间顺序排列的。


3.根据权利要求1所述的方法，其中，与所述文本数据(208)中的所述一个或多个医学事件中的每个医学事件相对应的所述一个或多个属性包括与对应的医学事件相关联的日期属性、时间属性、模态属性、定性属性以及定量属性。


4.根据权利要求1所述的方法，其中，计算所述匹配分数(209)包括：
由所述图像生成系统(101)生成针对所述多幅参考图像(210)中的每幅参考图像的矢量表示(211)；
由所述图像生成系统(101)基于对应的矢量表示(211)和所述文本数据(208)来生成针对所述多幅参考图像(210)中的每幅参考图像的联合矢量表示(212)；并且
由所述图像生成系统(101)基于相应的参考图像(210)的所述联合矢量表示(212)来计算针对所述多幅参考图像(210)中的每幅参考图像的所述匹配分数(209)。


5.根据权利要求1所述的方法，其中，从所述多幅参考图像(210)中选择的所述一幅或多幅图像中的每幅图像与大于预定义匹配分数的所述匹配分数(209)相关联。


6.根据权利要求1所述的方法，其中，生成所述医学图像(218)包括：
由所述图像生成系统(101)检索第一序列(213)，所述第一序列包括所述文本数据(208)中的单词和短语中的一项的矢量表示(211)；
由所述图像生成系统(101)生成第二序列(214)，所述第二序列包括所述一幅或多幅图像；
由所述图像生成系统(101)基于所述第一序列(213)和所述第二序列(214)来生成针对所述文本数据(208)的所述一个或多个医学事件中的每个医学事件的医学事件图像(215)；并且
由所述图像生成系统(101)以预定义样式拼接所述一个或多个医学事件中的每个医学事件的所述医学事件图像(215)，以用于生成所述医学图像(218)。


7.根据权利要求6所述的方法，其中，检索所述第一序列(213)包括：
由所述图像生成系统(101)确定与所述文本数据(208)中的所述单词和所述短语中的一项相关联的后向隐藏状态(216)和前向隐藏状态(217)；并且
由所述图像生成系统(101)将所述后向隐藏状态(216)和所述前向隐藏状态(217)进行级联，以用于检索所述第一序列(213)。


8.根据权利要求7所述的方法，其中，所述后向隐藏状态(216)和所述前向隐藏状态(217)是分别使用后向长短期记忆(LSTM)单元和前向LSTM单元来确定的。


9.根据权利要求1所述的方法，其中，所述第二机器学习模型是基于所述多幅参考图像(210)和预定义文本数据来训练的。


10.根据权利要求1所述的方法，其中，所述第一机器学习模型是多模态卷积神经网络(CNN)...

【专利技术属性】
技术研发人员：O·F·法里，R·斯里尼瓦桑，V·巴萨瓦劳伊帕蒂尔欧卡里，R·B·帕蒂尔，K·帕拉尼萨米，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰;NL