一种分析医学报告(34)方法(100)，所述医学报告呈现根据一幅或多幅图像(38)确定的临床内容，包括：从所述医学报告中提取文本嵌入(54)；从一幅或多幅图像中提取图像嵌入(52)；根据所述文本嵌入和所述图像嵌入确定一个或多个内容特征矢量；根据所述文本嵌入确定一个或多个风格特征矢量；以及以下中的至少一个：使用所述一个或多个内容特征矢量提取包含在所述医学报告中的一个或多个临床发现；使用所述一个或多个风格特征矢量对所述医学报告的风格进行评分；和/或使用一个或多个内容特征矢量和与所确定的一个或多个风格特征矢量不同的一个或多个目标风格特征矢量将所述医学报告转换为目标风格。报告转换为目标风格。报告转换为目标风格。
【技术实现步骤摘要】
【国外来华专利技术】用于分析放射学报告的内容和风格的分解特征表示
[0001]以下内容总体上涉及医学报告领域、放射学领域、放射学报告领域、放射学检查阅读领域、组织病理学报告领域和相关领域。
技术介绍
[0002]诸如放射学报告、组织病理学报告等的医学报告提供从医学图像提取的临床发现的书面总结，如在放射学情况中的磁共振成像(MRI)图像、计算机断层摄影(CT)图像、正电子发射断层扫描(PET)图像等，或在组织病理学情况中的显微镜图像。解释这种医学学科中的图像特征以确定可操作的临床发现(有时称为“阅读”医学检查)是一门医学专业，并且报告通常由领域专家撰写，例如放射学领域的放射科医生或组织病理学领域的病理学家。为了使领域专家能够高度准确地捕捉临床发现，大部分医学报告通常以自由形式的文本撰写。熟练的放射科医生和病理学家需求量很大，而且通常维持很大的工作量。这可能会对执行医学检查的阅读施加时间限制。例如，在临床放射学领域，一些医疗机构采用诸如相对值单位(RVU)之类的度量，其中(作为非限制性范例)，CT阅读可以被分配4个RVU点、MRI阅读分配8个RVU点、X射线阅读分配1个RVU点、等等。放射科医生预期在每个工作班次执行一定数量的总RVU点的阅读。
[0003]这些时间限制如果过于严重，能够对放射学阅读的准确性产生不利影响。因此，对开发用于提供辅助的自动图像解释的计算机辅助诊断(CADx)工具感兴趣。例如，能够将CADx工具训练为检测放射学图像中的肿瘤或病变。CADx工具也能够用于其他目的。例如，如果与训练为从放射学报告中提取临床发现的自动化工具相结合，CADx工具和报告发现提取器能够协同使用，以评估放射学报告的完整性和准确性。
[0004]用于在分析医学图像和/或医学报告中使用的机器学习(ML)模型和深度学习(DL)模型的训练通常需要大量的标记数据，这对于采集(尤其是用于放射学数据的采集)可能是昂贵的。例如，将CADx工具训练为检测某个发现是否存在于图像中通常需要大量标记过的训练医学图像，其中，每个图像由领域专家(例如，熟练的放射科医生)标记关于发现是否存在。同样，训练报告发现提取器通常需要大量标记过的医学报告，所述医学报告被标记有包含在这些报告中的发现。存在大量非结构化的和自由文本的放射学报告，这些报告能够对人工智能技术的发展尤其有价值。然而，出于两个主要原因，大多数放射学报告不能直接用于ML或DL模型的开发。首先，需要从报告中提取临床发现的标签。其次，报告不是结构化的，并且根据放射科医生而具有不同的风格。报告的非结构化和自由文本性质使得准确提取标签成为一项具有挑战性的任务。各种报告的写作风格的可变性也可能阻碍对报告的有效分析。
[0005]关于可变写作风格的后者问题，减少风格的影响的主要策略是结构化报告，所述结构化报告对于标准化报告的风格以提高报告质量和数据挖掘已经得到了支持。然而，结构化报告可能中断案例查看工作流程。结构化报告也可能包括不必要的或多余的信息，这降低报告的清楚性。结构化报告的刚性的本质还可能降低放射科医生的生产力，和/或可能
限制放射科医生传达其临床发现的细节的能力。
[0006]最近开发的自动报告注释算法试图找到更好的方式来直接从自由文本放射学报告中提取标签。这些算法能够是基于规则的算法(例如，CheXpert Labeller)，或基于DL的算法(例如，Amazon Comprehend Medical和Tie
‑
Net)。具体地，Tie
‑
Net算法利用胸部X射线图像和报告来执行多模态预测，并在针对胸部X射线的关键发现的报告注释和标签提取显示出有希望的结果。与传统算法相比，针对图像和报告注释的DL算法的更好的性能归因于通过卷积神经网络(CNN)提取的深层复杂特征。
[0007]使用从放射学数据中提取的特征，已经提出了一些用于放射学报告的自动生成的算法，通常基于递归神经网络(RNN)。具体地，分层长短期记忆(LSTM)(其中，句子LSTM预测句子的主题，词语LSTM为该句子生成词语)在生成高质量放射学报告方面显示出巨大的潜力。
[0008]以下公开了克服这些问题和其他问题的某些改进。
技术实现思路
[0009]在一个方面，一种非暂时性计算机可读介质存储可由至少一个电子处理器执行的指令，以执行分析医学报告的方法，所述医学报告呈现根据一幅或多幅图像确定的临床内容。所述方法包括：从医学报告中提取文本嵌入；从一幅或多幅图像中提取图像嵌入；根据文本嵌入和图像嵌入确定一个或多个内容特征矢量，一个或多个内容特征矢量指示医学报告中呈现的临床内容；根据文本嵌入确定一个或多个风格特征矢量，一个或多个风格特征矢量指示医学报告的风格；以及，至少以下中的一项：使用一个或多个内容特征矢量提取包含在医学报告中的一个或多个临床发现；使用一个或多个风格特征矢量对医学报告的风格进行评分；和/或使用一个或多个内容特征矢量和与所确定的一个或多个风格特征矢量不同的一个或多个目标风格特征矢量将医学报告转换为目标风格。
[0010]在另一个方面，一种设备包括至少一个电子处理器，所述电子处理器编程为：从医学报告中提取文本嵌入；从一幅或多幅图像中提取图像嵌入；根据文本嵌入和图像嵌入确定一个或多个内容特征矢量，一个或多个内容特征矢量指示医学报告中呈现的临床内容；根据文本嵌入确定一个或多个风格特征矢量，一个或多个风格特征矢量指示医学报告的风格；并且使用一个或多个内容特征矢量提取包含在医学报告中的一个或多个临床发现。
[0011]在另一个方面，一种分析医学报告的方法，所述医学报告呈现根据一幅或多幅图像中确定的临床内容，所述方法包括：从医学报告中提取文本嵌入；从一幅或多幅图像中提取图像嵌入；根据文本嵌入和图像嵌入确定一个或多个内容特征矢量，一个或多个内容特征矢量指示医学报告中呈现的临床内容；根据文本嵌入确定一个或多个风格特征矢量，一个或多个风格特征矢量指示医学报告的风格；并且，使用一个或多个内容特征矢量和与所确定的一个或多个风格特征矢量不同的一个或多个目标风格特征矢量将医学报告转换为目标风格。
[0012]一个优点在于通过分离医学报告的内容分量和风格分量，提供更集中的医学报告的自动化分析。
[0013]另一个优点在于提高了医学报告注释的准确性、医学报告的有效性和医学报告的清楚性。
[0014]另一个优点在于为放射科医生、病理学家或其他领域专家生成医学报告模板，用于准备将来的医学报告。
[0015]另一个优点在于执行对放射学报告的内容和风格分量的学习分解(disentangled)的特征表示。
[0016]给定的实施例可以不提供任何一个、提供一个、两个、多个或所有上述优点，和/或可以提供本领域普通技术人员在阅读和理解本公开后将显而易见的其他优点。
附图说明
[0017]本公开可以采取各种组件和组件的布置，以及各种步骤和步骤的布置的形式。附图仅用于说明优选实施例的目的，不应解释为限制本公开。
[0018]图1示意性示出了根据本本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种存储指令的非暂时性计算机可读介质(26)，所述指令可由至少一个电子处理器(20)执行，以执行分析医学报告(34)的方法(100)，所述医学报告呈现根据一幅或多幅图像(38)确定的临床内容，所述方法包括：从所述医学报告中提取文本嵌入(54)；从所述一幅或多幅图像中提取图像嵌入(52)；根据所述文本嵌入和所述图像嵌入确定一个或多个内容特征矢量，所述一个或多个内容特征矢量指示所述医学报告中呈现的临床内容；根据所述文本嵌入确定一个或多个风格特征矢量，所述一个或多个风格特征矢量指示所述医学报告的风格；并且以下中的至少一项：使用所述一个或多个内容特征矢量提取包含在所述医学报告中的一个或多个临床发现；使用所述一个或多个风格特征矢量对所述医学报告的风格进行评分；和/或使用所述一个或多个内容特征矢量和与所确定的一个或多个风格特征矢量不同的一个或多个目标风格特征矢量将所述医学报告转换为目标风格。2.根据权利要求1所述的非暂时性计算机可读介质(26)，其中：所述一个或多个内容特征矢量不指示所述医学报告(34)的所述风格；并且所述一个或多个风格特征矢量不指示所述医学报告中呈现的所述临床内容。3.根据权利要求1所述的非暂时性计算机可读介质(26)，其中，所述一个或多个风格特征矢量的确定不使用所述图像嵌入(52)。4.根据权利要求1所述的非暂时性计算机可读介质(26)，其中，所述图像嵌入是使用神经网络(NN)(42)生成的。5.根据权利要求1
‑
4中的任一项所述的非暂时性计算机可读介质(26)，其中，所述方法(100)还包括：使用呈现根据对应的训练图像确定的临床内容的训练医学报告的训练文本嵌入，共同训练内容编码器(44)和临床发现注释器(46)，所述内容编码器用于确定所述一个或多个内容特征矢量，所述临床发现注释器从所述内容编码器接收所述一个或多个内容特征矢量，其中，所述训练医学报告被标记为包含在所述训练医学报告中的临床发现。6.根据权利要求1
‑
5中的任一项所述的非暂时性计算机可读介质(26)，其中，所述方法(100)还包括：使用呈现根据对应的训练图像确定的临床内容的训练医学报告的训练文本嵌入，共同训练报告生成器(50)和用于确定所述一个或多个风格特征矢量的风格编码器(48)。7.根据权利要求6所述的非暂时性计算机可读介质(26)，其中，所述内容编码器(44)包括神经网络(NN)，并且所述风格编码器(48)包括NN。8.根据权利要求5所述的非暂时性计算机可读介质(26)，其中，所述方法(100)还包括：利用所述一个或多个内容特征矢量训练所述内容编码器(44)和所述临床发现注释器(46)；输出来自所述训练的临床发现标签矢量；标记具有基本真值发现值的所述一个或多个内容特征矢量，以生成基本真值发现矢
量；并且将所述临床发现标签矢量与所述基本真值发现矢量之间的差输入到所述内容编码器。9.根据权利要求6所述的非暂时性计算机可读介质(26)，其中，所述方法(100)还包括：利用所述一个或多个内容特征矢量和所述一个或多个风格特征矢量训练所述报告生成器(50)和所述风格编码器(48)；输出来自所述训练的文本嵌入；并且确定所述一个或多个风格特征矢量是否独立于所述一个或多个内容特征矢量。10.根据权利要求1
‑
9中的任一项所述的非暂时性计算机可读介质(26)，其中，所述方法(100)还包括：使用所述一个或多个内容特征矢量提取包含在所述医学报告(34)中的一个或多个临床发现。1...
【专利技术属性】
技术研发人员：刘赛峰，王欣，E，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。