图像分析问答制造技术

本发明专利技术提出了图像分析问答。一种用于预测针对涉及医学图像分析报告的问题的答案的计算机执行的方法包括：将医学图像分析报告分成多个句子和通过将自然语言处理框架应用到多个句子来生成多个句子嵌入向量。接收涉及包括在医学图像分析报告中主题的问题和通过将所述自然语言处理框架应用到所述问题来生成问题嵌入向量。通过将类似性匹配处理应用到所述句子嵌入向量和问题嵌入向量来识别与所述问题嵌入向量最类似的句子嵌入向量子集。基于所述句子嵌入向量子集，使用经训练的递归神经网络(RNN)确定针对所述问题的预测答案。

Questions and answers in image analysis

The present invention puts forward an image analysis question and answer. A method used to predict for execution involving reported problems in medical image analysis computer answer includes: medical image analysis report is divided into a plurality of sentences and the Natural Language Processing framework is applied to more than one sentence to generate multiple sentence embedding vector. The reception involves the topics involved in the medical image analysis report and the problem embedding vector is generated by applying the Natural Language Processing framework to the problem. The similarity matching processing is applied to the sentence embedding vector and the question embedding vector to identify the sentences most similar to the embedding vector embedded into the quantum set. Based on the sentence embedding into the quantum set, a trained recurrent neural network (RNN) is used to determine the predicted answer to the problem.

【技术实现步骤摘要】
图像分析问答对相关应用的交叉参考本申请要求以2016年4月7日提交的美国临时申请序列号62/319,572和2017年3月10日提交的美国申请序列号15/455,591的权益，两者其全部内容通过引用并入本文。
本专利技术通常涉及用于通过问答系统自动地理解来自图像分析的结果的方法、系统和装置。使用公开的方法、系统和装置可应用到用于从各种成像模式中收集的信息的处理中，所述成像模式包括但不限于计算机断层扫描(CT)、磁共振(MR)、正电子发射断层扫描(PET)和超声(US)技术。
技术介绍
传统地，医学图像放射学报告是由放射学专家通过转录图像数据的解释的记录来创建。这导致非结构化的发现收集，其受到个体放射学专家的经验和组织，这在语法和语义方面变化。相比之下，最近的研究显示了来自结构化放射学报告的一致通信和优越评价的优势。因此，有几个正在进行的放射学倡议来标准化模板和词典学。在医学数据的自然语言处理中的研究已经通过创建诊断语义的综合解释开发了代表语言学和语言的模型。最近，来自国立卫生研究院的工作呈现了对医院图片存档和通信系统数据库执行大规模图像/文本分析的第一研究。虽然以前的研究和专有努力主本文档来自技高网...

【技术保护点】
一种用于预测针对有关医学图像分析报告的问题的答案的计算机执行的方法，该方法包括：将医学图像分析报告分成多个句子；通过将自然语言处理框架应用到多个句子来生成多个句子嵌入向量；接收涉及包括在医学图像分析报告中的主题的问题；通过将所述自然语言处理框架应用到所述问题来生成问题嵌入向量；通过将类似性匹配处理应用到所述句子嵌入向量和问题嵌入向量来识别与所述问题嵌入向量最类似的句子嵌入向量子集；和基于所述句子嵌入向量子集，使用经训练的递归神经网络(RNN)确定针对所述问题的预测答案。

【技术特征摘要】
2016.04.07 US 62/319572;2017.03.10 US 15/4555911.一种用于预测针对有关医学图像分析报告的问题的答案的计算机执行的方法，该方法包括：将医学图像分析报告分成多个句子；通过将自然语言处理框架应用到多个句子来生成多个句子嵌入向量；接收涉及包括在医学图像分析报告中的主题的问题；通过将所述自然语言处理框架应用到所述问题来生成问题嵌入向量；通过将类似性匹配处理应用到所述句子嵌入向量和问题嵌入向量来识别与所述问题嵌入向量最类似的句子嵌入向量子集；和基于所述句子嵌入向量子集，使用经训练的递归神经网络(RNN)确定针对所述问题的预测答案。2.如权利要求1所述方法，其中所述每个句子嵌入向量通过以下生成：使用自然语言处理框架针对在特定句子中的每个词生成嵌入；和将特定句子中的每个词的嵌入进行平均以产生句子嵌入向量。3.如权利要求1所述的方法，其中通过将所述多个句子匹配到一个或多个本体参考，所述自然语言处理框架识别目标医学语法。4.如权利要求3所述的方法，其中所述目标医学语法包括一种或多种疾病的描述。5.如权利要求3所述的方法，其中目标医学语法包括一种或多种解剖实体的描述。6.如权利要求3所述的方法，其中所述一个或多个本体参考包括统一医学语言系统(UMLS)数据集。7.如权利要求1所述的方法，进一步包括：使用一个或多个医学知识数据集训练自然语言处理框架。8.如权利要求7所述的方法，其中一个或多个医学知识数据集包括来自美国放射学学院的放射学指南。9.如权利要求1所述的方法，其中所述类似性匹配处理包括：计算每个句子嵌入向量和问题嵌入向量之间的余弦乘积以产生用于每个句子嵌入向量的类似性分数；根据所述类似性分数对句子嵌入向量排序；选择预定数量的最高排序句子嵌入向量作为句子嵌入向量的子集。10.如权利要求1所述的方法，其中所述经训练的RNN为长的短期存储器(LSTM)RNN，并且预测的答案通过如下确定：将句子嵌入向量的子集划分成第一词序列；将问题嵌入向量的子集划分成第二词序列；将第一词序列和第二词序列顺序地传送通过多个LSTM单元以产生与不同状态对应的多个输出；使用线性操作将多个输出组合成单个输入向量；和将softmax函数应用到所述单个输入向量以生成预测答案。11.一种用于预测针对有关医学图像分析报告的问题的答案的计算机执行的方法，所述方法包括：通过将自然语言处理框架应用到医学图像分析报告中...

【专利技术属性】
技术研发人员：W·刘，A·莫迪，B·乔治斯库，F·佩赖拉，
申请(专利权)人：西门子保健有限责任公司，
类型：发明
国别省市：德国,DE