相似医学图像搜索制造技术

一种用于搜索相似医学图像的系统包括：以大量医学图像的形式的参考库，大量医学图像中的至少一些医学图像与元数据相关联，元数据包括与关联于医学图像的标本或患者相关的临床信息。计算机系统被配置为用于从用户接收输入图像查询的搜索工具。计算机系统被训练为在参考库系统中找到与输入图像相似的一个或多个相似医学图像。参考库被表示为投影在具有多个轴的特征空间中的医学图像中的每个医学图像的嵌入，其中，该嵌入由相似性排序的两个方面表征:(1)视觉相似性，和(2)语义相似性，使得特征空间中的相邻图像在视觉上相似，并且语义信息由特征空间的轴表示。计算机系统支持来自用户的附加查询，从而进一步细化在由一个或多个相似医学图像组成的搜索空间内对与输入图像相似的医学图像的搜索。

【技术实现步骤摘要】
【国外来华专利技术】相似医学图像搜索
技术介绍
本公开涉及图像搜索和检索的领域，更具体地，涉及用于搜索与输入或查询图像相似的医学图像的系统和方法。用于搜索医学图像的工具包括市售的产品或服务，包括ARRS谷歌的图像搜索功能、PathoPic和病理学教育信息资源(PathologyEducationInformationalResource，PEIR)数字图书馆。PathoPic是提供用于医学教育和公共卫生信息的高质量图像的公共访问图像数据库。这些工具的其中一些为病理学图像提供基于文本的查询。存在针对用于搜索相似图像的机器学习方法的大量文献。参见例如，J.Wang,etal.,Learningfine-grainedimagesimilaritywithdeepranking,https://arxiv.org/abs/1404.4661(2017)，以及其中引用的文献。另外参见美国专利9,275,456、9,081,822、8,199,994、7,188,103和7,027,633，以及美国专利公开2012/0242817、2010/0017389、2007/0258630和2003/0013951。
技术实现思路
在第一方面，描述了一种用于搜索相似医学图像的系统。系统包括存储以大量医学图像的形式的参考库的计算机存储器系统。这些图像中的至少一些图像，并且优选为所有图像，与元数据相关联，元数据包括与关联于医学图像的标本或患者相关的临床信息。系统还包括被配置为用于从用户接收输入图像查询的搜索工具的计算机系统。计算机系统被训练为在存储器系统中找到与输入图像相似的一个或多个相似医学图像。参考库被表示为投影在具有多个轴的特征空间中的医学图像中的每个医学图像的嵌入，其中，医学图像的嵌入由相似性排序的两个方面表征:(1)视觉相似性，和(2)语义相似性，使得特征空间中的相邻图像在视觉上相似，并且语义信息由特征空间的轴表示。计算机系统支持来自用户的附加查询，从而进一步细化在由一个或多个相似医学图像组成的搜索空间内对与输入图像相似的医学图像的搜索。在一个实施例中，其中，医学图像包括从由视网膜图像、组织图像、皮肤损伤照片、乳房X光片和放射图像组成的图像组中选择的图像。系统可以包括将视觉相似性特征向量和语义相似性特征向量分配给参考库中的图像的机器学习模型或模型组合。系统将通常与具有用户界面的工作站结合使用，藉由该用户界面，用户(例如，病理学家)选择图像或图像的部分作为输入查询图像，并且工作站向计算机系统提供输入查询图像。在一个实施例中，用户界面包括用于显示一个或多个相似医学图像中的所选择的图像的元数据的特征。例如，显示可以包括组织的类型、图像的来源、存活数据、患者烟民状态等。当相似图像被计算机系统检索并呈现在工作站上时，相似医学图像的显示可以包括对于相似医学图像的相似性排序的显示，诸如“96％相似性”、“52％相似性”等。这种相似性排序可以例如藉由输入查询图像到嵌入和相邻图像的投影的接近度来获得，例如投影和相邻图像之间的半径或距离r。相似医学图像可以在工作站上在按分配给相似医学图像的病例标签进行的分组中呈现，病例标签诸如是“良性”、“癌性”、“腺癌”、“Gleason等级4”等。病例标签可以根据与相似医学图像相关联的元数据或者根据沿着其找到相似医学图像的语义相似性的一个或多个轴来确定。可替换地，相似的医学图像可以显示在排序列表或数据透视表中。在一个实施例中，工作站包括用于根据用户指定的过滤标准(例如，按烟民状态、年龄、Gleason等级等)过滤相似医学图像的工具。这种过滤可以通过参考与图像相关联的元数据来执行。在一个实施例中，对与输入图像相似的医学图像的搜索的进一步细化采取基于用户输入的对相似性度量的交互式调整的形式。使用输入可以是文本输入，例如通过指定相似性度量的细化，诸如“宽”或“窄”(或嵌入特征空间中的半径r)，或者它可以是语音输入。在语音输入的情况下，工作站可以包括麦克风和将语音命令转换成搜索输入参数的语音到文本转换软件。在一种可能的配置中，用户界面提供关于相似医学图像的聚合信息的显示。例如，聚合信息可以采取相似医学图像中的诊断关键词的频率的形式，例如良性百分比、癌性百分比、Gleason等级3百分比、Gleason等级4百分比。作为另一示例，聚合信息可以采取生存数据的形式，诸如生存时间少于两年的百分比，等等。在又一种进一步的配置中，相似医学图像的显示还包括一个或多个相似医学图像的结果的概要，所述结果的概要包括疾病的诊断、管理、图像的来源以及生存数据中的一个或多个。术语“管理”意味着关于如何治疗与图像相关联的患者或如何管理他们的疾病的信息，诸如(a)接下来做了什么(在活检或图像捕获之后)，诸如监视(+随访时间)，(b)给出的处方(+药物名称)，(c)执行的附加测试(+测试名称)，(d)执行的其他治疗(+程序名称)，等等。在另一方面，描述了一种用于检索与输入查询图像相似的医学图像的方法。该方法包括：创建以大量数字医学图像的形式的参考库，大量数字医学图像中的每个数字医学图像与图像元数据相关联。数字医学图像被供应给一个或多个机器学习模型，并且被表示为以在具有多个轴的特征空间中的数字医学图像的投影的形式的嵌入。所述嵌入由相似性排序的两个方面表征:(1)视觉相似性，和(2)语义相似性，使得特征空间中的相邻图像在视觉上相似，并且语义信息由特征空间的轴表示。基于输入查询图像在特征空间中的投影，在特征空间内的半径r内检索输入查询图像的相似医学图像。在该方法的一个实施例中，存在响应于用户输入来细化相似医学图像的检索的步骤。在一个实施例中，用户输入采取语音输入的形式。例如，用户可以使用工作站来搜索相似的图像，该工作站包括麦克风和将语音命令转换成搜索输入参数的语音到文本转换软件。在该方法中，数字医学图像可以是视网膜图像、组织图像、皮肤损伤照片、乳房X光片和放射图像(诸如X光或MRI图像)。本公开的另一方面是一种用于促进在医学图像内进行搜索的系统，这种特征被称为图像内搜索(intra-imagesearching)。在这个方面，该系统包括被配置为用于从用户接收以较大医学图像的一部分的一部分的形式的输入查询的搜索工具的计算机系统，该计算机系统包括被训练为找到与输入查询相似的较大医学图像的一个或多个附加部分的机器学习模式识别器。这种模式识别器可以采取几种形式，并且例如可以根据以下参考文献之一进行配置，其内容通过引用结合于此：C.Szegedyetal.,GoingDeeperwithConvolutions,arXiv:1409.4842[cs.CV](2014年9月)；C.Szegedyetal.,RethinkingtheInceptionArchitectureforComputerVision,arXiv:1512.00567[cs.CV](2015年12月)；还参见于2015年8月28日提交的序列号为14/839,452的美国专利申请C.Szegedyetal.,“ProcessingImagesUsi本文档来自技高网...

【技术保护点】
1.一种用于搜索相似医学图像的系统，包括：/n计算机存储器系统，其存储包括大量医学图像的参考库，所述大量医学图像中的至少一些医学图像与元数据相关联，所述元数据包括与关联于医学图像的标本或患者相关的临床信息；/n计算机系统，被配置为用于从用户接收输入图像查询的搜索工具，所述计算机系统被训练为在存储器系统中找到与输入图像相似的一个或多个相似医学图像；/n其中，参考库被表示为投影在具有多个轴的特征空间中的医学图像中的每个医学图像的嵌入，其中，所述嵌入由相似性排序的两个方面表征:(1)视觉相似性，和(2)语义相似性，使得特征空间中的相邻图像在视觉上相似，并且语义信息由特征空间的轴表示，以及/n并且其中，所述计算机系统支持来自用户的附加查询，从而进一步细化在由一个或多个相似医学图像组成的搜索空间内对与输入图像相似的医学图像的搜索。/n

【技术特征摘要】
【国外来华专利技术】1.一种用于搜索相似医学图像的系统，包括：
计算机存储器系统，其存储包括大量医学图像的参考库，所述大量医学图像中的至少一些医学图像与元数据相关联，所述元数据包括与关联于医学图像的标本或患者相关的临床信息；
计算机系统，被配置为用于从用户接收输入图像查询的搜索工具，所述计算机系统被训练为在存储器系统中找到与输入图像相似的一个或多个相似医学图像；
其中，参考库被表示为投影在具有多个轴的特征空间中的医学图像中的每个医学图像的嵌入，其中，所述嵌入由相似性排序的两个方面表征:(1)视觉相似性，和(2)语义相似性，使得特征空间中的相邻图像在视觉上相似，并且语义信息由特征空间的轴表示，以及
并且其中，所述计算机系统支持来自用户的附加查询，从而进一步细化在由一个或多个相似医学图像组成的搜索空间内对与输入图像相似的医学图像的搜索。


2.根据权利要求1所述的系统，其中，所述医学图像包括从由视网膜图像、组织图像、皮肤损伤照片、乳房X光片和放射图像组成的图像组中选择的图像。


3.根据权利要求1所述的系统，还包括将视觉相似性特征向量和语义相似性特征向量分配给参考库中的图像的机器学习模型或模型组合。


4.根据权利要求1所述的系统，还包括具有用户界面的工作站，所述用户界面包括用于显示一个或多个相似医学图像中的所选择的图像的元数据的特征。


5.根据权利要求4所述的系统，其中，元数据的所述显示包括生存数据的显示。


6.根据权利要求4所述的系统，其中，所述显示还包括对于相似医学图像的相似性排序的显示。


7.根据权利要求1所述的系统，还包括具有用户界面的工作站，所述用户界面包括示出在按分配给相似医学图像的病例标签进行的分组中的相似医学图像的特征，所述病例标签诸如是“良性”、“癌性”、“腺癌”。


8.根据权利要求1所述的系统，还包括具有用户界面的工作站，所述用户界面以排序列表显示相似医学图像。


9.根据权利要求1所述的系统，还包括具有用户界面的工作站，所述用户界面显示相似医学图像和用于根据用户指定的过滤标准过滤相似医学图像的工具。


10.根据权利要求1所述的系统，其中，对与输入图像相似的医学图像的搜索的进一步细化包括基于用户输入的相似性度量的交互式调整。


11.根据权利要求10所述的系统，其中，所述用户输入包括语音输入。


12.根据权利要求1所述的系统，还包括具有用户界面的工作站，所述用户界面显示相似医学图像，并且其中，所述用户界面提供关于相似医学图像的聚合信息的显示。


13.根据权利要求12所述的系统，其中，所述聚合信息包括相似医学图像当中的诊断关键词的频率。


14.根据权利要求1所述的系统，还包括具有用户界面的工...

【专利技术属性】
技术研发人员：L彭，M斯通普，D斯米尔科夫，J希普，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US