对象识别制造技术

本发明专利技术描述了设备和方法，所述设备和方法包括使用计算机处理器(28)自动地识别图像内的给定像素(111)是否对应于对象的一部分。对围绕所述像素设置的一组同心圆(132a‑c)取样，并且将第一函数应用至所述圆中的每一个，使得所述圆由第一组旋转不变描述符限定。将第二函数应用至所述一组圆以生成第二组描述符，所述第二组描述符中的每一个表示所述圆的各个对之间的差异。应用第三函数，使得所述第二组描述符变为旋转不变的。所述处理器基于所述第一组旋转不变描述符和所述第二组旋转不变描述符来识别所述给定像素是否对应于所述对象的所述部分。本发明专利技术也描述了其他应用。

Object recognition

The present invention describes devices and methods, including automatically recognizing whether a given pixel (111) in an image corresponds to a part of an object by using a computer processor (28). For a group of pixels around the concentric circle set (132a C) sampling, and each function is applied to the first round of the round by the first set of rotation invariant descriptors are defined. The second function is applied to the set of circles to generate second sets of descriptors, each of the second group descriptors representing the differences between the respective pairs of the circles. Applying the third function causes the second group descriptors to become rotationally invariant. The processor identifies whether the given pixel corresponds to the part of the object based on the first set of rotation invariant descriptors and the second set of rotation invariant descriptors. Other applications are described in the present invention.

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请主张享有Klaiman于2014年5月14日提交的名称为“在医疗装置在场的情况下的图像分析(Imageanalysisinthepresenceofamedicaldevice)”的美国临时专利申请61/993,123的优先权，该美国临时专利申请通过引用的方式并入本文。
本专利技术的一些应用大体上涉及医学成像。具体来说，本专利技术的一些应用涉及医学成像和当这些图像是在受试者身体中存在工具的情况下获取的时对这类图像的分析。
技术介绍
比如冠状动脉导管插入术的血管导管插入术是经常执行的医疗介入术。通常执行这类介入术以便针对潜在的疾病诊断血管和/或治疗患病的血管。通常，为了实现对血管的观察，在腔外成像下执行导管插入术。另外，对于一些手术，使用腔内数据获取装置来执行腔内成像和/或测量。腔外成像和(在适用的情况下)腔内数据通常在介入术的过程中以及在手术后由医务人员彼此联合评估。
技术实现思路
对于本专利技术的一些应用，计算机处理器分析图像的给定像素，以便自动地识别所述像素是否对应于图像内的对象的一部分。通常，所述分析是针对受试者的血管的图像(例如，荧光图像)执行的，并且被用来识别图像内的给定像素是否对应于设置在血管内的对象(例如，装置)的一部分。例如，设置在血管内的对象可以是引导导管、丝线(例如，导丝)、腔内治疗装置、腔内数据获取装置、不透射线标志和/或支架。为了分析所述像素，计算机处理器对围绕所述像素设置的一组同心圆进行取样。计算机处理器将第一函数应用到所述圆中的每一个，使得所述圆由第一组旋转不变描述符(rotationallyinvariantdescriptors)限定。例如，计算机处理器可将时频域变换(例如，傅里叶变换、离散正弦变换和/或离散余弦变换)应用到所述圆，并且计算机处理器可确定所述圆中的每一个的时频域变换的绝对系数。计算机处理器将第二函数应用到所述一组圆，以致生成第二组描述符，第二组描述符中的每一个表示所述圆的各个对之间的差异。计算机处理器随后将第三函数应用到第二组描述符，使得第二组描述符通过变为旋转不变的而形成第二组旋转不变描述符。例如，计算机处理器可将时频域变换(例如，傅里叶变换、离散正弦变换和/或离散余弦变换)应用到第二组描述符，并且计算机处理器可确定第二组描述符中的每一个的时频域变换的绝对系数。对于一些应用，计算机处理器生成表示第一组旋转不变描述符和第二组旋转不变描述符的组合的代表性描述符。对于一些应用，计算机处理器首先生成表示圆的各个对之间的差异的一组描述符。随后，计算机处理器通过以下操作生成第一旋转不变描述符和第二旋转不变描述符：(a)将时频域变换(例如，傅里叶变换、离散正弦变换和/或离散余弦变换)应用到所述圆和表示圆的各个对之间的差异的所述一组描述符两者，和(b)确定产生的时频域变换的绝对系数。通常，这些步骤的输出是代表所述圆和所述圆之间的差异两者的多组旋转不变描述符的描述符。代表性描述符相对于围绕所述像素取样的区域是旋转不变的，并且使得同心圆相对于彼此的旋转对准被限定。计算机处理器基于所述代表性描述符和/或基于第一组旋转不变描述符和第二组旋转不变描述符，例如通过将机器学习分类应用到所述代表性描述符和/或应用到第一组旋转不变描述符和第二组旋转不变描述符，来识别所述给定像素是否对应于所述对象的所述部分。计算机处理器至少部分地响应于识别所述给定像素对应于所述对象的所述部分而生成输出。对于一些应用，通过关于图像内的多个像素执行上述分析来确定图像内的所述对象的位置。对于一些应用，响应于确定给定图像内的所述对象的位置，通过使所述图像中的每一个中的所述对象的位置彼此对准来使所述图像与第二图像对准。替代地或另外，给定图像内的所述对象的位置的识别被用来例如根据Tolkowsky的US2012/0004537、Steinberg的US2014/0094691和/或Steinberg的WO13/175472(所述文献通过引用的方式并入本文)中所述的技术而利于确定管腔内的腔内装置的位置。进一步替代地或另外，给定图像内的所述对象的位置的识别被用来例如根据Steinberg的US2014/0094691和/或Steinberg的WO13/175472中所述的技术而利于确定用于所述图像与第二图像之间的映射的变换函数，两个所述申请通过引用的方式并入本文。对于本专利技术的一些应用，计算机处理器确定用于管腔的腔外路线图图像内的位置与管腔的第二腔外图像内的位置之间的映射的变换函数。通常，获取管腔的至少一个第一腔外图像，并且计算机处理器将所述至少一个第一腔外图像指定为路线图图像。进一步通常，获取管腔的第一组腔外图像，并且计算机处理器将第一组图像中的至少一个指定为路线图图像。计算机处理器在所述路线图图像内指定路线图路径。获取至少一个附加的腔外图像。通常，获取管腔的第二组腔外图像。进一步通常，第二组腔外图像是荧光图像，其中至少一些是在管腔内不存在造影剂的情况下，并且进一步通常在腔内装置(例如，腔内数据获取装置或腔内治疗装置)设置在管腔内时获取的。计算机处理器通过将评分函数应用至附加的腔外图像(例如，属于第二组腔外图像的图像)内的至少一些像素，使得对其应用评分函数的所述像素中的每一个被指定一指示所述像素具有给定特性的程度的得分，来生成得分图像。应注意的是，对于一些应用，评分函数并不导致将所述像素识别为对应于给定对象(如引导导管、丝线或不透射线标志)。对于一些应用，将单个滤波器应用至所述图像。例如，可将海森(Hessian)滤波器或高通滤波器应用至所述图像的至少一部分。对于一些应用，评分函数将指示像素的强度的得分指定给像素中的每一个。替代地或另外，评分函数将指示像素可能对应于非解剖学对象的程度的得分指定给像素中的每一个。基于像素中的对其应用评分函数的至少一些的得分，计算机处理器确定路线图路径的一部分与得分图像内的曲线之间的对应性。通常，计算机处理器通过采用最佳拟合算法以便将路线图路径最佳地拟合到所述图像的像素来确定路线图路径的所述部分与得分图像内的曲线之间的对应性，所述像素的得分指示所述像素可能对应于路线图路径的像素。基于路线图路径的所述部分与得分图像内的曲线之间的对应性，计算机处理器确定用于路线图图像内的位置与附加的腔外图像(例如，属于第二组腔外图像的图像)内的位置之间的映射的变换函数。响应于所确定的变换函数，计算机处理器生成输出。对于一些应用，基于所确定的变换函数，计算机处理器例如根据Steinberg的US2014/0094691和/或Steinberg的WO13/175472中所述的技术来确定腔内装置在管腔内的位置，所述两个申请通过引用的方式并入本文。例如，当腔内装置在管腔内时，可获取附加的腔外图像。基于变换函数，计算机处理器可确定腔内装置关于路线图图像的位置，并且可生成指示腔内装置关于路线图图像的所确定的位置的输出。对于一些应用，基于变换函数，计算机处理器确定管腔内的由腔内数据获取装置(例如，腔内成像装置，或被配置成获取多个功能性腔内数据点的腔内数据获取装置)获取一个或多个腔内数据点所在的位置。基于管腔内的获取腔内数据点所在的所确定的位置，计算机处理器可比如通本文档来自技高网...

【技术保护点】
一种用于与包含对象的图像一起使用的方法，所述方法包括：使用至少一个计算机处理器，通过以下操作自动地识别所述图像内的给定像素是否对应于所述对象的一部分：从所述图像抽取围绕所述像素设置的一组同心圆作为样本；将第一函数应用至所述圆中的每一个，使得所述圆由第一组旋转不变描述符限定；将第二函数应用至所述一组圆以生成第二组描述符，所述第二组描述符中的每一个表示所述圆的各个对之间的差异；将第三函数应用至所述第二组描述符，使得所述第二组描述符通过变为旋转不变的而形成第二组旋转不变描述符；以及基于所述第一组旋转不变描述符和所述第二组旋转不变描述符，识别所述给定像素是否对应于所述对象的所述部分；以及至少部分地响应于识别所述给定像素对应于所述对象的所述部分而生成输出。

【技术特征摘要】
【国外来华专利技术】2014.05.14 US 61/993,1231.一种用于与包含对象的图像一起使用的方法，所述方法包括：使用至少一个计算机处理器，通过以下操作自动地识别所述图像内的给定像素是否对应于所述对象的一部分：从所述图像抽取围绕所述像素设置的一组同心圆作为样本；将第一函数应用至所述圆中的每一个，使得所述圆由第一组旋转不变描述符限定；将第二函数应用至所述一组圆以生成第二组描述符，所述第二组描述符中的每一个表示所述圆的各个对之间的差异；将第三函数应用至所述第二组描述符，使得所述第二组描述符通过变为旋转不变的而形成第二组旋转不变描述符；以及基于所述第一组旋转不变描述符和所述第二组旋转不变描述符，识别所述给定像素是否对应于所述对象的所述部分；以及至少部分地响应于识别所述给定像素对应于所述对象的所述部分而生成输出。2.根据权利要求1所述的方法，其中，基于所述第一组旋转不变描述符和所述第二组旋转不变描述符，识别所述给定像素是否对应于所述对象的所述部分包括将机器学习分类应用至所述第一组旋转不变描述符和所述第二组旋转不变描述符。3.根据权利要求1所述的方法，其中，所述方法进一步包括通过以下操作选择对其应用所述识别的像素：对于所述图像的至少一部分内的每一像素，确定对象性测度，所述对象性测度测量所述像素与所述图像内的其他像素一起形成具有给定特性的一组像素的一部分的程度的对象度测量，所述给定特性与所述对象的所述部分相关联；以及通过选择选自由以下各项组成的群组的像素来选择对其应用所述识别的所述像素：设置在形成所述一组像素的一部分的至少一些像素附近的像素和属于所述一组像素的像素。4.根据权利要求1至3中的任一项所述的方法，其中，所述方法用于与受试者的血管的图像一起使用，并且自动地识别所述图像内的所述给定像素是否对应于所述对象的所述部分包括自动地识别所述图像内的所述给定像素是否对应于设置在所述血管内的对象的一部分。5.根据权利要求4所述的方法，其中，自动地识别所述图像内的所述给定像素是否对应于所述对象的所述部分包括自动地识别所述图像内的所述给定像素是否对应于选自由以下各项组成的群组的设置在所述血管内的对象的一部分：引导导管、丝线、腔内成像装置、不透射线标志和支架。6.根据权利要求1至3中的任一项所述的方法，其中，将所述第一函数应用至所述圆中的每一个使得所述圆由第一组旋转不变描述符限定包括计算所述圆中的每一个的时频域变换的绝对系数。7.根据权利要求6所述的方法，其中，计算所述圆中的每一个的所述时频域变换的绝对系数包括计算所述圆中的每一个的时频域变换的绝对系数，其中所述时频域变换选自由以下各项组成的群组：傅里叶变换、离散正弦变换和离散余弦变换。8.根据权利要求1至3中的任一项所述的方法，其中，将所述第三函数应用至所述第二组描述符包括计算所述第二组描述符中的每一个的时频域变换的绝对系数。9.根据权利要求8所述的方法，其中，计算所述第二组描述符中的每一个的所述时频域变换的绝对系数包括计算所述第二组描述符中的每一个的时频域变换的绝对系数，其中所述时频域变换选自由以下各项组成的群组：傅里叶变换、离散正弦变换和离散余弦变换。10.根据权利要求1至3中的任一项所述的方法，其中，所述方法进一步包括至少部分地响应于识别出所述给定像素对应于所述对象的所述部分，将所述图像与第二图像对准。11.根据权利要求10所述的方法，其中，生成所述输出包括将所述图像和所述第二图像显示在将所述图像和所述第二图像彼此对准的图像流中。12.根据权利要求10所述的方法，其中，生成所述输出包括基于所述图像和所述第二图像的所述对准来生成合成图像。13.根据权利要求1至3中的任一项所述的方法，其中，所述方法进一步包括至少部分地响应于识别出所述给定像素对应于所述对象的所述部分，确定用于所述图像与第二图像之间的映射的变换函数，并且生成所述输出包括基于所确定的变换函数来生成所述输出。14.根据权利要求13所述的方法，其中：所述方法用于与设置在受试者的血管内的腔内装置的图像一起使用，自动地识别所述图像内的所述给定像素是否对应于所述对象的所述部分包括自动地识别所述图像内的所述给定像素是否对应于设置在所述血管内的对象的一部分，所述方法进一步包括，基于所确定的变换函数，确定所述腔内装置在所述血管内的位置，并且生成所述输出包括响应于所述腔内装置的所确定的位置而生成所述输出。15.根据权利要求14所述的方法，其中：所述腔内装置包括腔内数据获取装置，确定所述腔内装置在所述血管内的所述位置包括确定所述血管内的由所述腔内数据获取装置获取腔内数据点所在的位置，并且生成所述输出包括基于确定出所述血管内的由所述腔内数据获取装置获取所述腔内数据点所在的位置来生成所述输出。16.根据权利要求1至3中的任一项所述的方法，其中：所述方法用于与设置在受试者的血管内的腔内装置的图像一起使用，自动地识别所述图像内的所述给定像素是否对应于所述对象的所述部分包括自动地识别所述图像内的所述给定像素是否对应于设置在所述血管内的对象的一部分，所述方法进一步包括，至少部分地响应于识别出所述给定像素对应于所述对象的所述部分，确定所述腔内装置在所述血管内的位置，并且生成所述输出包括响应于所述腔内装置的所确定的位置而生成所述输出。17.根据权利要求16所述的方法，其中：所述腔内装置包括腔内数据获取装置，确定所述腔内装置在所述血管内的位置包括确定所述血管内的由所述腔内数据获取装置获取腔内数据点所在的位置，并且生成所述输出包括基于确定所述血管内的由所述腔内数据获取装置获取所述腔内数据点所在的所述位置来生成所述输出。18.一种用于与包含对象的图像一起使用的设备，所述设备包括：输出装置；以及至少一个计算机处理器，所述计算机处理器被配置成：通过以下操作自动地识别所述图像内的给定像素是否对应于所述对象的一部分：从所述图像抽取围绕所述像素设置的一组同心圆作为样本；将第一函数应用至所述圆中的每一个，使得所述圆由第一组旋转不变描述符限定；将第二函数应用至所述一组圆以致生成第二组描述符，所述第二组描述符中的每一个表示所述圆的各个对之间的差异；将第三函数应用至所述第二组描述符，使得所述第二组描述符通过变为旋转不变的而形成第二组旋转不变描述符；以及基于所述第一组旋转不变描述符和所述第二组旋转不变描述符，识别所述给定像素是否对应于所述对象的所述部分；以及至少部分地响应于识别出所述给定像素对应于所述对象的所述部分，在所述输出装置上生成输出。19.根据权利要求18所述的设备，其中，所述计算机处理器被配置成通过将机器学习分类应用至所述第一组旋转不变描述符和所述第二组旋转不变描述符，来识别所述给定像素是否对应于所述对象的所述部分。20.根据权利要求18所述的设备，其中，所述计算机处理器被配置成通过以下操作选择对其应用所述识别的所述像素：对于所述图像的至少一部分内的每一像素，确定对象性测度，所述对象性测度测量所述像素与所述图像内的其他像素一起形成具有给定特性的一组像素的一部分的程度，所述给定特性与所述对象的所述部分相关联；以及通过选择选自由以下各项组成的群组的像素来选择对其应用所述识别的所述像素：设置在形成所述一组像素的一部分的至少一些像素附近的像素和属于所述一组像素的像素。21.根据权利要求18至20中的任一项所述的设备，其中，所述设备用于与受试者的血管的图像一起使用，并且所述计算机处理器被配置成通过自动地识别所述图像内的所述给定像素是否对应于设置在所述血管内的对象的一部分来自动地识别所述图像内的所述给定像素是否对应于所述对象的所述部分。22.根据权利要求21所述的设备，其中，所述计算机处理器被配置成通过自动地识别所述图像内的所述给定像素是否对应于设置在所述血管内的选自由以下各项组成的群组的对象的一部分来自动地识别所述图像内的所述给定像素是否对应于所述对象的所述部分：引导导管、丝线、腔内成像装置、不透射线标志和支架。23.根据权利要求18至20中的任一项所述的设备，其中，所述计算机处理器被配置成通过计算所述圆中的每一个的时频域变换的绝对系数来将所述第一函数应用至所述圆中的每一个。24.根据权利要求23所述的设备，其中，所述计算机处理器被配置成通过计算所述圆中的每一个的时频域变换的绝对系数来计算所述圆中的每一个的时频域变换的绝对系数，所述时频域变换选自由以下各项组成的群组：傅里叶变换、离散正弦变换和离散余弦变换。25.根据权利要求18至20中的任一项所述的设备，其中，所述计算机处理器被配置成通过计算所述第二组描述符中的每一个的时频域变换的绝对系数来将所述第三函数应用至所述第二组描述符。26.根据权利要求25所述的设备，其中，所述计算机处理器被配置成通过计算所述第二组描述符中的每一个的时频域变换的绝对系数来计算所述第二组描述符中的每一个的时频域变换的绝对系数，所述时频域变换选自由以下各项组成的群组：傅里叶变换、离散正弦变换和离散余弦变换。27.根据权利要求18至20中的任一项所述的设备，其中，所述计算机处理器被配置成至少部分地响应于识别出所述给定像素对应于所述对象的所述部分而将所述图像与第二图像对准。28.根据权利要求27所述的设备，其中，所述计算机处理器被配置成通过将所述图像和所述第二图像显示在将所述图像和所述第二图像彼此对准的图像流中来生成所述输出。29.根据权利要求27所述的设备，其中，所述计算机处理器被配置成通过基于所述图像和所述第二图像的对准生成合成图像来生成所述输出。30.根据权利要求18至20中的任一项所述的设备，其中，所述计算机处理器被配置成至少部分地响应于识别出所述给定像素对应于所述对象的所述部分，确定用于所述图像与第二图像之间的映射的变换函数，并且所述计算机处理器被配置成基于所确定的变换函数来生成所述输出。31.根据权利要求30所述的设备，其中：所述设备用于与设置在受试者的血管内的腔内装置的图像一起使用，所述计算机处理器被配置成通过自动地识别所述图像内的所述给定像素是否对应于设置在所述血管内的对象的一部分来自动地识别所述图像内的所述给定像素是否对应于所述对象的所述部分，所述计算机处理器被配置成基于所确定的变换函数来确定所述腔内装置在所述血管内的位置，并且所述计算机处理器被配置成通过响应于所述腔内装置的所确定的位置生成输出来生成所述输出。32.根据权利要求31所述的设备，其中：所述腔内装置包括腔内数据获取装置，所述计算机处理器被配置成通过确定所述腔内装置在所述血管内的位置来确定所述血管内的由所述腔内数据获取装置获取腔内数据点所在的位置，并且所述计算机处理器被配置成通过基于确定所述血管内的由所述腔内数据获取装置获取所述腔内数据点所在的所述位置生成输出来生成所述输出。33.根据权利要求18至20中的任一项所述的设备，其中：所述设备用于与设置在受试者的血管内的腔内装置的图像一起使用，所述计算机处理器被配置成通过自动地识别所述图像内的所述给定像素是否对应于设置在所述血管内的对象的一部分来自动地识别所述图像内的所述给定像素是否对应于所述对象的所述部分，所述计算机处理器被配置成至少部分地响应于识别所述给定像素对应于所述对象的所述部分，确定所述腔内装置在所述血管内的位置，并且所述计算机处理器被配置成通过响应于所述腔内装置的所确定的位置生成输出来生成所述输出。34.根据权利要求33所述的设备，其中：所述腔内装置包括腔内数据获取装置，所述计算机处理器被配置成通过确定所述腔内装置在所述血管内的位置来确定所述血管内的由所述腔内数据获取装置获取腔内数据点所在的位置，并且所述计算机处理器被配置成通过基于确定所述血管内的由所述腔内数据获取装置获取所述腔内数据点所在的位置生成输出来生成所述输出。35.一种计算机软件产品，所述计算机软件产品用于与包含对象的图像一起使用，所述计算机软件产品包括非暂时性计算机可读介质，程序指令存储在所述非暂时性计算机可读介质中，所述指令在由计算机读取时使所述计算机执行以下步骤：通过以下操作自动地识别所述图像内的给定像素是否对应于所述对象的一部分：从所述图像抽取围绕所述像素的一组同心圆作为样本；将第一函数应用至所述圆中的每一个，使得所述圆由第一组旋转不变描述符限定；将第二函数应用至所述一组圆以便生成第二组描述符，所述第二组描述符中的每一个表示所述圆的各个对之间的差异；将第三函数应用至所述第二组描述符，使得所述第二组描述符通过变为旋转不变的而形成第二组旋转不变描述符；以及基于所述第一组旋转不变描述符和所述第二组旋转不变描述符，识别所述给定像素是否对应于所述对象的所述部分；以及至少部分地响应于识别出所述给定像素对应于所述对象的所述部分而生成输出。36.一种用于与被配置成获取受试者身体的管腔的腔外图像的腔外成像装置和输出装置一起使用的方法，所述方法包括：使用所述腔外成像装置，获取所述管腔的至少一个第一腔外图像；将所述至少一个第一腔外图像指定为路线图图像；在所述路线图图像内指定路线图路径；获取所述管腔的至少一个附加的腔外图像；通过将评分函数应用至所述附加的腔外图像内的至少一些像素，使得对其应用所述评分函数的所述像素中的每一个被指定一指示所述像素具有给定特性的程度的得分，来生成得分图像；基于对其应用所述评分函数的所述像素中的至少一些的所述得分，确定所述路线图路径的至少一部分与所述得分图像内的曲线之间的对应性；以及基于所述路线图路径的所述部分与所述得分图像内的所述曲线之间的所述对应性，确定用于所述路线图图像内的位置与所述附加的腔外图像内的位置之间的映射的变换函数；以及响应于所确定的变换函数，在所述输出装置上生成输出。37.根据权利要求36所述的方法，其中：获取所述管腔的所述至少一个第一腔外图像包括获取所述管腔的第一组腔外图像；以及将所述至少一个第一腔外图像指定为所述路线图图像包括将所述第一组腔外图像中的至少一个指定为所述路线图图像。38.根据权利要求36所述的方法，其中，将所述评分函数应用至所述附加的腔外图像内的至少一些像素包括将评分函数应用至所述附加的腔外图像内的至少一些像素，使得对其应用所述评分函数的所述像素中的每一个被指定一得分且没有将所述像素识别为对应于给定对象。39.根据权利要求36所述的方法，其中，将所述评分函数应用至所述附加的腔外图像内的至少一些像素包括将单个滤波器应用至所述图像。40.根据权利要求36所述的方法，其中，将所述评分函数应用至所述附加的腔外图像内的至少一些像素包括将评分函数应用至所述图像内的至少一些像素，使得对其应用所述评分函数的所述像素中的每一个被指定一指示所述像素的强度的得分。41.根据权利要求36所述的方法，其中，将所述评分函数应用至所述附加的腔外图像内的至少一些像...

【专利技术属性】
技术研发人员：E·克莱曼，A·斯坦伯格，N·卡蒙，S·塞莫，R·科亨，
申请(专利权)人：SYNCRX有限公司，
类型：发明
国别省市：以色列;IL