对通过胶囊相机所撷取的图像进行图像处理并显示的方法技术

本发明专利技术披露对通过使用体内胶囊相机所撷取的图像进行处理并显示的方法及装置。确定目标图像与相邻图像组中的各图像之间的一个或多个重叠区域，该相邻图像组包括在该目标图像周围的至少两个相邻图像。接着，确定该目标图像中的标记像素，其中，若该目标图像中的像素在该目标图像与至少一个相邻图像之间的重叠区域内，该目标图像中的该像素被称为标记像素。若该目标图像中的该标记像素的总数超过阈值，且关联该目标图像与该相邻图像组中的任意图像之间的该一个或多个重叠区域的该标记像素的数目低于该阈值，则自将要被显示于显示装置上的一组图像排除该目标图像。

The method of image processing and display for the image captured by capsule camera

The invention discloses a method and a device for processing and displaying an image captured by using an in vivo capsule camera. Determining one or more overlapping areas between the target image and each image in the adjacent image group including at least two adjacent images around the target image. Next, a marker pixel in the target image is determined, wherein if the pixel in the target image is within the overlapping area between the target image and at least one adjacent image, the pixel in the target image is called a marker pixel. If the total number of the marked pixels in the target image exceeds the threshold value, and the number of the marked pixels associated with the one or more overlapping areas between the target image and any image in the adjacent image group is lower than the threshold value, the set of images to be displayed on the display device automatically excludes the target image.

【技术实现步骤摘要】
【国外来华专利技术】对通过胶囊相机所撷取的图像进行图像处理并显示的方法相关申请的交叉参考本专利技术与2014年5月19日所提交的序列号为PCT/US14/38533的PCT专利申请相关，该PCT专利申请要求2013年5月29日所提交的序列号为61/828,653的美国临时专利申请的优先权。本专利技术还与序列号为14/675,744的美国专利申请相关，该美国专利申请于2016年4月26日被授予美国专利，序列号为9,324,172。该PCT专利申请、美国临时专利、美国非临时专利及美国专利整体通过参考包括于此。
本专利技术涉及减少对通过体内胶囊相机所撷取的图像进行检查的时间及精力。尤其，本专利技术涉及降低用于可视化的图像的数目的态样。
技术介绍
胶囊内窥镜是一种试图解决传统内窥镜的许多问题的体内成像装置。相机与用于向基站接收器或收发器传输数据的无线电发送器一起被容置于可吞咽胶囊中。还可使用位于体外的数据记录器以接收并记录所传输的数据。该数据主要包括通过该数字相机所记录的图像。该胶囊还可包括用于自基站发送器接收指令或其它数据的无线电接收器。代替使用射频传输，可使用较低频率电磁信号。功率可自外部电感器向该胶囊内的内部电感器电感供应或者由该胶囊内的电池供应。在具有板上储存的另一种类型胶囊相机中，所撷取的图像被板上储存，而不是传输至外部装置。具有板上储存的该胶囊于该胶囊排出以后被取回。具有板上储存的该胶囊向患者提供舒适及自由，患者无需佩戴数据记录器或被限制于无线数据接收器的邻近范围。获取并处理后的图像及数据通常被显示于显示装置上，以供诊断医生或医学专家检查。通常，当胶囊经过胃肠(GI)道时，撷取大量图像。所撷取的图像的数目可高达20,000帧或更多。为有效观看该大量的所撷取图像，常常将该些图像显示为具有典型的视频帧速率(例如每秒30帧)的视频序列。即使如此，使用者仍需要不止一小时来观看整个序列。已开发各种观看工具来帮助观看者快速定位一个或多个兴趣图像。例如，对图像添加书签，以快速定位兴趣图像，或提供具有解剖信息标记的导航条，以快速访问期望的兴趣GI位置。在序列号为PCT/US14/38533的PCT专利申请中，披露一种拼接图像序列以生成具有较大图像尺寸的合成图像的方法。在该传统方法中，每个图像仅提供胃肠道的一小段的有限视图。在序列号为PCT/US14/38533的PCT专利申请中，披露图像拼接技术以生成宽图像，从而依据一个实施例自通过位于胶囊内的多个相机所撷取的多个帧内图像提供较大的视场。进一步拼接该宽图像，以形成大图片，该大图片可利用高分辨率大屏幕显示装置，以允许使用者同时观看更多信息。图像拼接过程可包括移除图像之间的重叠区域中的冗余，从而可在单个合成图片中同时观看较大面积的内部胃肠道表面。此外，大图片可提供完整视图或内部胃肠道表面的较大部分。诊断医生或医学专家应当更容易且更快地快速发现兴趣区域，例如息肉。该图像拼接过程可减少图像数目并加速审查过程。序列号为PCT/US14/38533的该PCT专利申请还披露时间-空间表示，作为可视化所撷取图像的一种替代方式。该时间-空间表示针对由用户所选择的每个时间实例显示静态合成图像。在该选定时间，单独的图像(尤其附近的这些图像)将被扭曲(warp)至该选定图像坐标上。不过，胃肠道中的组织常常变形。相应地，在序列号为PCT/US14/38533的PCT专利申请中使用局部变形，以提高视觉质量并允许用户以适当的角度观看目标图像及其相邻图像。该大量的所撷取图像的该重构及拼接过程是非常耗时的。另一方面，所撷取的胶囊图像常常在相邻图像之间包含大量冗余。想要研究图像之间的该冗余，以自该重构及拼接过程移除一些冗余图像。此类技术也可有助于减少图像序列的观看时间。
技术实现思路
本专利技术披露对通过使用体内胶囊相机所撷取的图像进行处理并显示的方法及装置。依据本专利技术，确定目标图像与该目标图像的相邻图像组中的各图像之间的一个或多个重叠区域，其中，该相邻图像组包括至少两个相邻图像。该目标图像与一个相邻图像之间的各重叠区域对应于与相同的场景关联的该目标图像中的一组第一像素以及该一个相邻图像中的一组第二像素。接着，确定该目标图像中的标记像素，其中，若该目标图像中的像素在该目标图像与至少一个相邻图像之间的重叠区域内，该目标图像中的该像素被称为标记像素。若该目标图像中的该标记像素的总数超过阈值，则自该多个图像排除该目标图像，以形成一组剩余图像，其中，在显示装置上显示该组剩余图像。在一个实施例中，该目标图像与该相邻图像组中的一个相邻图像之间的该一个或多个重叠区域通过使用该目标图像与该一个相邻图像之间的可变形配准来确定。该可变形配准可对应于通过使用包括非刚性变换的变换模型将该一个相邻图像扭曲至该目标图像上。而且，可在该扭曲相邻图像与该目标图像之间测量图像相似性度量或图像失真度量，且仅当该图像相似性度量或该图像失真度量满足条件时，才确认该可变形配准。例如，仅当该图像相似性度量高于图像相似性阈值或该图像失真度量低于图像失真阈值时，才确认该可变形配准。该图像相似性度量可对应于归一化互相关(NormalizedCrossCorrelation；NCC)、互信息(MutualInformation；MI)，或平方差和(SumofSquaredDifference；SSD)。该图像失真度量可对应于任意像素的最大位移或像素的平均位移。若通过使用第一变换模型将选定相邻图像扭曲至当前目标图像上且当该选定相邻图像变为新的目标图像时，通过使用与该第一变换模型的逆变换模型对应的第二变换模型可将该当前目标图像扭曲至该新的目标图像上。在该目标图像与相邻图像之间的可变形配准期间，若该相邻图像组中的该目标图像以外的两个或更多图像配准良好，则将该两个或更多图像拼接为临时图像，并通过该目标图像与该临时图像之间的该一个或多个重叠区域评估该目标图像与各该两个或更多图像之间的该一个或多个重叠区域。该阈值实质大于各图像中的像素总数的一半，并小于或等于各图像中的该像素总数。例如，可将该阈值设为各图像中的总像素的从75％至95％的值范围。该相邻图像组可包括在该目标图像之前所撷取的一个或多个第一图像以及在该目标图像之后所撷取的一个或多个第二图像。该相邻图像组可仅包括在该目标图像之前所撷取的两个或更多第一图像，或仅包括在该目标图像之后所撷取的两个或更多第二图像。另一方面，该多个图像包括通过该胶囊相机所撷取的输入图像、先前拼接的临时图像，或两者。在该相邻图像组中的相邻图像总数可依据该相邻图像组的特性适应性确定。例如，对于与缓慢运动的胶囊对应的相邻对象，在该相邻图像组中的相邻图像总数可较大。排除与相邻图像具有大幅重叠的目标图像的过程可被重复应用。例如，在目标图像排除的迭代以后，可将该过程应用于该组剩余图像。在该相邻图像组中的相邻图像总数在每个迭代中可为固定的。在另一个实施例中，在一个迭代中的该相邻图像组中的相邻图像总数不同于另一个迭代。而且，本专利技术还可与序列图像拼接一起使用。例如，在排除一个或多个目标图像以后，可对剩余图像应用序列拼接，其中，若两本文档来自技高网...

【技术保护点】
1.一种对通过体内胶囊相机所撷取的图像进行处理并显示的方法，该方法包括：/n接收多个图像；/n确定目标图像与该目标图像的相邻图像组中的各图像之间的一个或多个重叠区域，其中，该相邻图像组包括至少两个相邻图像，且该目标图像与一个相邻图像之间的各重叠区域对应于与相同的场景关联的该目标图像中的一组第一像素以及该一个相邻图像中的一组第二像素；/n确定该目标图像中的标记像素，其中，若该目标图像中的一个像素在该目标图像与该相邻图像组中的至少一个相邻图像之间的一个重叠区域内，该目标图像中的该一个像素被称为一个标记像素；以及/n若该目标图像中的该标记像素的总数超过阈值，则自该多个图像排除该目标图像，以形成一组剩余图像，其中，在显示装置上显示该组剩余图像。/n

【技术特征摘要】
【国外来华专利技术】1.一种对通过体内胶囊相机所撷取的图像进行处理并显示的方法，该方法包括：
接收多个图像；
确定目标图像与该目标图像的相邻图像组中的各图像之间的一个或多个重叠区域，其中，该相邻图像组包括至少两个相邻图像，且该目标图像与一个相邻图像之间的各重叠区域对应于与相同的场景关联的该目标图像中的一组第一像素以及该一个相邻图像中的一组第二像素；
确定该目标图像中的标记像素，其中，若该目标图像中的一个像素在该目标图像与该相邻图像组中的至少一个相邻图像之间的一个重叠区域内，该目标图像中的该一个像素被称为一个标记像素；以及
若该目标图像中的该标记像素的总数超过阈值，则自该多个图像排除该目标图像，以形成一组剩余图像，其中，在显示装置上显示该组剩余图像。


2.如权利要求1所述的方法，其中，该目标图像与该相邻图像组中的一个相邻图像之间的该一个或多个重叠区域通过使用该目标图像与该一个相邻图像之间的可变形配准来确定。


3.如权利要求2所述的方法，其中，该可变形配准对应于通过使用包括非刚性变换的变换模型将该一个相邻图像扭曲至该目标图像上。


4.如权利要求3所述的方法，其中，在该一个相邻图像的扭曲图像与该目标图像之间测量图像相似性度量或图像失真度量，且仅当该图像相似性度量或该图像失真度量满足条件时，才确认该可变形配准。


5.如权利要求4所述的方法，其中，仅当该图像相似性度量高于相似性阈值或该图像失真度量低于失真阈值时，才确认该可变形配准。


6.如权利要求5所述的方法，其中，该图像相似性度量选自包括归一化互相关(NormalizedCrossCorrelation；NCC)、互信息(MutualInformation；MI)，以及平方差和(SumofSquaredDifference；SSD)的图像相似性度量组。


7.如权利要求5所述的方法，其中，该图像失真度量选自包括任意像素的最大位移及所有像素的平均位移的图像失真度量组。


8.如权利要求3所述的方法，其中，若通过使用第一变换模型将一个选定相邻图像扭曲至当前目标图像上且当该一个选定相邻图像变为新的目标图像时，通过使用与该第一变换模型的逆变换模型对应的第二变换模型将该当前目标图像扭曲至该新的目标图像上。


9.如权利要求2所述的方法，其中，若该相邻图像组中的该目标图像以外的两个或更多图像配准良好，则将该两个或更多图像拼接为临时图像，并通过该目标图像与该临时图像之间的该一个或多个重叠区域评估该目标图像与各该两个或更多图像之间的该一个或多个重叠区域。


10.如权利要求1所述的方法，其中，该阈值实质大于各图像中的像素总数的一半，并小于或等于各图像中的该像素总数。


11.如权利要求1所述的方法，其中，该阈值选自各图像中的像素总数的从75％至95％的值范围。


12.如权利要求1所述...

【专利技术属性】
技术研发人员：G·C·威尔逊，徐毅，王康怀，伍晨愉，
申请(专利权)人：卡普索影像公司，
类型：发明
国别省市：美国;US