内窥镜系统、内窥镜系统的工作方法技术方案

一种内窥镜系统，其具有：内窥镜(1)，其取得被检体的图像；位置方位检测部(14)和位置姿势计算部(28)，它们取得内窥镜(1)的位置和姿势信息；三维位置估计部(22)和三维图像生成部(23)，它们根据图像、位置以及姿势信息，估计被检体的三维形状；截面生成部(26)，其根据位置信息，生成与内窥镜所通过的轨迹交叉的截面；以及判定部(27)，其根据截面上的三维形状的形状特性，判定错误估计部分。

Working methods of endoscope system and endoscope system

【技术实现步骤摘要】
【国外来华专利技术】内窥镜系统、内窥镜系统的工作方法
本专利技术涉及根据由内窥镜取得的图像和内窥镜的位置信息以及姿势信息来估计被检体内的三维形状的内窥镜系统、内窥镜系统的工作方法。
技术介绍
以往提出了根据由内窥镜取得的图像和内窥镜的位置信息以及姿势信息来估计被检体内的三维形状的内窥镜系统。例如，在日本特开2003-225195号公报中记载了如下内容：在设置有检测挠性插入部的弯曲状态并将该弯曲状态显示在监视器画面上的弯曲状态显示单元的挠性内窥镜的监视器装置中，设置有：脏器形状显示单元，其使作为插入部的插入对象的脏器的形状与插入部的弯曲状态一起显示在监视器画面上；以及脏器形状校正单元，其根据外部输入来校正监视器画面上所显示的脏器的形状。此外，在日本特开2009-213627号公报中记载了如下的内容。首先，让患者吞下胶囊内窥镜(CE)，进行内窥镜检査。医生从通过CE而获得的CE图像数据中选择有疑似病变部的被观察部位(关注点)的CE图像数据(关注点图像数据)。在该选择之后，医生选择从口部到关注点的内窥镜插入路径的中途的被观察部位的CE图像数据。在开始使用球囊内窥镜(BE)的内窥镜检査之后，判定通过BE获得的BE图像数据与之前由医生所选择的各点图像数据是否类似。由此，通过检测BE的末端部到达了各点中的哪个点，即可检测末端部的相对位置。但是，在根据内窥镜图像估计脏器的形状时，首先估计构成脏器的形状的点组的位置，但是，该估计位置一般存在误差。而且，当根据估计位置存在误差的点组而估计出脏器的形状时，形成为面形状(平面、曲面等形状)的被检体有时例如被形状估计为形成管腔形状的被检体。因此，要求减少这样的形状的错误估计。本专利技术正是鉴于上述情况而完成的，其目的在于提供一种能够提高所估计的被检体内的三维形状的可靠度的内窥镜系统、内窥镜系统的工作方法。
技术实现思路
本专利技术的一个方式的内窥镜系统具有：内窥镜，其拍摄被检体内部而取得图像；位置姿势信息取得部，其取得所述内窥镜的位置信息和姿势信息；三维位置估计部，其根据所述图像，估计从所述内窥镜观察的、所述被检体内的对象部分的相对三维位置；形状估计部，其根据所述相对三维位置、所述位置信息以及所述姿势信息，估计所述被检体内的三维形状；截面生成部，其根据所述位置信息而生成截面，其中所述截面是与如下区域的芯线交叉的平面，所述区域是内包有所述内窥镜所通过的轨迹的区域；以及判定部，其根据所述三维形状的与所述截面交叉的部分即形状截面的形状特性，判定所述三维形状中的错误估计部分。在本专利技术的其他方式的内窥镜系统的工作方法中，该内窥镜系统具有拍摄被检体内而取得图像的内窥镜，其中，位置姿势信息取得部取得所述内窥镜的位置信息和姿势信息，三维位置估计部根据所述图像，估计从所述内窥镜观察的、所述被检体内的对象部分的相对三维位置，形状估计部根据所述相对三维位置、所述位置信息以及所述姿势信息，估计所述被检体内的三维形状，截面生成部根据所述位置信息而生成截面，其中所述截面是与如下区域的芯线交叉的平面，所述区域是内包有所述内窥镜所通过的轨迹的区域，判定部根据所述三维形状的与所述截面交叉的部分即形状截面的形状特性，判定所述三维形状中的错误估计部分。附图说明图1是示出本专利技术实施方式1的内窥镜系统的结构的框图。图2是示出上述实施方式1中的内窥镜系统的结构的变形例的框图。图3是示出上述实施方式1中的三维图像生成部的结构的框图。图4是示出在上述实施方式1中、一边插入内窥镜一边进行观察，估计三维位置进而估计三维形状的情形的图表。图5是示出上述实施方式1中的内窥镜系统的作用的流程图。图6是示出上述实施方式1中的形状修正的处理的流程图。图7是示出上述实施方式1中的形状截面计算的处理的流程图。图8是示出上述实施方式1中、计算内包有内窥镜所通过的轨迹的区域的芯线进而计算垂直于芯线的截面的情形的图表。图9是示出上述实施方式1中、所估计的三维形状与垂直于芯线的截面的位置关系的例子的图。图10是示出上述实施方式1中、垂直于芯线的截面与1个多边形的相交线即交叉线段的图。图11是示出上述实施方式1中、生成将交叉线段的中心点与垂直于芯线的截面上的轨迹重心点连结的连结线段的情形的图。图12是示出上述实施方式1中、与连结线段交叉的形状截面的交叉线段的图。图13是示出本专利技术的实施方式2中的形状修正的处理的流程图。图14是示出上述实施方式2中、从轨迹重心点朝向各交叉线段的中心点的中心向量与将包括各交叉线段的各多边形的法线向量投影到截面上而得到的投影法线向量所形成的角度小于角度阈值的例子的图。图15是示出上述实施方式2中、中心向量与投影法线向量所形成的角度为角度阈值以上的例子的图。图16是示出本专利技术的实施方式3中的形状修正的处理的流程图。图17是示出上述实施方式3中、计算将截面与内窥镜的轨迹的交点即轨迹点与交叉线段的中心点连结的连结线段并且计算出的连结线段与形状截面的交叉线段交叉的情形的图。图18是示出本专利技术实施方式4中的内窥镜系统的作用的流程图。图19是示出上述实施方式4中的显示颜色变更的处理的流程图。图20是示出上述实施方式4中、通过基于投影法线向量彼此所形成的角度、中心点之间的直线距离和中心点之间的沿着形状截面的路程进行判定，而判定为不存在形状的错误估计的例子的图。图21是示出上述实施方式4中、通过基于投影法线向量彼此所形成的角度、中心点之间的直线距离和中心点之间的沿着形状截面的路程进行判定，而判定为存在形状的错误估计的例子的图。图22是示出本专利技术实施方式5中的形状修正的处理的流程图。图23是示出上述实施方式5中、在穿过中心重心点的直线与形状截面交叉的2个点之间的直线距离为阈值以下时，与芯线和截面的交叉点接近的多边形的区域的例子的图。具体实施方式以下，参照附图说明本专利技术的实施方式。[实施方式1]图1至图12示出了本专利技术的实施方式1，图1是示出内窥镜系统的结构的框图。该内窥镜系统具有内窥镜1、处理系统2、光源3和显示装置4。另外，在图1所示的例子中，使处理系统2和光源3分体，但是也可以为一体。内窥镜1是拍摄被检体内部而取得图像的图像取得装置，并具有摄像部11、照射部12、操作部13和作为计测部的位置方位检测部14。其中的摄像部11、照射部12和位置方位检测部14例如配置于内窥镜1的插入部的末端部，操作部13与插入部的近前侧连接设置。另外，在本实施方式中，列举了将肾脏的肾盂肾盏(参照图8等)作为被检体的例子，但是，不限定于此，只要是能够进行内窥镜观察的被检体即可，能够广泛应用。照射部12朝向被检体的内部照射从光源3例如经由光导而传输来的照明光。但是，也可以采用如下结构：将照射部12构成为LED等发光源，利用从光源3供给的电力发出照明光。摄像部11具有摄像元件11a，利用物镜光学系统形成被照射本文档来自技高网...

【技术保护点】
1.一种内窥镜系统，其特征在于，具有：/n内窥镜，其拍摄被检体内部而取得图像；/n位置姿势信息取得部，其取得所述内窥镜的位置信息和姿势信息；/n三维位置估计部，其根据所述图像，估计从所述内窥镜观察的、所述被检体内的对象部分的相对三维位置；/n形状估计部，其根据所述相对三维位置、所述位置信息以及所述姿势信息，估计所述被检体内的三维形状；/n截面生成部，其根据所述位置信息而生成截面，其中所述截面是与如下区域的芯线交叉的平面，所述区域是内包有所述内窥镜所通过的轨迹的区域；以及/n判定部，其根据所述三维形状的与所述截面交叉的部分即形状截面的形状特性，判定所述三维形状中的错误估计部分。/n

【技术特征摘要】
【国外来华专利技术】20170615 JP 2017-1179911.一种内窥镜系统，其特征在于，具有：
内窥镜，其拍摄被检体内部而取得图像；
位置姿势信息取得部，其取得所述内窥镜的位置信息和姿势信息；
三维位置估计部，其根据所述图像，估计从所述内窥镜观察的、所述被检体内的对象部分的相对三维位置；
形状估计部，其根据所述相对三维位置、所述位置信息以及所述姿势信息，估计所述被检体内的三维形状；
截面生成部，其根据所述位置信息而生成截面，其中所述截面是与如下区域的芯线交叉的平面，所述区域是内包有所述内窥镜所通过的轨迹的区域；以及
判定部，其根据所述三维形状的与所述截面交叉的部分即形状截面的形状特性，判定所述三维形状中的错误估计部分。


2.根据权利要求1所述的内窥镜系统，其特征在于，
所述形状估计部将所述三维形状估计为将多个多边形连结而成的形状，
所述形状截面形成将所述截面与所述多边形的相交线即交叉线段连结而成的折线，
所述判定部根据所述交叉线段，判定包含有所述交叉线段的所述多边形是否是所述错误估计部分。


3.根据权利要求2所述的内窥镜系统，其特征在于，
所述判定部针对多个所述交叉线段中的各个所述交叉线段生成连结线段，将包含有在所述连结线段的两端以外的位置与所述连结线段交叉的所述交叉线段的所述多边形判定为所述错误估计部分，其中所述连结线段是以轨迹点和所述交叉线段的中心点为两端的线段，所述轨迹点是所述截面与所述轨迹的交点。


4.根据权利要求3所述的内窥镜系统，其特征在于，
在1个截面上存在多个所述轨迹点的情况下，所述判定部以多个所述轨迹点的重心即轨迹重心点为一端而生成所述连结线段，进行所述错误估计部分的判定。


5.根据权利要求3所述的内窥镜系统，其特征在于，
在1个截面上存在多个所述轨迹点的情况下，所述判定部针对多个所述轨迹点中的各个所述轨迹点生成所述连结线段，进行所述错误估计部分的判定。


6.根据权利要求2所述的内窥镜系统，其特征在于，
所述判定部针对多个所述交叉线段中的各个所述交叉线段生成中心向量，并且针对包含有所述交叉线段的所述多边形中的各个所述多边形生成投影法线向量，将包含有所述中心向量与所述投影法线向量所形成的角度在角度阈值以上的所述交叉线段的所述多边形判定为所述错误估计部分，其中所述中心向量是从轨迹点的重心即轨迹重心点朝向所述交叉线段的中心点的向量...

【专利技术属性】
技术研发人员：秋本俊也，生熊聪一，
申请(专利权)人：奥林巴斯株式会社，
类型：发明
国别省市：日本;JP