一种胶囊内镜图像三维重建方法及系统技术方案

本发明专利技术公开了一种胶囊内镜图像三维重建方法及系统，该胶囊内镜图像三维重建方法包括如下步骤：对胶囊内镜的单目相机进行标定，获取相机内、外参数；选取单目相机拍摄的图片序列，对所述图片序列进行校正；检测校正后图像的特征点；对获得的特征点进行匹配并跟踪，形成特征点轨迹；图像摄影重建；对步骤S5处理后的图像进行三维重建。本发明专利技术通过单目图片序列，生成立体的、精确的3d稠密的点云模型，完成三维重建。本发明专利技术的特征点提取图片亮度不变，可以很好匹配和跟踪特征点，三维重建的效果更稳健。相比于传统的单目三维重建方法，特征提取跟踪速度快，可以达到实时三维重建。

【技术实现步骤摘要】
一种胶囊内镜图像三维重建方法及系统
本专利技术涉及图像处理
，特别适用于内窥镜
，具体涉及一种胶囊内镜图像三维重建方法及系统。
技术介绍
胶囊内镜即无线内镜，它是由一个微型照相机、数字处理系统和无线收发系统等组成，受检者将胶囊内镜吞咽下后，可将受检者消化道图像无线传送到体外的接收器。与插入式的消化道内镜相比，胶囊内镜最大的优点是无痛、无创、安全、便捷，尤其是对小肠的检查具有独到之处。胶囊内镜看起来与普通胶囊一个样，长约1.5厘米，直径不足1厘米。受制于硬件的尺寸，胶囊内镜存在图片分辨率低，帧率一般比较低，通常为2-4帧/s，医生不能对病变、部异常位进行重点观察。另外，人体肠胃内部结构复杂，弯道和褶皱较多，胶囊内镜进行肠胃检查的时候，拍摄图片会有盲区。胶囊内镜因为依靠重力和肠胃蠕动前进，所以拍摄图片随机性强，对于异常有病变的部位，不能提供角度全面的图片。三维重建是指利用二维信息恢复三维信息(形状等)的数学过程。随着计算机技术的发展，计算机硬件计算能力的提高，三维重建技术方法也大量涌现。例如以下几种：基于光流的三维重建技术，先提取图像序列中运动物体或场景表面的图像特征如图像中的角点、直线、曲线等、然后对提取的特征跟踪、匹配并计算出其对应的图像坐标变化，从而根据特征光流与三维运动和空间结构的投影关系重建三维运动与结构。由于只是采用图像序列中感兴趣的图像特征对物体或场景进行描述，基于光流的三维重建技术能够克服亮度突变现象对重建结果的影响。当图像序列中存在运动遮挡情况时，光流估计在遮挡区域会有较大误差。基于明暗恢复法是计算机视觉领域从图像恢复三维形状的的经典算法，其利用单幅图像优化迭代进行三维形状重建，但是只能重建反照率一致的图像，且只对无投射阴影的图像有效。基于光度立体技术(PMS)是基于非平面表面的多幅辐照度图像对物体表面形状进行重建，PMS扩展了SFS的约束条件，从3幅或者3幅以上的辐照度图像重建物体的三维结构，是基于图像的三维重建中较准确且可靠的技术。当空间三维场景被投影为二维图像时，同一景物在不同视点下的全图会有很大不同，而且场景中的诸多因数，如光照条件，景物几何形状和物理特性，噪声干扰和畸变以及摄像机特性等，都会对三维重建的效果产生很大的影响。对于胶囊内镜，由于体积的限制，一般只设置有一个摄像头，采用基于单目视觉的三维重建技术更可取，目前有一种基于结构化深度学习的单目图像深度估计模型，根据输入的RGB图像，推测每个像素对应的深度值，从而得到模型的结构化输出深度图，深度学习框架使用多尺度卷积神经网络结合连续条件随机场，从图像序列中学习到相关特征表达。连续条件随机场根据图像像素的位置，颜色信息优化卷积神经网络，得到图片的深度信息。深度学习对于训练的数据集合硬件要求比较高，所以对于实时三维重建还有很有待提升。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种胶囊内镜图像三维重建方法及系统。为了实现本专利技术的上述目的，根据本专利技术的第一个方面，本专利技术提供了一种胶囊内镜图像三维重建方法，其包括如下步骤：S1，对胶囊内镜的单目相机进行标定，获取相机内、外参数；S2，选取单目相机拍摄的图片序列，对所述图片序列进行校正；S3，检测校正后图像的特征点；S4，对步骤S3获得的特征点进行匹配并跟踪，形成特征点轨迹；S5，图像摄影重建；S6，对步骤S5处理后的图像进行三维重建。本专利技术的胶囊内镜图像三维重建方法通过单目图片序列，生成立体的、精确的3d稠密的点云模型，完成三维重建。本专利技术可以很好匹配和跟踪特征点，三维重建的效果更稳健。相比于传统的单目三维重建方法，特征提取跟踪速度快，可以达到实时三维重建。在本专利技术的一种优选实施方式中，所述步骤S4中对特征点进行匹配并跟踪，形成特征点轨迹的方法为：对同一拍摄位置的不同图像的特征点进行匹配，选择Hamming距离进行匹配，不相同的位数h,同时设置阈值d,小于d则表示差距比较大，标记为匹配特征点，反之则认为两个特征点存在干扰，标记为不匹配；S42，采用随机抽样一致算法来剔除无匹配的特征点；S43，特征点跟踪，根据步骤S42获得的特征点匹配的结果，将匹配的特征点存入到对应特征点队列Ti＝{p1,p2...pn}中，组成特征点的轨迹。实现匹配和跟踪特征点，三维重建的效果更稳健。相比于传统的单目三维重建方法，特征提取跟踪速度快，可以达到实时三维重建。在本专利技术的另一种优选实施方式中，所述步骤S2中的校正方法为：S21，对获取的图片进行边界填充；其中，d(x,y)是填充后的图像，f(x,y)为原图像，w为原图像的宽度，h为原图像的高度，Δx是x方向上填充的宽度，Δy是y方向上填充的高度，填充后的图像宽高变为Δx+w，Δy+h；S22，在0至1之间设置多个校正系数σ，根据所述校正系数生成多个相机校正内参K'＝σ*K，其中K'为校正后的相机内参；S23，根据相机外参和不同校正系数下的相机校正内参，求出边界填充后图像对应原图的每个像素的非线性畸变坐标映射矩阵MP1,MP2…MP9,MP10，……，Mpq,根据所述畸变坐标映射矩阵进行校正，公式如下：dst(xi,yi)＝src(d(M(xi,yi)))，其中：dst(xi,yi)是目标图像，即重映射的结果；src(d(M(xi,yi)))是源图像；利用得到的畸变坐标映射矩阵进行灰度校正，使用双线性差值算法求解校正后的图像像素值，具体的算法公式如下：d(M(xi,yi))＝(1-Δx)(1-Δy)M(xi,yi)+Δy(1-Δx)M(xi,yi+1)+Δx(1-Δy)M(xi+1,yi)+ΔxΔyM(xi+1,yi+1)式中Δx和Δy分别是校正后图像映射到原图中的x和y方向上的小数部分，通过双线性插值方法完成图像最后的图像校正；非线性畸变坐标映射矩阵为其中，所述q为校正系数的个数，也即坐标映射矩阵的个数，i为正数且1≤i≤q，size为校正图像的大小，H为映射矩阵，K'i为对应第i个校正系数的校正后的相机内参；畸变坐标映射矩阵求取方法具体为：将填充后图像中的每一个像素点坐标转换到摄像机坐标系,并归一化得到Z＝1平面下的三维坐标(x',y',1)，其中T为平移向量，求出平面模型下像素点对应鱼眼半球模型下的极坐标，利用求出的极坐标值将三维坐标点重投影到二维图像平面得到(mx,my)即为目标图像对应的像素点坐标，Mpi＝M(xi,yi)＝(mxi,myi)，其中fx，fy为焦距，cx，cy为图像的中心点坐标。本专利技术的校正方法快速高效，能够实时针对医用内镜图片进行畸变校正，校正后的图片更符合人眼视图习惯，有助于医生阅片和对异常病变部位进一部的观察，提高医生诊断的准确性。本专利技术针对不同人的视觉差异，引入校正系数，达到不同的校正效果，以供医生选择。为了实现本专利技术的上述目的，根据本专利技术的第二个方面，本专利技术提供了一种胶囊内镜图像三维重建系统，其包括设置于胶囊内镜上的单目相机、控制器及图像显示装置，所述相机拍摄图像并传输给控制器，所述控制器根据本专利技术的胶囊内镜图像三维重建方法对图像进行三维重建并传输给图像显示装置进行显示。本专利技术的胶囊内镜图像三维重建系统结构简单，采用通过单目图片序列，生成立体的、精确的3d稠密的点云模型，完成本文档来自技高网...

【技术保护点】
1.一种胶囊内镜图像三维重建方法，其特征在于，包括如下步骤：S1，对胶囊内镜的单目相机进行标定，获取相机内、外参数；S2，选取单目相机拍摄的图片序列，对所述图片序列进行校正；S3，检测校正后图像的特征点；S4，对步骤S3获得的特征点进行匹配并跟踪，形成特征点轨迹；S5，图像摄影重建；S6，对步骤S5处理后的图像进行三维重建。

【技术特征摘要】
1.一种胶囊内镜图像三维重建方法，其特征在于，包括如下步骤：S1，对胶囊内镜的单目相机进行标定，获取相机内、外参数；S2，选取单目相机拍摄的图片序列，对所述图片序列进行校正；S3，检测校正后图像的特征点；S4，对步骤S3获得的特征点进行匹配并跟踪，形成特征点轨迹；S5，图像摄影重建；S6，对步骤S5处理后的图像进行三维重建。2.根据权利要求1所述的胶囊内镜图像三维重建方法，其特征在于，所述步骤S1中对胶囊内镜单目相机进行标定的方法为：拍摄至少三幅及以上的不同位置的标定图像并划分为棋盘格，根据图像坐标系、摄像机坐标系和世界坐标系之间的非线性映射关系，计算出内镜相机所有的内外参数，具体为：设三维世界坐标的点为P＝[X,Y,Z,1]T，二维相机平面像素坐标为m＝[u,v,1]T，所以标定用的棋盘格平面到图像平面的单应性关系为：s·m＝K[R,T]P，其中s为尺度因子，K为摄像机内参数，R为旋转矩阵，T为平移向量，H为映射矩阵，将世界坐标系构造在棋盘格平面上，令棋盘格平面为Z＝0的平面，可得：映射矩阵H＝[h1，h2，h3]＝λK[r1，r2，t]；其中，h1,h2,h3分别为映射矩阵H的三个列向量，λ为尺度因子s的倒数，r1，r2为旋转矩阵R的任意两个列向量，t为r1，r2所对应图像的平移向量；利用三幅包含棋盘格的图像计算得到相机的内参数矩阵K；并得到t＝λK-1h3。3.根据权利要求1所述的胶囊内镜图像三维重建方法，其特征在于，所述步骤S2中的校正方法为：S21，对获取的图片进行边界填充；其中，d(x,y)是填充后的图像，f(x,y)为原图像，w为原图像的宽度，h为原图像的高度，Δx是x方向上填充的宽度，Δy是y方向上填充的高度，填充后的图像宽高变为Δx+w，Δy+h；S22，在0至1之间设置多个校正系数σ，根据所述校正系数生成多个相机校正内参K'＝σ*K，其中K'为校正后的相机内参；S23，根据相机外参和不同校正系数下的相机校正内参，求出边界填充后图像对应原图的每个像素的非线性畸变坐标映射矩阵MP1,MP2…MP9,MP10，……，Mpq,根据所述畸变坐标映射矩阵进行校正，公式如下：dst(xi,yi)＝src(d(M(xi,yi)))，其中：dst(xi,yi)是目标图像，即重映射的结果；src(d(M(xi,yi)))是源图像；利用得到的畸变坐标映射矩阵进行灰度校正，使用双线性差值算法求解校正后的图像像素值，具体的算法公式如下：d(M(xi,yi))＝(1-Δx)(1-Δy)M(xi,yi)+Δy(1-Δx)M(xi,yi+1)+Δx(1-Δy)M(xi+1,yi)+ΔxΔyM(xi+1,yi+1)式中Δx和Δy分别是校正后图像映射到原图中的x和y方向上的小数部分，通过双线性插值方法完成图像最后的图像校正；非线性畸变坐标映射矩阵为其中，所述q为校正系数的个数，也即坐标映射矩阵的个数，i为正数且1≤i≤q，size为校正图像的大小，H为映射矩阵，K'i为对应第i个校正系数的校正后的相机内参；畸变坐标映射矩阵求取方法具体为：将填充后图像中的每一个像素点坐标转换到摄像机坐标系,并归一化得到Z＝1平面下的三维坐标(x',y',1)，其中T为平移向量，求出平面模型下像素点对应鱼眼半球模型下的极坐标，利用求出的极坐标值将三维坐标点重投影到二维图像平面得到(mx,my)即为目标图像对应的像素点坐标，Mpi＝M(xi,yi)＝(...

【专利技术属性】
技术研发人员：臧道东，严莎莎，张志良，郭凌，郭慧，
申请(专利权)人：重庆金山医疗器械有限公司，
类型：发明
国别省市：重庆,50