一种胃肠结构的真实尺度三维重建及可视化方法技术

本发明专利技术公开了一种胃肠结构的真实尺度三维重建及可视化方法，涉及三维重建与测量技术领域，能够通过胶囊机器人的位姿检测获得相机的实际位姿信息来确定三维模型中的相对尺度信息的转换系数，包括如下步骤：实时检测胶囊机器人位姿信息。获取相机采集的连续N帧胃肠内部图像。取其中图像I

A real scale 3D reconstruction and visualization method of gastrointestinal structure

【技术实现步骤摘要】
一种胃肠结构的真实尺度三维重建及可视化方法
本专利技术涉及三维重建与测量
，具体涉及一种胃肠结构的真实尺度三维重建及可视化方法。
技术介绍
基于单目相机的胃肠三维重建是指利用图像处理技术提取胃肠组织中孔腔区域信息和褶皱纹理信息，并通过单帧图像中轮廓灰度值与深度信息间的关系求出褶皱轮廓的三维点集，再将点集进行平滑曲面拟合处理形成局部三维结构。然后通过相邻帧图像间的共有褶皱纹理，将重建的局部三维结构变换到全局空间中，得到完整的胃肠三维重建结构，这可用于为胶囊机器人的运动控制和路径规划提供外部环境信息。但是，通过单目相机采集的图像只能重建出胃肠三维结构的相对尺度信息，而要进行胶囊机器人的路径规划则需要提供胃肠三维模型的绝对尺度信息，因此需要把真实的尺度信息与三维模型的相对尺度信息联系起来。传统的三维测量需要手工测量选中的某一褶皱轮廓的真实特征信息，如褶皱的直径、周长等，然后再根据重建的三维模型中相对应的同一褶皱相对特征信息来确定转换系数。但是在实际中，由于无法直接测量人体胃肠的尺寸信息，因此需要一种间接的方法来确定真实的本文档来自技高网...

【技术保护点】
1.一种胃肠结构的真实尺度三维重建方法，其特征在于，该方法通过位于胃肠内的胶囊机器人获取胃肠内部图像，其中所述胶囊机器人上固连用于实时采集胃肠内部图像的相机，该方法包括如下步骤：/n实时检测所述胶囊机器人位姿信息，可获得相机的位姿信息；/n获取所述相机采集的t

【技术特征摘要】
1.一种胃肠结构的真实尺度三维重建方法，其特征在于，该方法通过位于胃肠内的胶囊机器人获取胃肠内部图像，其中所述胶囊机器人上固连用于实时采集胃肠内部图像的相机，该方法包括如下步骤：
实时检测所述胶囊机器人位姿信息，可获得相机的位姿信息；
获取所述相机采集的t1时刻至t2时刻之间的连续N帧胃肠内部图像，所述胃肠内部图像为包含有胃肠孔腔信息的图像；
取其中一帧胃肠内部图像为参考图像I1，取另一帧胃肠内部图像I2，通过光流法估计胃肠内部图像I1和I2的共有褶皱集S0，其中S0为非空集合；将图像I1和I2中相同的褶皱点标记为相同的唯一编码ID；
利用图像I1中的二维褶皱信息通过所述相机的成像投影模型进行反向映射重建出I1的三维局部肠模型C1，同时利用图像I2重建出I2的三维局部肠模型C2；
在三维局部肠模型C1和C2中取对应于图像I1和I2中标记为同一唯一编码ID的三维褶皱点集分别放入两个集合S1和S2，对两个集合S1和S2进行配准计算，估计出三维局部肠模型C1和C2的运动变换矩阵M和缩放比例K；
三维局部肠模型的尺度信息为K1：K1＝K-1·p2·(p1)-1·M-1；其中p1为胃肠内部图像I1对应的相机实时位姿信息，p2为胃肠内部图像I2对应的相机实时位姿信息。


2.如权利要求1所述的方法，其特征在于，所述获取所述相机采集的t1时刻至t2时刻之间的连续N帧胃肠内部图像，所述胃肠内部图像为包含有胃肠孔腔信息的图像，具体为：
所述相机连续采集图像存储到内存缓存中；
顺次选取内存缓存中各帧图像作为参考帧，执行孔腔区域提取处理过程以提取孔腔区域，若所述参考帧提取到的孔腔区域不为空，则所述参考帧记录为胃肠内部图像，否则删除所述参考帧，直至获得连续的N帧胃肠内部图像；
所述孔腔区域提取处理过程包括如下步骤：
对所述参考帧进行高斯滤波去除噪声，然后进行区域分割，遍历所述参考帧的整个图像区域，利用已知的孔腔在图像表达中具有的灰度特征和形态特征，提取出孔腔区域。


3.如权利要求1所述的方法，其特征在于，所述取其中一帧胃肠内部图像为参考图像I1，取另一帧胃肠内部图像I2，通过光流法估计胃肠内部图像I1和I2的共有褶皱集S0，其中S0为非空集合，具体为：
选取t1时刻的胃肠内部图像作为参考图像I1；
选取t2时刻的胃肠内部图像作为I20，采用光流法估计I1和I20之间的共有褶皱集S’0；
若S’0为非空，则以I20作为I2，以S’0作为S0；
若S’0为空，以图像I20位置处向前依次查找n帧图像I’1～I’n，其中n<N，并计算图像I20与图像I’i的光流信息，i遍历1～n，直至找到与图像I20存在共有褶皱信息的图像I’j，j为[1,n]中正整数，以图像I20与图像I’j共有褶皱集作为S0，以图像I’j作为I2。


4.如权利要求1所述的方法，其特征在于，在所述获取所述相机采集的t1时刻至t2时刻之间的连续N帧胃肠内部图像之后，所述取其中一帧胃肠内部图像为参考图像I1，取另一帧胃肠内部图像I2，通过光流法估计胃肠内部图像I1和I2的共有褶皱集S0之前，还包括胃肠内部图像褶皱轮廓提取过程；
所述胃肠图像褶皱轮廓提取过程包括如下步骤：
对一帧所述胃肠内部图像采用Canny边缘检测算法得到的所述褶皱轮廓的非连续轮廓线，进行形态学处理后放入到褶皱轮廓集合A中；对集合A中轮廓线进行平滑拟合连接：
所述平滑拟合连接具体过程包括：在所述集合A中，找到端点距离最小的两段轮廓线，然后计算两端点分别与所述胃肠内部图像的孔腔区域中心点连接所形成的夹角C、两端点连线分别与两段轮廓线选定端点的切线形成的夹角D和夹角E，如果夹角C角度小于第一设定角度，并且夹角D和夹角E...

【专利技术属性】
技术研发人员：李敬，徐磊，黄强，吴磊，保罗·达里奥，加斯托内·丘蒂，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11