一种内窥镜自主导航的实现方法及内窥镜装置制造方法及图纸

本发明专利技术公开了一种内窥镜自主导航的实现方法，该方法包括：通过拍摄内窥镜所在通道图片，进行图像预处理以及轮廓提取操作来提取图片轮廓，当提取到清晰的轮廓时，根据轮廓类别、数量的不同采取不同的的算法来分析处理，得出转向数据并且存储；当无法提取到清晰的轮廓的时候，将读取之前存储的转向数据，设计了三重控制策略来控制内窥镜捕捉清晰的轮廓，得出转向参数后通过串口将控制数据传给单片机，单片机控制舵机转动来实现对内窥镜的控制。本发明专利技术可以实现内窥镜的快速自主导航。本发明专利技术还提供了采用该方法的内窥镜装置。了采用该方法的内窥镜装置。了采用该方法的内窥镜装置。

【技术实现步骤摘要】
一种内窥镜自主导航的实现方法及内窥镜装置


[0001]本专利技术涉及内窥镜


技术介绍

[0002]内窥镜是一种常用的具有图像传感器、光学镜头、光源照明、机械装置等元件的检测仪器。由于内窥镜所应用的环境为不规则的复杂通道，如肠道等，故现有技术的内窥镜具有在不规则通道内自主导航的能力。
[0003]而在内窥镜自主导航的算法中，现有的内窥镜自主导航策略大多针对图像中最深/最暗区域的检测，即图像中最深/最暗的区域所在方向就是内窥镜需要转向的方向，但是这种方法并没有考虑到复杂通道内的不规则结构对照相机获取图像的影响。例如，肠道内的褶皱结构会对内窥镜运动产生的影响，这些褶皱结构距离镜头更近，如果不将此结构考虑在内，可能会造成穿孔等严重后果。

技术实现思路

[0004]为解决上述问题，本申请提供一种内窥镜自主导航的实现方法，能够在复杂环境下提高内窥镜自主导航的效率。
[0005]本专利技术还提供了使用该内窥镜自主导航的实现方法的内窥镜装置。
[0006]为实现上述目的，本专利技术提供的内窥镜自主导航的实现方法可采用以下技术方案：
[0007]一种内窥镜自主导航的实现方法，其特征在于：
[0008]通过内窥镜末端的摄像头获取肠道内图像并且传输给计算机进行图像预处理；
[0009]对完成预处理的图像进行轮廓提取，获取图像轮廓；
[0010]若能够获取清晰的轮廓，首先设定轮廓面积阈值，判断封闭轮廓与开放轮廓，若封闭轮廓存在，内窥镜便直行，不进行转向；/>[0011]当仅存在开放轮廓时，则对轮廓进行分类，每帧图像的轮廓分为左侧轮廓和右侧轮廓，
[0012]当一侧轮廓数量N大于另侧轮廓数量P时，包括了N＝3或4、N＝2或N＝1的情况；
[0013]N＝3或4时，采用AHP层次分析法，以轮廓到图像中心的距离为依据，给每一个轮廓赋予相应的权重，通过矩阵运算得出转向判定系数E。
[0014]N＝2时，通过矩阵运算得出转向判定系数E。
[0015]N＝1时，通过检测轮廓开口方向确定转向判定系数E；
[0016]当N＝P时，通过检测轮廓向左或者向右的个数来确定转向判定系数E；
[0017]所述转向判定系数E用以确定内窥镜的转向角度。
[0018]进一步的，所述对图像的预处理方法包括：
[0019]将每帧图片转换成灰度图片；
[0020]使用限制对比度自适应直方图均衡化方法来增强灰度图像对比度；
[0021]采用9
×
9的高斯核对图像进行高斯滤波。
[0022]进一步的，在完成图像预处理过后，所述对图像轮廓提取的方法包括：
[0023]对高斯滤波后的图像采取均值方法的自适应阈值来去掉背景色的影响；
[0024]初步去除背景色之后，使用3
×
3的卷积核对图像进行形态学闭操作，对缺失的轮廓信息进行补充；
[0025]对补充完成后的图片使用opencv内置findContours函数进行轮廓提取，并计算每一个轮廓的面积，通过设定阈值来填充较小的轮廓；
[0026]填充完成后再次使用3
×
3的卷积核进行形态学闭操作；
[0027]形态学操作结束后进行findContours轮廓提取操作。
[0028]最后对各轮廓提取最小外接圆，得到最小外接圆半径以及圆心。
[0029]进一步的，所述轮廓信息的不同在于各轮廓最小外接圆圆心相对图像中心点的位置。
[0030]进一步的，若不能够获取清晰的轮廓，则根据已有的参数，设计三重控制策略来控制内窥镜转向；所述三重策略包括：
[0031]读取之前存储的转向控制参数以及轮廓状态参数，取临近的五个参数求和，若轮廓状态参数的和大于等于阈值，通过转向控制参数的和来设定转向幅度，正负表示方向，若轮廓状态参数的和小于阈值，则触发了三重控制策略，第一步是根据转向控制参数的和的大小来控制转向幅度的大小，正负表示方向；
[0032]第二步是在执行完成第一步的基础上，若还无法捕捉到清晰的轮廓，便采取与第一步转向方向不同且大于第一步转向幅度的转向；
[0033]第三步是在执行完第二步的基础上，若还是无法捕捉到清晰的轮廓，便采取与第一步转向方向相同且大于第二步转向幅度的转向。
[0034]进一步的，当N＝3或4时，计算相应的权重
[0035][0036]ω
0i
是一个过度参数，用来计算轮廓权重；N＝3或者4；a
ij
代表了判断矩阵中i行j列的参数，1≤i≤N，1≤j≤N；
[0037][0038]ω
i
是指某一个轮廓根据计算所得出的权重，1≤i≤N；
[0039]其中
[0040]得出各轮廓对应的权重之后，通过公式计算转向判定系数E：
[0041][0042]其中，left/right是归一化后的左/右横向误差，RL/RR是映射后的左/右最小外切半径，Δ代表抑制参数，N/P是左/右侧的开放轮廓数量；
[0043]当N＝2时，计算转向判定系数E：
[0044][0045]当N＝1时，设定E为中等幅度转向；
[0046]转向角度ω为：
[0047][0048]当N＝P时，若某一侧的轮廓个数与另一侧的个数之差大于2则设定为中等幅度转向，否则便设定为小幅度转向。
[0049]进一步的，所述转向控制参数的定义为：在处理完每一帧图片后，根据图片信息或已存储数据得出的转向控制结果，正负表示方向。
[0050]进一步的，所述轮廓状态参数的定义为：当能够提取到清晰的轮廓时，该帧对应的轮廓状态参数为1，若不能，则为0。
[0051]进一步的，所述转向幅度是指内窥镜转动的角度，在分析判断过程中，是根据转向判定系数来确定的，转向判定系数是通过对轮廓信息或者转向控制参数分析计算得出的。
[0052]有益效果：
[0053]相对于现有技术，本专利技术的图像处理以及轮廓提取方法简单，速度较快，针对不同的轮廓设计的分析处理方法能够大大减少轮廓计算所需的时间。本专利技术针对每一帧图像的处理速度在20
‑
25ms，完全满足实时处理的要求，能够在复杂环境下克服由于图像误差对内窥镜自主导航造成的影响，提高内窥镜自主导航的效率及准确率。
[0054]本专利技术同时提供了采用上述实现方法的内窥镜装置，所述装置包括内窥镜，直行驱动模块、转向控制模块，用户界面；所述直行驱动模块通过两个舵机的摩擦带动内窥镜的直行运动；所述转向控制模块通过舵机与内窥镜转向旋钮相连来控制内窥镜的转向。
附图说明
[0055]图1是内窥镜自主导航的实现方法的流程图；
[0056]图2是对图片进行预处理以及轮廓提取之后的处理示意图；
[0057]图3是对清晰轮廓的分析示意图；
[0058]图4是对清晰轮廓的处理流程示意图；
...

【技术保护点】

【技术特征摘要】
1.一种内窥镜自主导航的实现方法，其特征在于：通过内窥镜末端的摄像头获取肠道内图像并且传输给计算机进行图像预处理；对完成预处理的图像进行轮廓提取，获取图像轮廓；若能够获取清晰的轮廓，首先设定轮廓面积阈值，判断封闭轮廓与开放轮廓，若封闭轮廓存在，内窥镜便直行，不进行转向；当仅存在开放轮廓时，则对轮廓进行分类，每帧图像的轮廓分为左侧轮廓和右侧轮廓，当一侧轮廓数量N大于另侧轮廓数量P时，包括了N＝3或4、N＝2或N＝1的情况；N＝3或4时，采用AHP层次分析法，以轮廓到图像中心的距离为依据，给每一个轮廓赋予相应的权重，通过矩阵运算得出转向判定系数E；N＝2时，通过矩阵运算得出转向判定系数E；N＝1时，通过检测轮廓开口方向确定转向判定系数E；当N＝P时，通过检测轮廓向左或者向右的个数来确定转向判定系数E；所述转向判定系数E用以确定内窥镜的转向角度。2.根据权利要求1所述的内窥镜自主导航的实现方法，其特征在于，所述对图像的预处理方法包括：将每帧图片转换成灰度图片；使用限制对比度自适应直方图均衡化方法来增强灰度图像对比度；采用9
×
9的高斯核对图像进行高斯滤波。3.根据权利要求1或2所述的内窥镜自主导航的实现方法，其特征在于，在完成图像预处理过后，所述对图像轮廓提取的方法包括：对高斯滤波后的图像采取均值方法的自适应阈值来去掉背景色的影响；初步去除背景色之后，使用3
×
3的卷积核对图像进行形态学闭操作，对缺失的轮廓信息进行补充；对补充完成后的图片使用opencv内置findContours函数进行轮廓提取，并计算每一个轮廓的面积，通过设定阈值来填充较小的轮廓；填充完成后再次使用3
×
3的卷积核进行形态学闭操作；形态学操作结束后进行findContours轮廓提取操作；最后对各轮廓提取最小外接圆，得到最小外接圆半径以及圆心。4.根据权利要求1所述的内窥镜自主导航的实现方法，其特征在于，所述轮廓信息的不同在于各轮廓最小外接圆圆心相对图像中心点的位置。5.根据权利要求1所述的内窥镜自主导航的实现方法，其特征在于，若不能够获取清晰的轮廓，则根据已有的参数，设计三重控制策略来控制内窥镜转向；所述三重策略包括：读取之前存储的转向控制参数以及轮廓状态参数，取临近的五个参数求和，若轮廓状...

【专利技术属性】
技术研发人员：吴大伟，李明强，温智益，王柏权，杨建林，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：