【技术实现步骤摘要】
本专利技术涉及医疗图像处理领域，尤其是涉及内窥镜穿刺引导方法以及系统。
技术介绍
1、内窥镜是用来直接观察人体器官内部腔体的医疗装置，一般由摄像、冷光源、主机、显示器、导光束等结构及针对不同部位的镜头组成。内窥镜经人体的天然孔道或经小切口进入人体内，通过ccd或cmos采集并逐级处理后在外部显示器成像，多用于人体器官或组织的检查及手术治疗。内窥镜系统具有创伤小、使用方便和手术时间短等显著优势，在各个科室应用广泛。
2、内窥镜可分硬管式和软管式两种，即硬性内窥镜和软性内窥镜。硬性内窥镜通常用于人体外部穿刺开口腔道的病灶诊断和治疗，如胸腔、腹腔等；软性内窥镜则通过自然孔道(消化道、支气管等)进入人体，镜体较长且需具备一定柔性，可弯曲，与硬性内窥镜相比对人体损伤更小、安全性高、更容易观察到人体器官的内部情况。
3、但现有技术中，医生在使用软性内窥镜进行检查或穿刺手术时，通过后端手轮调整镜体的弯曲角度，让其更好地适应腔道形状，同时获得最佳观察视野，对操作经验有较高要求。
技术实现思路
1、为了克服现有技术的不足，本专利技术的目的之一在于提供一种内窥镜穿刺引导方法，在不增加镜体体积的前提下实现穿刺/手术引导，降低医生的操作经验要求。
2、为了克服现有技术的不足，本专利技术的目的之二在于提供一种内窥镜穿刺引导系统，在不增加镜体体积的前提下实现穿刺/手术引导，降低医生的操作经验要求。
3、为了克服现有技术的不足，本专利技术的目的之二在于提供一种内窥
4、本专利技术的目的之一采用如下技术方案实现：
5、一种内窥镜穿刺引导方法，包括以下步骤：
6、s1：利用相机获取病灶外部待穿刺处的多个光学图像，对获取的每帧相邻光学图像开展特征点提取跟踪，利用全局优化在三维空间中重建特征点并不断更新，以计算相机位置以及获取待穿刺处的三维特征点信息；
7、s2：获取病灶处多个超声图像以及多个光学图像，利用多个超声图像对病灶处进行三维重建，利用多个光学图像对病灶处表层三维特征点的获取；
8、s3：计算病灶与穿刺器械平面的位置关系，将三维病灶模型投影在相机的二维内窥镜图像上，此时内窥镜位于超声图像中病灶界面最大时对应的位置，在内窥镜图像上实时显示内部病灶的轮廓，将内窥镜中的二维表皮信息投影至超声图像中，获取表皮层轮廓指示线；过病灶形心，做表层组织面的垂线，垂线所在的病灶最大切面即为理想的穿刺平面；获取器械通道平面的水平切平面和垂直切平面，分别求取两个平面与穿刺平面的夹角，获得内窥镜的水平偏转角度和垂直偏转角度。
9、进一步地，步骤s1具体包括以下步骤：
10、s11：对相机初始镜头进行旋转和平移，获取两帧初始图像；
11、s12：提取相邻两帧图像中的特征点；
12、s13：匹配每个图像之间的关键点，利用多个点对估计一个匹配矩阵f，获取每个空间点在不同图像上的投影点的匹配；
13、s14：对提取的特征点匹配结果进行计算，得到相机的位置参数；
14、s15：利用相机参数和特征点匹配结果进行最小二乘计算，求取特征点空间信息，获取稀疏三维点云，完成病灶外部待穿刺处的局部三维重建；
15、s16：继续获取图像，返回步骤s12求取新的特征点对，将其与原有特征点放在一起，进行全局优化，更新相机位置参数和点云信息。
16、进一步地，在步骤s14中，当特征点对的数量小于预设值时，返回步骤s11，当特征点对的数量大于等于预设值时，根据特征点对采用2d-2d对极约束求解相机的运动，获得相机旋转矩阵r和平移矩阵t，得到相机的最新位置参数。
17、进一步地，在步骤s15中，利用相机参数和特征点匹配结果进行最小二乘计算，求取特征点空间信息具体为：通过三角测量，利用前后两帧中同一空间特征点的不同2d投影，通过最小二乘法求解得到特征点的空间位置。
18、进一步地，步骤s16中，进行全局优化具体为：存储获得的三维空间特征点信息，当存储的图像帧数小于10时，相机位姿不变；当存储的图像帧数大于等于10时，使用ba代价函数进行相机位姿优化。
19、进一步地，在步骤s2中，通过超声图像判断病灶的位置。
20、进一步地，在步骤s2中，通过内窥镜在病灶处等间距移动获取多个超声图像以及多个光学图像，多个超声图像为超声图像序列，多个光学图像为光学声图像序列。
21、进一步地，利用多个超声图像对病灶处进行三维重建具体为：首先将二维超声图像序列上的像素点通过坐标转换映射到三维成像空间中的对应位置，并将该像素值赋值给体素；其次进行体素填补，遍历三维成像空间中所有的体素，找出空体素，再通过插值算法来填补空体素。
22、进一步地，步骤s3还包括：根据水平偏转角度和垂直偏转角度调节内窥镜，调节后重新计算水平偏转角度和垂直偏转角度，直至水平偏转角度和垂直偏转角度的数值小于预设值。
23、本专利技术的目的之二采用如下技术方案实现：
24、一种内窥镜穿刺引导系统，用以实施上述任意一种内窥镜穿刺引导方法，包括表层定位模块、深层定位模块和穿刺引导模块，所述表层定位模块处理病灶外部待穿刺处的光学图像获取病灶外部待穿刺处的表层特征，计算相机位置并获取表层特征的三维特征点信息，所述深层定位模块处理病灶处的超声图像对病灶处进行三维重建找到合适的穿刺起始位置，所述深层定位模块处理病灶处的光学图像获取病灶处表层三维信息，所述穿刺引导模块根据病灶处表层三维信息以及病灶外部待穿刺处的表层特征，计算病灶与穿刺器械平面的位置关系，求取当前器械穿刺方向与最短路径间的夹角。
25、本专利技术的目的之三采用如下技术方案实现：
26、一种内窥镜穿刺引导装置，用以实施上述任意一种内窥镜穿刺引导方法，包括相机、超声探头以及处理器，所述相机以及超声探头安装于内窥镜端部，所述相机获取病灶外部待穿刺处的光学图像以及病灶处的光学图像，所述超声探头确定病灶的位置并获取病灶处的超声图像，所述处理器对病灶外部待穿刺处的光学图像、病灶处的光学图像以及病灶处的超声图像进行处理以计算内窥镜的水平偏转角度和垂直偏转角度。
27、相比现有技术，本专利技术内窥镜穿刺引导方法通过相机获取病灶外部待穿刺处的多个光学图像计算病灶外部待穿刺处的表层特征，通过超声探头以及相机获取病灶处多个超声图像以及多个光学图像，利用多个超声图像对病灶处进行三维重建，利用多个光学图像对病灶处表层三维特征点的获取；根据病灶处表层三维信息以及病灶外部待穿刺处的表层特征，计算病灶与穿刺器械平面的位置关系，求取当前器械穿刺方向与最短路径间的夹角，通过上述步骤，利用超声和光学图像实现穿刺/手术辅助引导，不额外增加镜体体积，系统处理度快，实时性好，可兼容480p到1080p的不同图像分辨率，最高能够支持60fps帧率输出，系统检测精本文档来自技高网...
【技术保护点】
1.一种内窥镜穿刺引导方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的内窥镜穿刺引导方法，其特征在于：步骤S1具体包括以下步骤：
3.根据权利要求2所述的内窥镜穿刺引导方法，其特征在于：在步骤S14中，当特征点对的数量小于预设值时，返回步骤S11，当特征点对的数量大于等于预设值时，根据特征点对采用2D-2D对极约束求解相机的运动，获得相机旋转矩阵R和平移矩阵t，得到相机的最新位置参数。
4.根据权利要求2所述的内窥镜穿刺引导方法，其特征在于：在步骤S15中，利用相机参数和特征点匹配结果进行最小二乘计算，求取特征点空间信息具体为：通过三角测量，利用前后两帧中同一空间特征点的不同2D投影，通过最小二乘法求解得到特征点的空间位置。
5.根据权利要求2所述的内窥镜穿刺引导方法，其特征在于：步骤S16中，进行全局优化具体为：存储获得的三维空间特征点信息，当存储的图像帧数小于10时，相机位姿不变；当存储的图像帧数大于等于10时，使用BA代价函数进行相机位姿优化。
6.根据权利要求1所述的内窥镜穿刺引导方法，其特征在于：在步
7.根据权利要求1所述的内窥镜穿刺引导方法，其特征在于：在步骤S2中，通过内窥镜在病灶处等间距移动获取多个超声图像以及多个光学图像，多个超声图像为超声图像序列，多个光学图像为光学声图像序列。
8.根据权利要求7所述的内窥镜穿刺引导方法，其特征在于：利用多个超声图像对病灶处进行三维重建具体为：首先将二维超声图像序列上的像素点通过坐标转换映射到三维成像空间中的对应位置，并将该像素值赋值给体素；其次进行体素填补，遍历三维成像空间中所有的体素，找出空体素，再通过插值算法来填补空体素。
9.根据权利要求1所述的内窥镜穿刺引导方法，其特征在于：步骤S3还包括：根据水平偏转角度和垂直偏转角度调节内窥镜，调节后重新计算水平偏转角度和垂直偏转角度，直至水平偏转角度和垂直偏转角度的数值小于预设值。
10.一种内窥镜穿刺引导系统，用以实施如权利要求1-9任意一项所述的内窥镜穿刺引导方法，其特征在于：包括表层定位模块、深层定位模块和穿刺引导模块，所述表层定位模块处理病灶外部待穿刺处的光学图像获取病灶外部待穿刺处的表层特征，计算相机位置并获取表层特征的三维特征点信息，所述深层定位模块处理病灶处的超声图像对病灶处进行三维重建找到合适的穿刺起始位置，所述深层定位模块处理病灶处的光学图像获取病灶处表层三维信息，所述穿刺引导模块根据病灶处表层三维信息以及病灶外部待穿刺处的表层特征，计算病灶与穿刺器械平面的位置关系，求取当前器械穿刺方向与最短路径间的夹角。
11.一种内窥镜穿刺引导装置，用以实施如权利要求1-9任意一项所述的内窥镜穿刺引导方法，其特征在于：包括相机、超声探头以及处理器，所述相机以及超声探头安装于内窥镜端部，所述相机获取病灶外部待穿刺处的光学图像以及病灶处的光学图像，所述超声探头确定病灶的位置并获取病灶处的超声图像，所述处理器对病灶外部待穿刺处的光学图像、病灶处的光学图像以及病灶处的超声图像进行处理以计算内窥镜的水平偏转角度和垂直偏转角度。
...【技术特征摘要】
1.一种内窥镜穿刺引导方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的内窥镜穿刺引导方法，其特征在于：步骤s1具体包括以下步骤：
3.根据权利要求2所述的内窥镜穿刺引导方法，其特征在于：在步骤s14中，当特征点对的数量小于预设值时，返回步骤s11，当特征点对的数量大于等于预设值时，根据特征点对采用2d-2d对极约束求解相机的运动，获得相机旋转矩阵r和平移矩阵t，得到相机的最新位置参数。
4.根据权利要求2所述的内窥镜穿刺引导方法，其特征在于：在步骤s15中，利用相机参数和特征点匹配结果进行最小二乘计算，求取特征点空间信息具体为：通过三角测量，利用前后两帧中同一空间特征点的不同2d投影，通过最小二乘法求解得到特征点的空间位置。
5.根据权利要求2所述的内窥镜穿刺引导方法，其特征在于：步骤s16中，进行全局优化具体为：存储获得的三维空间特征点信息，当存储的图像帧数小于10时，相机位姿不变；当存储的图像帧数大于等于10时，使用ba代价函数进行相机位姿优化。
6.根据权利要求1所述的内窥镜穿刺引导方法，其特征在于：在步骤s2中，通过超声图像判断病灶的位置。
7.根据权利要求1所述的内窥镜穿刺引导方法，其特征在于：在步骤s2中，通过内窥镜在病灶处等间距移动获取多个超声图像以及多个光学图像，多个超声图像为超声图像序列，多个光学图像为光学声图像序列。
8.根据权利要求7所述的内窥镜穿刺引导方法，其特征在于：利用多个超声图像对病灶处进行三维重建具体为：首先将二维超声图像序...
【专利技术属性】
技术研发人员：洪凯程，高培淞，宋鹏，范梅生，李俊博，
申请(专利权)人：中国科学院苏州生物医学工程技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。