内窥镜图像注册系统和方法技术方案

本发明专利技术提供了一种内窥镜图像处理系统，用于获取人体部位的术前三维光谱模型，点云和其它影像的数据，对所述模型实现动态矫正和注册，通过融合和掩膜增强显示所述数据，突出部位的术中变化，有助于内窥镜的精准操作和微创手术机器人的导航。手术机器人的导航。手术机器人的导航。

【技术实现步骤摘要】
内窥镜图像注册系统和方法


[0001]本专利技术应用于生物和医学领域，尤其应用于医学图像处理，注册和手术机器人的自动导航。

技术介绍

[0002]用于微创或自然孔口检查或手术的内窥镜通过摄像头获取光谱图像。CT、MRI、超声波和其他3D成像模式通常用于术前计划或术中辅助数据。在手术过程中，需要跟踪人体部位位置，以协助外科医生进行手术或引导手术机器人。上述跟踪可以通过融合或注册来自各种成像机制的图像或影像数据来完成。迄今，现有技术的图像注册主要偏向于以术前或术中获得的3D影像作为参考目标对内窥镜图像进行注册。

技术实现思路

[0003]本专利技术披露了一种人体部位的三维光谱数据模型的建模方法，以及基于所述模型的图像处理系统，包括数据采集模块、处理模块和显示模块；数据采集模块用于获取生物体包括人体的部位的三维光谱数据模型，或所述模型及所述部位的点云，或所述模型、点云、以及所述部位的其它影像；处理模块用于执行以下一项或多项：3D打印所述模型；参照所述点云，对所述模型进行矫正; 3D打印所述矫正后的模型；参照所述点云，对所述矫正后的模型进行注册; 3D打印所述注册后的模型；参照所述注册操控手术机器人或内窥镜；获取所述模型、点云、其它影像至少二项的融合包括将所述点云对所述模型或其它影像进行掩膜融合，将所述点云对所述矫正后的模型进行掩膜融合，将所述点云对所述注册后的模型进行掩膜融合后得到的一项或多项融合的数据；显示模块显示所述模型、点云、其它影像、数据的一项或多项，所述显示能够突出所述部位的形态、结构和位置的变化，以便医生辨认，达到视觉注册的效果。
[0004]数据采集模块可以包括：至少一个摄像头，或至少一个内窥镜，所述内窥镜可以包括至少一个摄像头，光源。处理模块可以包括至少一个处理器，以及所述处理器的指令集、参数集及固、动态存储器。显示模块可以包括至少一个显示器；数据采集模块、处理模块、显示模块之间可以由通讯链路连接。系统可以通过设置人机接口界面和网络通讯来进行控制和数据传送。处理模块可以运行至少一个基于本系统的检查或手术机器人手术的程序。
[0005]处理模块还可以参照所述模型的任一坐标体素的一种光点的第一亮度值，与和所述坐标对应的所述点云的所述一种光点的第二亮度值的相关或相同，所述对应包括所述体素的坐标与所述点云的所述光点的坐标相关或相同，确定或修改所述第一亮度值；和/或确定或修改所述体素的所述一种光点的色调致使所述色调在HSV色空间中的第一H值与所述点云的所述一种光点的色调的第二H值之间的差值小于第一个阈值；进一步的参照第一亮度值，第一H值，数据采集模块的摄像头的光源的照度的空间分布和光谱特性，所述部位组织的光谱特性，以及所述光源、摄像头和部位之间的相对位置的一项或多项，确定或修改与所述体素相邻的体素的所述光点的亮度值和色调；其中，所述部位任一种组织的任意两个
体素的所述一种光点的色调的H值的差值小于第二个阈值。
[0006]处理模块还可以将所述点云与所述矫正后的模型进行匹配；参照所述匹配，确定或修改所述矫正后模型的数据或获取所述部位的位置。
[0007]所述其它影像包括CT、MRI、超声的一项或多项；处理模块可以进一步执行下述一项或多项：参照所述其它影像，对所述模型进行第二注册，包括确定、修改所述模型的数据或获取所述部位的位置；参照所述第二注册，操控所述手术机器人或内窥镜。
[0008]处理模块还可以提取所述点云、模型和其它影像的一项或多项的特征，所述特征包括器官之间的横向位置关系或器官组织层之间的纵向位置关系；进一步执行下述一项或多项：参照所述特征对所述模型或所述矫正后的模型或所述注册后的模型进行第三注册，包括确定、修改所述模型或所述矫正后的模型或所述注册后的模型或获取所述部位的位置；参照所述第三注册，操控所述手术机器人或内窥镜；获取并通过显示模块显示所述特征的点集与所述模型、所述矫正后的模型、所述注册后的模型、所述第三注册后的模型、所述掩膜融合后的模型、所述点云、所述其它影像的一项或多项融合后的数据，包括参照所述点集对所述一项或多项进行掩膜融合包括将所述一项或多项的对应于所述点集任一特征点的坐标的至少一种光点设置为掩膜值后得到的数据。
[0009]进一步的，处理模块还可以参照所述注册、第二注册、第三注册的组合，操控所述手术机器人或内窥镜。
[0010]处理模块还可以将所述模型、所述矫正后的模型、所述注册后的模型，所述其它影像的一项或多项的对应于所述点云的任一光点的坐标的体素的至少一种光点设置为掩膜值，所述掩膜值能够被设置为所述任一光点，所述对应包括所述体素的坐标能够与所述点云的所述光点的坐标相关包括相同。
[0011]数据采集模块还可以通过一对双目视觉的摄像头拍摄所述部位的图像，获取与所述图像耦合的点云；或者在采用一个摄像头拍摄所述部位的图像的同时或同步，用另一个深度摄像头获取所述部位的点云的坐标；或者采用一个配有3D传感器的摄像头同时拍摄所述部位的图像和点云。
[0012]数据采集模块还可以获取对应于序列号n+1的点云或其它影像，处理模块基于参照对应于序列号n的点云或其它影像注册后的模型及所述对应于序列号n+1的点云或其它影像对所述模型进行注册，并实现权利要求1
‑
10任一项所述的功能。
[0013]本专利技术还提供了与上述系统对应的一种图像处理方法，包括以下步骤：步骤一，获取生物体包括人体的部位的三维光谱数据模型，或所述模型及所述部位的点云，或所述模型、点云、以及所述部位的其它影像；步骤二，执行以下一项或多项：3D打印所述模型；参照所述点云，对所述模型进行矫正; 3D打印所述矫正后的模型；参照所述点云，对所述矫正后的模型进行注册; 3D打印所述注册后的模型；参照所述注册操控手术机器人或内窥镜；获取所述模型、点云、其它影像至少二项的融合包括将所述点云对所述模型或其它影像进行掩膜融合，将所述点云对所述矫正后的模型进行掩膜融合，将所述点云对所述注册后的模型进行掩膜融合后得到的一项或多项融合的数据；显示所述模型、点云、其它影像、数据的一项或多项，所述显示能够突出所述部位的形态、结构和位置的变化，以便医生辨认，达到视觉注册的效果。
[0014]上述方法所述矫正包括以下步骤：步骤1，参照所述模型的任一坐标体素的一种光
点的第一亮度值，与和所述坐标对应的所述点云的所述一种光点的第二亮度值的相关或相同，所述对应包括所述体素的坐标与所述点云的所述光点的坐标相关或相同，确定或修改所述第一亮度值；和/或确定或修改所述体素的所述一种光点的色调致使所述色调在HSV色空间中的第一H值与所述点云的所述一种光点的色调的第二H值之间的差值小于第一个阈值；步骤2，参照所述第一亮度值和第一H值，光源照度的空间分布和光谱特性，所述部位组织的光谱特性，以及光源、摄像头和所述部位之间的相对位置的一项或多项，确定或修改与所述体素相邻的体素的所述光点的亮度值和色调；其中，所述部位任一种组织的任意两个体素的所述一种光点的色调的H值的差值小于第二个阈值。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内窥镜图像系统，其特征在于，包括数据采集模块、处理模块和显示模块；数据采集模块用于获取生物体包括人体的部位的三维光谱数据模型，或所述模型及所述部位的点云，或所述模型、点云、以及所述部位的其它影像；处理模块用于执行以下一项或多项：3D打印所述模型；参照所述点云，对所述模型进行矫正; 3D打印所述矫正后的模型；参照所述点云，对所述矫正后的模型进行注册; 3D打印所述注册后的模型；参照所述注册操控手术机器人或内窥镜；获取所述模型、点云、其它影像至少二项的融合包括将所述点云对所述模型或其它影像进行掩膜融合，将所述点云对所述矫正后的模型进行掩膜融合，将所述点云对所述注册后的模型进行掩膜融合后得到的一项或多项融合的数据；显示模块显示所述模型、点云、其它影像、数据的一项或多项，所述显示能够突出所述部位的形态、结构和位置的变化，以便医生辨认，达到视觉注册的效果。2.如权利要求1所述的系统，其特征在于，处理模块还用于参照所述模型的任一坐标体素的一种光点的第一亮度值，与和所述坐标对应的所述点云的所述一种光点的第二亮度值的相关或相同，所述对应包括所述体素的坐标与所述点云的所述光点的坐标相关或相同，确定或修改所述第一亮度值；和/或确定或修改所述体素的所述一种光点的色调致使所述色调在HSV色空间中的第一H值与所述点云的所述一种光点的色调的第二H值之间的差值小于第一个阈值；进一步的参照第一亮度值，第一H值，数据采集模块的摄像头的光源的照度的空间分布和光谱特性，所述部位组织的光谱特性，以及所述光源、摄像头和部位之间的相对位置的一项或多项，确定或修改与所述体素相邻的体素的所述光点的亮度值和色调；其中，所述部位任一种组织的任意两个体素的所述一种光点的色调的H值的差值小于第二个阈值。3.如权利要求1
‑
2任一项所述的系统，其特征在于，处理模块还用于将所述点云与所述矫正后的模型进行匹配；参照所述匹配，确定或修改所述矫正后模型的数据或获取所述部位的位置。4.如权利要求1所述的系统，其特征在于，所述其它影像包括CT、MRI、超声的一项或多项；处理模块还用于执行下述一项或多项：参照所述其它影像，对所述模型或所述矫正后的模型或所述注册后的模型进行第二注册，包括确定、修改所述矫正后的模型或所述注册后的模型的数据或获取所述部位的位置；参照所述第二注册，操控所述手术机器人或内窥镜。5.如权利要求1所述的系统，其特征在于，处理模块还用于提取所述点云、模型和其它影像的一项或多项的特征，所述特征包括器官之间的横向位置关系或器官组织层之间的纵向位置关系；进一步执行下述一项或多项：参照所述特征对所述模型或所述矫正后的模型或所述注册后的...

【专利技术属性】
技术研发人员：怀效宁，
申请(专利权)人：深圳瑞尔图像技术有限公司，
类型：发明
国别省市：