内窥镜图像深度估计方法及装置制造方法及图纸

内窥镜图像深度估计方法及装置，可以有效地从原始内窥镜图像中估计出初始深度图，有效地改善了初始深度图相干边界信息的表达，进一步优化内镜深度估计的深度估计，解决边界信息模糊、视觉远点深度缺失、深度变化层次不明显的问题。方法包括：(1)采集临床手术内窥镜图像数据，获得基于非线性滤波与显著性像素分布的高光区域，通过遍历原始内窥镜图像得到高光区域；(2)根据检测的内窥镜高光区域，采用近光辐射模型和光源距离衰减，对该区域进行图像补全，得到初始深度估计图；(3)通过非线性滤波对初始深度图进行多尺度分解，融合多尺度残差与颜色空间强度，获得内窥镜图像深度估计信息。获得内窥镜图像深度估计信息。获得内窥镜图像深度估计信息。

【技术实现步骤摘要】
内窥镜图像深度估计方法及装置


[0001]本专利技术涉及计算机视觉的
，尤其涉及一种内窥镜图像深度估计方法，以及内窥镜图像深度估计装置。

技术介绍

[0002]近年来，随着计算机视觉研究方向的延伸，内窥镜图像深度估计在病灶检测、手术器械跟踪、三维重建中应用广泛，它可以反馈内窥镜内部环境信息，从而确保手术成功协助医生进行，而且也成为了计算机视觉领域实现价值提升的有效途径。因此，内窥镜图像的深度估计技术成为获取物体表面形态的关键技术。然而，由于临床手术中操作环境的复杂性，手术操作空间的限制和内窥镜设备差异，导致获取的内窥镜图像质量差异较大。
[0003]微创手术场景完全依附内窥镜自带光源提供照明，由于尺寸的限制，临床内镜只能使用单目内窥镜。相机和光源距离物体表面较近，对于物体表面上的不同点，照明的入射方向不能认为是平行的。在临床手术中，由于冷光源和摄像机不断移动，不能满足手术过程中光源的恒常性。目前，广泛运用的图像深度估计方法边界信息模糊，视觉远点深度缺失，且深度变化层次不明显，这些限制因素都将严重影响后续的视觉应用。

技术实现思路

[0004]为克服现有技术的缺陷，本专利技术要解决的技术问题是提供了一种内窥镜图像深度估计方法，其可以有效地从原始内窥镜图像中估计出初始深度图，有效地改善了初始深度图相干边界信息的表达，进一步优化内镜深度估计的深度估计，为内窥镜图像深度估计、病灶检测、三维重建等应用提供了特征提取的新思路，解决了当前内窥镜图像深度估计中边界信息模糊、视觉远点深度缺失、深度变化层次不明显的问题。
[0005]本专利技术的技术方案是：这种内窥镜图像深度估计方法，其包括以下步骤：
[0006](1)采集临床手术内窥镜图像数据，获得基于非线性滤波与显著性像素分布的高光区域，通过遍历原始内窥镜图像得到高光区域；
[0007](2)根据检测的内窥镜高光区域，采用近光辐射模型和光源距离衰减，对该区域进行图像补全，得到初始深度估计图；
[0008](3)通过非线性滤波对初始深度图进行多尺度分解，融合多尺度残差与颜色空间强度，获得内窥镜图像深度估计信息。
[0009]本专利技术基于临床手术中获取的内窥镜图像，根据内窥镜环境和光源的辐射特性，定义了一种自适应镜面反射去除方法。利用颜色空间信息约束，可以有效地从原始内窥镜图像中估计出初始深度图。然后，利用多尺度分解恢复初始深度图局部区域的深度梯度细节，有效地改善了初始深度图相干边界信息的表达。最后，将图像的深度信息转化为多尺度分解残差的融合。该过程可以进一步优化内镜深度估计的深度估计。本专利技术为内窥镜图像深度估计、病灶检测、三维重建等应用提供了特征提取的新思路。解决了当前内窥镜图像深度估计中边界信息模糊，视觉远点深度缺失，深度变化层次不明显的问题。
[0010]还提供了内窥镜图像深度估计装置，其包括：
[0011]高光区域提取模块，其配置来采集临床手术内窥镜图像数据，获得基于非线性滤波与显著性像素分布的高光区域，通过遍历原始内窥镜图像得到高光区域；
[0012]补全模块，其配置来根据检测的内窥镜高光区域，采用近光辐射模型和光源距离衰减，对该区域进行图像补全，得到初始深度估计
[0013]图；
[0014]分解融合模块，其配置来通过非线性滤波对初始深度图进行多尺度分解，融合多尺度残差与颜色空间强度，获得内窥镜图像深度估计信息。
附图说明
[0015]图1是根据本专利技术的内窥镜图像深度估计方法的流程示意图。
[0016]图2是根据本专利技术的内窥镜图像深度估计方法的一个具体实施例的流程示意图。
[0017]图3是根据本专利技术的内窥镜图像深度估计方法的步骤(1)的流程示意图。
[0018]图4是根据本专利技术的内窥镜图像深度估计方法的步骤(2)的流程示意图。
[0019]图5是根据本专利技术的内窥镜图像深度估计方法的步骤(3)的流程示意图。
具体实施方式
[0020]本专利技术的目的是为了解决现有内窥镜图像深度估计的问题，提供一种针对内窥镜图像的深度估计方法；基于非线性滤波与显著性像素分布获取内窥镜图像中的高光区域，并利用图像补全方法，补全高光区域的缺失信息，实现视觉错误感知的去除。之后，利用内窥镜近光辐射场构建手术空间照明变化模型对初始深度图进行估计，最后，利用非线性滤波对初始深度图进行多尺度分解，融合多尺度残差与颜色空间强度，获得内窥镜图像深度估计信息。
[0021]如图1所示，这种内窥镜图像深度估计方法，其包括以下步骤：
[0022](1)采集临床手术内窥镜图像数据，获得基于非线性滤波与显著性像素分布的高光区域，通过遍历原始内窥镜图像得到高光区域；
[0023](2)根据检测的内窥镜高光区域，采用近光辐射模型和光源距离衰减，对该区域进行图像补全，得到初始深度估计图；
[0024](3)通过非线性滤波对初始深度图进行多尺度分解，融合多尺度残差与颜色空间强度，获得内窥镜图像深度估计信息。
[0025]本专利技术基于临床手术中获取的内窥镜图像，根据内窥镜环境和光源的辐射特性，定义了一种自适应镜面反射去除方法。利用颜色空间信息约束，可以有效地从原始内窥镜图像中估计出初始深度图。然后，利用多尺度分解恢复初始深度图局部区域的深度梯度细节，有效地改善了初始深度图相干边界信息的表达。最后，将图像的深度信息转化为多尺度分解残差的融合。该过程可以进一步优化内镜深度估计的深度估计。本专利技术为内窥镜图像深度估计、病灶检测、三维重建等应用提供了特征提取的新思路。解决了当前内窥镜图像深度估计中边界信息模糊，视觉远点深度缺失，深度变化层次不明显的问题。
[0026]如图3所示，优选地，所述步骤(1)中，用非线性滤波对内窥镜图像进行增强：
[0027]I
Enhance
＝Filter(I
(r,g,b)
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0028]其中，I
Enhance
为增强图像，Filter为非线性滤波函数，I
(r,g,b)
为原始图像的三个通道分量，在RGB颜色模型中，内窥镜图像中高光区域的梯度变化幅度较大；为了检测高光区域的中心区域，分别比较色彩空间中显著性像素的分布情况，通道阈值分别为：
[0029]ω
r
＝M(I(r))+S(I(r))
·
α
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0030]ω
g
＝M(I(g))+S(I(g))
·
β
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0031]其中，ω
r
和ω
g
分别代表红色和绿色的通道的阈值，I(r)和I(g)分别代表图像红色和绿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.内窥镜图像深度估计方法，其特征在于：其包括以下步骤：(1)采集临床手术内窥镜图像数据，获得基于非线性滤波与显著性像素分布的高光区域，通过遍历原始内窥镜图像得到高光区域；(2)根据检测的内窥镜高光区域，采用近光辐射模型和光源距离衰减，对该区域进行图像补全，得到初始深度估计图；(3)通过非线性滤波对初始深度图进行多尺度分解，融合多尺度残差与颜色空间强度，获得内窥镜图像深度估计信息。2.根据权利要求1所述的内窥镜图像深度估计方法，其特征在于：所述步骤(1)中，用非线性滤波对内窥镜图像进行增强：I
Enhance
＝Filter(I
(r,g,b)
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，I
Enhance
为增强图像，Filter为非线性滤波函数，I
(r,g,b)
为原始图像的三个通道分量，在RGB颜色模型中，内窥镜图像中高光区域的梯度变化幅度较大；为了检测高光区域的中心区域，分别比较色彩空间中显著性像素的分布情况，通道阈值分别为：ω
r
＝M(I(r))+S(I(r))
·
α
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)ω
g
＝M(I(g))+S(I(g))
·
β
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中，ω
r
和ω
g
分别代表红色和绿色的通道的阈值，I(r)和I(g)分别代表图像红色和绿色的通道分量，M表示矩阵的平均值，S代表标准差，α和β分别代表不同的权重参数；最终提取高光区域为：S
region
＝{I(r)≥ω
r
∩I(g)≥ω
g
}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)最后，通过遍历原始内窥镜图像得到高光区域，S
region
为检测高光区域的约束条件同时满足两个权重。3.根据权利要求2所述的内窥镜图像深度估计方法，其特征在于：所述步骤(2)中，采用近光辐射模型来描述内镜的照明情况：I(x)＝R
scene
(x)*M
ill
(x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)其中，x为图像中的像素点，I(x)代表内窥镜拍摄的图像，R
scene
(x)代表场景辐射强度，M
ill
(x)代表场景照明，近光辐射模型通过辐射面与光源距离的衰减来表示图像的深度；拍摄图像分解为场景辐射强度与场景照明的乘积，对公式(5)进行求解：拍摄图像分解为场景辐射强度与场景照明的乘积，对公式(5)进行求解：其中，c表示RGB图像的三个通道，ε代表了一个非常小的常数,以避免分母为零；在初始深度图中，通过考虑目标像素周围小区域内的相邻像素来考虑光照的局部一致性，初始深度图定义为：其中，c
m
代表主要色彩空间，c
s
代表次要色彩空间，d
map
代表初始深度图，θ(x)代表以像
素x为中心的区域，y表示区域内的位置索引。4.根据权利要求3所述的内窥镜图像深度估计方法，其特征在于：所述步骤(3)中，在初始深度估计图的基础上，使用多尺度滤波处理，以细化深度估计的层次，明确边界，局部线性优化和多尺度分解方法为：性优化和多尺度分解方法为：其中，∈
i
代表平滑尺度相关的参数,代表了线性优化方法，a和b分别为线性滤波常数，ψ
i～n
为初始深度估计图的多尺度残差，假设两个一般特征:光源亮度衰减距离一致性和表面漫反射，采用局部线性优化方法对初始深度图进行多尺度分解；内镜图像深度估计为：其中，D
map
(x)代表内镜图像的深度估计，μ和σ分别表示ψ
n
的均值和方差，采用方差加权平均差分法进行多尺度融合，该方法表示像素为环境光像素的概率。5.根据权利要求4所述的内窥镜图像深度估计方法，其特征在于：所述步骤(3)中，对上述构建的数学模型进行求解，根据求解结果进行图像像素的深度估计，得到内窥镜图像深度估计方法。6.内窥镜图像深度估计装置，其...

【专利技术属性】
技术研发人员：范敬凡，刘诗源，王涌天，杨健，付天宇，林毓聪，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：