基于双目内窥镜的在线自监督学习深度估计方法技术

本发明专利技术提供一种基于双目内窥镜的在线自监督学习深度估计方法和系统，涉及深度估计技术领域。本发明专利技术包括获取双目内窥镜影像，采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征；采用当前双目深度估计网络的解码器网络，对多尺度特征进行融合，获取当前帧图像中每个像素点的视差；据相机内外参数，将视差转化为深度并作为当前帧图像的结果输出；在不引入外部真值的条件下，利用自监督损失更新当前双目深度估计网络的参数，用于下一帧图像的深度估计。利用连续帧的相似性，将一对双目图像上的过拟合思想扩展到时间序列上的过拟合，通过在线学习不断更新模型参数，能在各种双目内窥镜手术环境下得到高精度的组织深度。组织深度。组织深度。

【技术实现步骤摘要】
基于双目内窥镜的在线自监督学习深度估计方法


[0001]本专利技术涉及深度估计
，具体涉及一种基于双目内窥镜的在线自监督学习深度估计方法、系统、存储介质和电子设备。

技术介绍

[0002]微创手术具有出血少、感染率低等各种优势，传统双目内窥镜图像只能提供定性的空间感知，不利于外科医生对复杂解剖结构的理解，也不利于先进的微创手术机器人安全工作空间的构建。因此，依据双目内窥镜的图像精确重建手术场景三维结构，对于提高手术效率与安全性和促进手术机器人智能化的发展具有重要的意义。
[0003]Pilzer等人在文章《Progressive Fusion for Unsupervised Binocular Depth Estimation Using Cycled Networks》(于2020年10月1日在IEEE Transactions on Pattern Analysis and Machine Intelligence发布)中提出：一种用于预测深度图的新型自监督深度学习方法，其引入了渐进融合网络(PFN)，专为双目深度估计而设计。该网络基于多尺度细化策略，该策略结合了两个立体视图提供的信息。此外，建议将该网络堆叠两次以形成一个循环。这种循环方法可以解释为数据增强的一种形式，因为在训练时，网络既可以从训练集图像中学习，也可以从合成图像中学习。该架构与对抗学习联合训练从而获得双目深度估计的能力。
[0004]但是，上述技术方案对于不同手术场景泛化性较弱。此外，现有算法大都基于自动驾驶场景提出，应用在光照变化复杂、组织纹理单一的手术场景下，深度估计鲁棒性较差。鉴于此，有必要提供一种泛化性与精确性更好的基于双目内窥镜的在线自监督学习深度估计方案。

技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术的不足，本专利技术提供了一种基于双目内窥镜的在线自监督学习深度估计方法、系统、存储介质和电子设备，解决了现有深度估计方案泛化性与精确性有待提高的技术问题。
[0007](二)技术方案
[0008]为实现以上目的，本专利技术通过以下技术方案予以实现：
[0009]一种基于双目内窥镜的在线自监督学习深度估计方法，所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景，该方法包括：
[0010]S1、获取双目内窥镜影像，采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征；
[0011]S2、采用当前双目深度估计网络的解码器网络，对多尺度特征进行融合，获取当前帧图像中每个像素点的视差；
[0012]S3、根据相机内外参数，将视差转化为深度并作为当前帧图像的结果输出；
[0013]S4、在不引入外部真值的条件下，利用自监督损失更新当前双目深度估计网络的参数，用于下一帧图像的深度估计。
[0014]优选的，通过元学习方式训练获取所述双目深度估计网络对应的初始模型参数，具体包括：
[0015]S100、随机选取偶数对双目图像{e1,e2,
…
,e
2K
}，并平均切分为支持集和查询集和查询集和中的图像随机配对形成K个任务
[0016]S200、内循环训练：根据中的支持集图像计算损失进行一次参数更新；
[0017][0018]其中，表示内循环更新后的网络参数；表示求导，α为内循环的学习率，为第k个任务的支持集图像，是根据模型初始参数φ
m
计算出的损失；
[0019]S300、外循环训练：根据中的查询集图像，利用更新后的模型计算元学习损失，直接更新模型初始参数φ
m
为φ
m+1
；
[0020][0021]其中，β为外循环的学习率；是第k个任务的查询集图像，为元学习损失。
[0022]优选的，所述S2具体包括：
[0023]采用所述解码器将粗尺度特征图经过卷积块和上采样，与细尺度特征图拼接，再次经过卷积块进行特征融合，其中结合reflection padding、卷积层、非线性激活单元ELU构建所述卷积块；
[0024]根据网络分辨率最高的输出直接计算视差：
[0025]d＝k
·
(sigmoid(conv(Y))
‑
0.5)
[0026]其中，d表示像素点的视差估计值；k为预先设定的最大视差范围，Y是分辨率最高的输出，conv是卷积层，sigmoid进行范围归一化。
[0027]优选的，所述S3中将视差转化为深度是指：
[0028][0029]其中，D为像素点的深度估计值；f
x
,c
x2
,c
x1
为双目相机内参；b为基线长度，即双目相机外参。
[0030]优选的，所述S4中的自监督损失包括：
[0031](1)几何一致性损失D
diff
(p)：
[0032][0033]其中，表示由左目深度图变换后获得的右目深度，D
′
r
表示在右目深度图上采样获得的右目深度；
[0034](2)光度损失
[0035][0036]其中，p表示有效像素点，P表示有效像素点集合；I
t
和I
′
t
分别表示原图和重构图像，λ
i
和λ
s
为平衡参数，SSIM
tt
′
表示图像结构相似度；
[0037](3)平滑损失
[0038][0039]其中，D
n
表示归一化深度图，和表示沿着图像水平与垂直方向的一阶导数。
[0040]一种基于双目内窥镜的在线自监督学习深度估计系统，所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景，该系统包括：
[0041]提取模块，用于获取双目内窥镜影像，采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征；
[0042]融合模块，用于采用当前双目深度估计网络的解码器网络，对多尺度特征进行融合，获取当前帧图像中每个像素点的视差；
[0043]转化模块，用于根据相机内外参数，将视差转化为深度并作为当前帧图像的结果输出；
[0044]估计模块，用于在不引入外部真值的条件下，利用自监督损失更新当前双目深度估计网络的参数，用于下一帧图像的深度估计。
[0045]一种存储介质，其存储有用于基于双目内窥镜的在线自监督学习深度估计的计算机程序，其中，所述计算机程序使得计算机执行如上所述的在线自监督学习深度估计方法。
[0046]一种电子设备，包括：
[0047]一个或多个处理器；
[0048]存储器；以及
[0049]一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目内窥镜的在线自监督学习深度估计方法，其特征在于，所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景，该方法包括：S1、获取双目内窥镜影像，采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征；S2、采用当前双目深度估计网络的解码器网络，对多尺度特征进行融合，获取当前帧图像中每个像素点的视差；S3、根据相机内外参数，将视差转化为深度并作为当前帧图像的结果输出；S4、在不引入外部真值的条件下，利用自监督损失更新当前双目深度估计网络的参数，用于下一帧图像的深度估计。2.如权利要求1所述的在线自监督学习深度估计方法，其特征在于，通过元学习方式训练获取所述双目深度估计网络对应的初始模型参数，具体包括：S100、随机选取偶数对双目图像{e1,e2,
…
，e
2K
}，并平均切分为支持集和查询集和中的图像随机配对形成K个任务S200、内循环训练：根据中的支持集图像计算损失进行一次参数更新；其中，表示内循环更新后的网络参数；表示求导，α为内循环的学习率，为第k个任务的支持集图像，是根据模型初始参数φ
m
计算出的损失；S300、外循环训练：根据中的查询集图像，利用更新后的模型计算元学习损失，直接更新模型初始参数φ
m
为φ
m+1
；其中，β为外循环的学习率；是第k个任务的查询集图像，为元学习损失。3.如权利要求1或者2所述的在线自监督学习深度估计方法，其特征在于，所述S2具体包括：采用所述解码器将粗尺度特征图经过卷积块和上采样，与细尺度特征图拼接，再次经过卷积块进行特征融合，其中结合reflection padding、卷积层、非线性激活单元ELU构建所述卷积块；根据网络分辨率最高的输出直接计算视差：d＝k
·
(sigmoid(conv(Y))
‑0·
5)其中，d表示像素点的视差估计值；k为预先设定的最大视差范围，Y是分辨率最高的输出，conv是卷积层，sigmoid进行范围归一化。4.如权利要求3所述的在线自监督学习深度估计方法，其特征在于，所述S3中将视差转化为深度是指：
...

【专利技术属性】
技术研发人员：李霄剑，郑杰禹，毕良宽，唐华，张林，杨善林，李玲，屈炎伟，
申请(专利权)人：安徽医科大学第二附属医院，
类型：发明
国别省市：