内窥镜定位方法、电子设备和非暂态计算机可读存储介质技术

技术编号：40678115 阅读：4 留言：0更新日期：2024-03-18 19:16

本发明专利技术提供一种内窥镜定位方法、电子设备和非暂态计算机可读存储介质，包括：基于深度提取网络获取真实内窥镜采集的第t帧图像的深度图像获取虚拟内窥镜采集的第t‑n帧目标虚拟图像的深度图像d<subgt;t‑n</subgt;，或基于深度提取网络获取真实内窥镜采集的第t‑n帧图像的深度图像将深度图像和深度图像d<subgt;t‑n</subgt;或将深度图像和深度图像输入深度配准网络，得到真实内窥镜的相对位姿估计信息将相对位姿估计信息与真实内窥镜采集第t‑n帧图像时的位姿估计信息叠加，获得真实内窥镜采集第t帧图像的位姿估计信息该方法可快速、准确且连续的获得真实内窥镜当前的位姿信息。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及内窥镜定位，尤其涉及一种内窥镜定位方法、电子设备和非暂态计算机可读存储介质。

技术介绍

1、内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器。具有图像传感器、光学镜头、光源照明、机械装置等，它可以经口腔进入胃内或经其他天然孔道进入体内。利用内窥镜可以看到x射线不能显示的病变，因此成为了医学检查中常用的技术手段。

2、目前，内窥镜定位常用的方法包括：(1)通过明暗恢复形状(shape from shading，sfs)方法提取内窥镜图像深度，将深度大的部分识别为气道。在提取出气道后，对比术前ct重建出的模型，将当前图像映射到相机处于的气道分支或者根据相邻图像中气道最深处位置的变化，估算内窥镜运动。该方法气道分叉处可能实现，而在视野中没有或只有一个气道的情况下难以提供连续的内窥镜定位信息。(2)通过运动结构恢复(structure frommotion，sfm)方法，提取内窥镜图像特征点，对于相邻两帧图像，将特征点一一匹配，并据此解算 perspective-n-point(pnp)进行内窥镜位姿估计。该方法在内窥镜图像的特征点较少或缺少特征点时perspective-n-point(pnp)将不能求解，出现内窥镜定位丢失的问题。(3)2d/3d配准方法，通过将内窥镜拍摄到的2d图像配准到术前重建出的虚拟模型上，从而得到内窥镜在模型中的位置。该方法基于迭代优化算法，因此得到每帧定位都需要较长的计算时间，而内窥镜在实际检查中的位姿变化很快，过长的计算时间容易造成定位丢失。</p>

技术实现思路

1、本专利技术提供一种内窥镜定位方法、电子设备和非暂态计算机可读存储介质，用以解决现有技术中不能提供连续定位信息、易造成定位丢失的缺陷，实现对内窥镜的快速、准确定位并能够对获得连续的位姿信息。

2、本专利技术提供一种内窥镜定位方法，包括：

3、基于预训练的深度提取网络获取真实内窥镜采集的第t帧图像的深度图像

4、获取虚拟内窥镜在目标虚拟模型中t-n帧定位位姿处采集的第 t-n帧目标虚拟图像的深度图像dt-n，或基于预训练的所述深度提取网络获取所述真实内窥镜采集的第t-n帧图像的深度图像其中，所述虚拟内窥镜是基于所述真实内窥镜确定的；

5、将所述深度图像和所述深度图像dt-n或将所述深度图像和所述深度图像输入预训练的深度配准网络，得到所述真实内窥镜采集第t帧图像与采集第t-n帧图像时的相对位姿估计信息

6、将所述相对位姿估计信息与所述真实内窥镜采集第t-n 帧图像时的位姿估计信息叠加，获得所述真实内窥镜采集第t帧图像的位姿估计信息并根据所述位姿估计信息对所述真实内窥镜进行定位。

7、根据本专利技术提供的一种内窥镜定位方法，所述深度提取网络为基于循环生成对抗网络和预训练的所述深度配准网络的深度提取网络，所述循环生成对抗网络包括第一生成器、第一判别器、第二生成器和第二判别器，所述第一生成器用于将深度图像转换为真实风格的内窥镜图像，所述第二生成器用于将真实风格的内窥镜图像转换为深度图像；

8、基于循环生成对抗网络和所述深度配准网络的所述深度提取网络是通过下述方式训练得到的：

9、建立虚拟模型，获取所述虚拟内窥镜在所述虚拟模型中采集的虚拟图像的深度图像并获取采集所述虚拟图像时所述虚拟内窥镜对应的虚拟位姿信息；

10、获取预设真实内窥镜图像；

11、将所述预设真实内窥镜图像、所述虚拟图像的深度图像和所述虚拟位姿信息作为训练数据对初始深度提取网络进行弱监督训练；

12、基于对所述初始深度提取网络进行约束的循环一致性损失、身份损失、生成对抗损失、重建损失、几何一致性损失进行加权求和得到损失函数；

13、优化所述损失函数，更新基于循环生成对抗网络和所述深度配准网络的初始深度提取网络的参数，直至预设轮数，以得到基于循环生成对抗网络和所述深度配准网络的所述深度提取网络。

14、根据本专利技术提供的一种内窥镜定位方法，所述深度提取网络为基于sfmlearner的深度提取网络或基于循环生成对抗网络的深度提取网络；

15、在将所述深度图像和所述深度图像dt-n或将所述深度图像和所述深度图像输入预训练的所述深度配准网络之前，所述方法还包括：

16、对所述深度图像和所述深度图像进行尺度标定以得到所述深度图像和所述深度图像的单位。

17、根据本专利技术提供的一种内窥镜定位方法，所述深度配准网络为通过如下方式训练得到的：

18、建立虚拟模型，获取所述虚拟内窥镜在所述虚拟模型中采集的虚拟图像的深度图像，并获取所述虚拟内窥镜采集所述虚拟图像时对应的虚拟位姿信息；

19、将所述虚拟图像的深度图像输入初始深度配准网络，所述初始深度配准网络输出采集相邻两帧虚拟图像时所述虚拟内窥镜的相对位姿估计信息；

20、将所述虚拟位姿信息作为训练真值，根据所述虚拟位姿信息获得所述虚拟内窥镜采集所述相邻两帧虚拟图像时的虚拟相对位姿信息；

21、通过对所述相对位姿估计信息与虚拟相对位姿信息之间的平移损失和旋转损失进行加权求和得到所述损失函数；

22、优化所述损失函数，更新所述初始深度配准网络的参数，直至收敛，以得到所述深度配准网络。

23、根据本专利技术提供的一种内窥镜定位方法，还包括：

24、采用基于迭代优化算法的配准方法与所述深度配准网络并行运行的方式，根据基于迭代优化算法的配准方法获得修正位姿对所述真实内窥镜的位姿估计信息进行修正，消除累积误差。

25、根据本专利技术提供的一种内窥镜定位方法，根据基于迭代优化算法的配准方法获得修正位姿的方法，包括：

26、获取真实内窥镜采集的第k帧图像作为当前修正图像，并通过所述深度提取网络获取第k帧图像的深度图像其中k≤t；

27、获取基于所述深度配准网络获得的所述真实内窥镜采集第k帧图像的位姿估计信息

28、利用所述当前修正图像、或所述深度图像或所述当前修正图像和所述深度图像对所述真实内窥镜视野中的腔道图像进行语义分割；

29、基于图像相似性测度和语义分割相似性测度，以位姿估计信息为初始值进行优化求解，得到当前修正图像的修正位姿

30、将所述真实内窥镜采集第k帧图像时的位姿估计信息替换为所述修正位姿

31、根据本专利技术提供的一种内窥镜定位方法，根据基于迭代优化算法的配准方法获得修正位姿的方法，包括：

32、获取真实内窥镜采集的第k帧图像作为当前修正图像，并通过所述深度提取网络获取第k帧图像的深度图像其中k≤t；

33、获取所述虚拟内窥镜在所述目标虚拟模型中第k帧定位位姿处采集的第k帧目标虚拟图像的深度图像dk；

34、将所述深度图像转换为对应的点云将所述深度图像dk转换为点云图像yk；

35、通过icp算法求解yk到之间的相本文档来自技高网...

【技术保护点】

1.一种内窥镜定位方法，其特征在于，包括：

2.根据权利要求1所述的内窥镜定位方法，其特征在于，所述深度提取网络为基于循环生成对抗网络和预训练的所述深度配准网络的深度提取网络，所述循环生成对抗网络包括第一生成器、第一判别器、第二生成器和第二判别器，所述第一生成器用于将深度图像转换为真实风格的内窥镜图像，所述第二生成器用于将真实风格的内窥镜图像转换为深度图像；

3.根据权利要求1所述的内窥镜定位方法，其特征在于，所述深度提取网络为基于SfMLearner的深度提取网络或基于循环生成对抗网络的深度提取网络；

4.根据权利要求1所述的内窥镜定位方法，其特征在于，所述深度配准网络为通过如下方式训练得到的：

5.根据权利要求1～4任一项所述的内窥镜定位方法，其特征在于，还包括：

6.根据权利要求5所述的内窥镜定位方法，其特征在于，根据基于迭代优化算法的配准方法获得修正位姿的方法，包括：

7.根据权利要求5所述的内窥镜定位方法，其特征在于，根据基于迭代优化算法的配准方法获得修正位姿的方法，包括：

8.根据权利

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述内窥镜定位方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述内窥镜定位方法。

...

【技术特征摘要】

1.一种内窥镜定位方法，其特征在于，包括：

3.根据权利要求1所述的内窥镜定位方法，其特征在于，所述深度提取网络为基于sfmlearner的深度提取网络或基于循环生成对抗网络的深度提取网络；

4.根据权利要求1所述的内窥镜定位方法，其特征在于，所述深度配准网络为通过如下方式训练得到的：

5.根据权利要求1～4任一项所述的内窥镜定位方...

【专利技术属性】
技术研发人员：刘宏斌，田庆瑶，张子惠，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人