当前位置: 首页 > 专利查询>潘世遗专利>正文

一种能够追踪病灶位置并重点展示病灶图像的基于自监督深度学习的双目三维图像重建并显示的方法技术

技术编号:46561748 阅读:0 留言:0更新日期:2025-10-10 21:14
本发明专利技术涉及一种能够追踪病灶位置并重点展示病灶图像的基于自监督深度学习的双目三维图像重建并显示的方法。主要包括以下步骤:搭建双目内窥镜摄像系统;构建基于MVS框架的卷积神经网络;使用ScanNet数据集等数据集对基于MVS框架的卷积神经网络进行第一轮训练;使用采集的双目图像以及对应的计算深度图作为第二轮训练的数据集,对基于MVS框架的卷积神经网络进行第二轮训练;将双目内窥镜软件摄像系统采集的图像输入到基于MVS框架的卷积神经网络,输出为三维图像以及双目内窥镜在三维图像上轨迹的实时追踪。本发明专利技术不仅提供了操作简单便捷的三维重建方法,也方便了医生对病灶的寻找和更具体的观察,有望提高医生的手术效率。

【技术实现步骤摘要】

本专利技术涉及一种能够追踪病灶位置并重点展示病灶图像的基于自监督深度学习的双目三维图像重建并显示的方法


技术介绍

1、三维内窥镜相比传统内窥镜能够提供三维信息,更能反映场景真实情况,一方面能够让医生在手术过程中感受到三维画面的视觉效果,提供逼真的视觉感受,帮助医生更加准确地操作内窥镜;另一方面三维内窥镜可集成三维测量功能,不仅能够检测出内窥镜前端与观察组织之间的距离,避免在移动内窥镜时使内窥镜太靠近或者无意接触到待检测部位的组织的风险,而且能够对一些病灶目标进行精确的三维测量。相比传统手术过程中医生凭经验判断病灶大小,三维测量的结果无疑给医生提供了快捷可靠的参考,降低了医生的负担,提高了手术的效果。

2、目前,三维重建通常通过单目或者双目相机获得某一场景的左右视图,使用双目匹配算法获得视差图,然后计算得到深度图,获得图像中每一点的三维坐标,进行三维重建。此方法操作简单便捷,但该方法得到的内窥镜三维图像纹理特征较弱,背景与病灶目标颜色近似,极易发生混淆,影响医生对病灶的观察,加大医生的手术难度。

3、深度学习,特别是卷积神经网络(c本文档来自技高网...

【技术保护点】

1.基于自监督深度学习的用于双目内窥镜实时追踪病灶位置并以三维图像重建的形式动态展示病灶图像的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于自监督深度学习的用于双目内窥镜实时追踪病灶位置并以三维图像重建的形式动态展示病灶图像的方法,其特征在于,所述基于MVS框架的卷积神经网络,其构建方法为:

3.根据权利要求1所述的基于自监督深度学习的用于双目内窥镜实时追踪病灶位置并以三维图像重建的形式动态展示病灶图像的方法,其特征在于,所述卷积神经网络输出图像与目标图像的损失函数,其计算公式为:

【技术特征摘要】

1.基于自监督深度学习的用于双目内窥镜实时追踪病灶位置并以三维图像重建的形式动态展示病灶图像的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于自监督深度学习的用于双目内窥镜实时追踪病灶位置并以三维图像重建的形式动态展示病灶图像的方法,其特...

【专利技术属性】
技术研发人员:潘世遗
申请(专利权)人:潘世遗
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1