一种双目内窥镜软组织图像的在线三维重建方法技术

本发明专利技术公开了一种双目内窥镜软组织图像的在线三维重建方法，先根据当前采集到的最近一段时间内的双目内窥镜软组织图像序列对深度神经网络模型进行训练并进行在线调整，再利用调整好的深度神经网络模型估计后续帧的双目内窥镜软组织图像的视差，然后通过视差和相机参数得到内窥镜图像像素点的三维空间坐标，从而获得目标区域的三维形态坐标，完成三维图像的在线重建；最后又通过后续帧图像间隔的更新深度神经网络模型，确保重建精度。

An on-line 3D reconstruction method of binocular endoscope soft tissue image

【技术实现步骤摘要】
一种双目内窥镜软组织图像的在线三维重建方法
本专利技术属于图像处理
，更为具体地讲，涉及一种双目内窥镜软组织图像的在线三维重建方法。
技术介绍
传统的开胸手术方式需要剖开胸腔，锯断胸骨，对患者的呼吸功能产生巨大影响。由于胸骨切口张力较高，使得体质较差的患者，术后恢复十分困难。如今，微创手术方式不仅能够降低手术的风险，更能减少病人治疗的痛苦。内窥镜是微创手术中重要的信号采集方式，医生不再需要开胸，仅需在胸壁上打3个小孔，分别放置胸腔镜成像装置、超声波手术刀以及手术废弃物吸收装置对病人进行手术，这样减少了病人的创伤和痛苦，也缩短了术后的康复时间。近年来，内窥镜手术越来越多地应用于心脏外科手术。然而传统内窥镜无法产生直观的三维形态信息，只有经过长期培训的医师才能熟练地利用其进行关键部位的手术。现有内窥镜在使用过程中缺少图像深度感，容易导致医生在手术过程中对重要的解剖结构及其相对的位置产生视觉上的误判，或者致使医生难以准确地判断进刀位置的深浅而操作失误。为了给手术医生提供准确、实时的三维形态信息，国内外学者尝试通过内窥镜获取的立体图像，对立体图像进行三维重建以获得目标区域表面的三维形态。这种方法可以解决无法植入大型三维扫描设备到微创手术空间的问题。这种三维重建方法主要通过相机标定、立体校正、立体匹配来得到图像像素点的三维空间信息，从而重建出目标区域的三维形态。为此，国内外研究人员利用多种经典的空间形变模型对目标区域进行三维重构。例如W.Lau等在文献《Stereo-basedendoscopictrackingofcardiacsurfacedeformation》中使用的B样条模型，D.Stoyanov等在文献《Apracticalapproachtowardsaccuratedense3-Ddepthrecoveryforroboticlaparoscopicsurgery》中使用的分片双线性映射模型，以及R.Richa等在文献《Threedimensionalmotiontrackingforbeatingheartsurgeryusingathin-platesplinedeformablemodel》中使用的薄板样条模型等。然而上述模型通常较为复杂，很难实时应用。而利用一些简单的形变模型虽然可以满足实时性要求，但难以准确描述目标区域的形变从而难以获得精确的三维重建结果。如今，深度学习的快速发展为对立体内窥镜图片进行快速高精度的三维重建方法带来了新思路。越来越多学者以立体图像为输入，用深度学习模型计算出左右图像之间的视差图，从而获取图像的深度信息。Godard在《UnsupervisedMonocularDepthEstimationwithLeft-RightConsistency》中以立体图像对作为输入，通过非监督方法训练出一个自编码模型用于深度估计，AndreaPilzer等在《UnsupervisedAdversarialDepthEstimationusingCycledGenerativeNetworks》中使用生成对抗网络模型来估计深度。AntalB在文献《Automatic3Dpointsetreconstructionfromstereoendoscopicimagesusingdeepneuralnetwork》中使用监督学习的方法训练出一个神经网络，该网络以图像像素亮度作为输入，输出立体内窥镜图像对应的深度图。KeXu在文献《Unsupervisedbinoculardepthpredictionnetworkforlaparoscopicsurgery》中使用自编码器对双目腹腔镜图片进行深度估计，从而重建出腹腔手术部位的三维表面。这些训练好的深度学习模型能够快速计算出输入图像的深度信息，然而这些方法都需要预先存储大量同一目标区域的图片作为模型的训练集去训练模型，再将训练好的模型用于计算目标区域深度，在计算目标深度的过程中模型不再更新。但在对视频序列的三维重建过程中，短时间间隔的视频帧有一定相似性，而长时间间隔的视频帧之间会有较大差异，所以视频开始时采用的深度估计模型经过一段时间后在对视频帧估计深度时误差会逐渐增大，此时就需要根据当前的视频情况更新模型。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种双目内窥镜软组织图像的在线三维重建方法，用深度学习网络替代立体匹配，利用深度学习模型学习左右图像像素关系，找出左右图像间的视差，进而根据相机参数和视差完成三维重建。为实现上述专利技术目的，本专利技术一种双目内窥镜软组织图像的在线三维重建方法，其特征在于，包括以下步骤：(1)、双目内窥镜标定；对双目内窥镜的两个相机进行各自标定，以及两相机之间进行立体标定，从而获得两个相机的内部参数矩阵及两相机之间的外部参数矩阵；(2)、图像采集及预处理；利用双目内窥镜对目标软组织进行图像采集，然后将左右两个相机采集的同一帧图像标记为图像对，再对图像对进行调整，使图像对共面行对准，即左右图像之间仅包括水平视差，没有垂直视差；(3)、训练深度神经网络模型(3.1)、设置深度神经网络模型的最大训练次数N；设置数据集D，用于存储一轮训练需要的K组图像对；设置损失函数阈值T；初始化深度神经网络模型；(3.2)、按照步骤(2)所述方法获取K组图像对，并存储在数据集D；(3.3)、从数据集D中选出一帧图像对开始输入至深度神经网络模型，通过深度神经网络模型计算出左右图像的视差图；(3.4)、对左图像的每个像素点按视差图对应位置的像素值作为平移量进行平移，重建出右图像；(3.5)、构建深度神经网络模型的损失函数l；(3.5.1)、根据重建的右图像与右相机采集的右图像，构建重建损失函数lr；其中I(i,j)表示右相机采集的右图像中坐标为(i,j)的像素点的像素值，I'(i,j)表示重建的右图像中坐标为(i,j)的像素点的像素值；(3.5.2)、对视差图施加一个平滑约束，构成平滑损失函数ls；其中Ex(i,j)表示视差图沿x方向上的梯度图像中坐标为(i,j)的像素点的像素值，Ey(i,j)表示视差图沿y方向上的梯度图像中坐标为(i,j)的像素点的像素值；(3.5.3)、重建损失函数和平滑损失函数构成模型损失函数l；l＝αrlr+αsls其中，αr、αs分别表示重建损失函数和视差平滑损失函数的系数；(3.6)、设置步长P；以模型损失函数值最小为优化目标，利用随机梯度下降法计算模型损失函数的负梯度方向，再将负梯度方向与步长P的乘积作为深度神经网络模型的权重更新量，然后通过反向传播算法更新整个模型权重，从而更新深度神经网络模型；(3.7)、重复步骤(3.3)-(3.6)，利用数据集D中后K-1帧图像对继续训练深度神经网络模型，完成本轮训练；(3.8)、本轮训练完成后，判断当前本轮训练次数是否到达最大训练次数N，或本轮训练完成后模型损失函数值是否小本文档来自技高网...

【技术保护点】
1.一种双目内窥镜软组织图像的在线三维重建方法，其特征在于，包括以下步骤：/n(1)、双目内窥镜标定；/n对双目内窥镜的两个相机进行各自标定，以及两相机之间进行立体标定，从而获得两个相机的内部参数矩阵及两相机之间的外部参数矩阵；/n(2)、图像采集及预处理；/n利用双目内窥镜对目标软组织进行图像采集，然后将左右两个相机采集的同一帧图像标记为图像对，再对图像对进行调整，使图像对共面行对准，即左右图像之间仅包括水平视差，没有垂直视差；/n(3)、训练深度神经网络模型/n(3.1)、设置深度神经网络模型的最大训练次数N；设置数据集D，用于存储一轮训练需要的K组图像对；设置损失函数阈值T；初始化深度神经网络模型；/n(3.2)、按照步骤(2)所述方法获取K组图像对，并存储在数据集D；/n(3.3)、从数据集D中选出一帧图像对开始输入至深度神经网络模型，通过深度神经网络模型计算出左右图像的视差图；/n(3.4)、对左图像的每个像素点按视差图对应位置的像素值作为平移平移量进行平移，重建出右图像；/n(3.5)、构建深度神经网络模型的损失函数l；/n(3.5.1)、根据重建的右图像与右相机采集的右图像，构建重建损失函数l...

【技术特征摘要】
1.一种双目内窥镜软组织图像的在线三维重建方法，其特征在于，包括以下步骤：
(1)、双目内窥镜标定；
对双目内窥镜的两个相机进行各自标定，以及两相机之间进行立体标定，从而获得两个相机的内部参数矩阵及两相机之间的外部参数矩阵；
(2)、图像采集及预处理；
利用双目内窥镜对目标软组织进行图像采集，然后将左右两个相机采集的同一帧图像标记为图像对，再对图像对进行调整，使图像对共面行对准，即左右图像之间仅包括水平视差，没有垂直视差；
(3)、训练深度神经网络模型
(3.1)、设置深度神经网络模型的最大训练次数N；设置数据集D，用于存储一轮训练需要的K组图像对；设置损失函数阈值T；初始化深度神经网络模型；
(3.2)、按照步骤(2)所述方法获取K组图像对，并存储在数据集D；
(3.3)、从数据集D中选出一帧图像对开始输入至深度神经网络模型，通过深度神经网络模型计算出左右图像的视差图；
(3.4)、对左图像的每个像素点按视差图对应位置的像素值作为平移平移量进行平移，重建出右图像；
(3.5)、构建深度神经网络模型的损失函数l；
(3.5.1)、根据重建的右图像与右相机采集的右图像，构建重建损失函数lr；



其中I(i,j)表示右相机采集的右图像中坐标为(i,j)的像素点的像素值，I'(i,j)表示重建的右图像中坐标为(i,j)的像素点的像素值；
(3.5.2)、对视差图施加一个平滑约束，构成平滑损失函数ls；



其中Ex(i,j)表示视差图沿x方向上的梯度图像中坐标为(i,j)的像素点的像素值，Ey(i,j)表示视差图沿y方向上的梯度图像中坐标为(i,j...

【专利技术属性】
技术研发人员：郑文锋，杨波，陈虹蓉，刘珊，曾庆川，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51