内窥镜图像的视差预测模型建立方法及深度估计方法技术

本发明专利技术公开了一种内窥镜图像的视差预测模型建立方法及深度估计方法，属于图像处理领域，包括：建立视差预测网络DEnet，其以双目图像为输入，用于预测对应的左目图像视差图；利用已标注的第一训练数据集对DEnet进行预训练；以预训练后的DEnet为生成器建立生成对抗网络，其中的判别器输入为左目图像及其视差图，视差图由标注得到或生成器预测得到，判别器用于判断输入视差图的来源；利用部分标注的第二训练数据集对生成对抗网络进行训练后，将生成器记为Teacher模型；以预训练后的DEnet为Student模型，利用Teacher模型为第二训练数据集中未标注的样本标注伪标签后对Student模型进行训练，将训练后的Student模型或者Teacher模型作为视差预测模型。本发明专利技术能够有效提高内窥镜图像深度估计的精度。窥镜图像深度估计的精度。窥镜图像深度估计的精度。

【技术实现步骤摘要】
内窥镜图像的视差预测模型建立方法及深度估计方法


[0001]本专利技术属于图像处理领域，更具体地，涉及一种内窥镜图像的视差预测模型建立方法及深度估计方法。

技术介绍

[0002]随着外科手术向微创化的方向发展，内窥镜被大量应用在临床手术中。医生只需在患者体表切开几个创口，将内窥镜伸入患者体内，并在其拍摄图像的引导下操作器械完成手术。相比于传统的开放式手术，微创外科手术具有创口小、痛苦少、恢复快以及感染率低的优点。微创手术中传统内窥镜拍摄的是二维图像。此类图像往往存在畸变大，缺少深度感的缺点。因此无法为医生提供直观的场景深度信息，容易导致医生在手术过程中误判关键部位与器械的相对位置，进而操作失误造成内部器官出血。
[0003]正因上述原因，近年来双目内窥镜在微创手术中得到了大量应用。这种内窥镜使用两个图像采集单元拍摄目标，并将采集的图像传送到特殊的显示设备中，为医生提供三维影像。与此同时，如果能提供手术场景的深度信息，则可以帮助医生更好判断器械与组织的相对位置，大大降低手术风险，缩短手术时间。同时重建的手术场景还可以用于与术前模型配准，手术训练以及增强现实应用等。
[0004]目前使用双目相机进行深度估计的原理是：在双目相机拍摄的两张图像中，找出匹配的对应点，通过计算两张图中对应点像素位置差值得出视差，再根据相机固有参数计算出该点的深度值。传统方法基于以上原理，在自然图像中取得了良好的效果。但这类方法高度依赖于目标纹理，并假设目标表面平滑，而内窥镜图像存在大量反光，并且会出现手术器械、组织器官等距离镜头非常近的物体视差较大，导致重建难度较大。因此使用传统方法对内窥镜拍摄的图像进行重建时，往往会由于反光、器械遮挡以及纹理特征少等因素，导致估计值存在大量误差。
[0005]近年来，卷积神经网络(Convolutional Neural Network，CNN)在包括双目深度估计在内的诸多复杂问题上都取得了良好效果。对于双目深度估计而言，有监督的CNN将上下文信息进行多尺度融合，进而获得较传统方法更好的性能。但训练深度估计网络需要大量深度数据作为标签，这些标签数据在实际中很难获得。尤其是在体内环境中，一般只有少量内窥镜图像具有对应的深度标签。因此，如何利用仅存在稀疏标签的数据集上训练得到能够精确估计内窥镜图像深度的网络模型，是一个亟待解决的问题。

技术实现思路

[0006]针对现有技术的缺陷和改进需求，本专利技术提供了一种内窥镜图像的视差估计模型建立方法及深度估计方法，其目的在于，有效解决由于训练样本过少而导致网络对于内窥镜图像的深度估计精度差的技术问题。
[0007]为实现上述目的，按照本专利技术的一个方面，提供了一种基于稀疏标签的内窥镜图像视差预测模型建立方法，包括：
[0008]建立视差预测网络DEnet，并利用第一训练数据集对视差预测网络DEnet进行预训练；视差预测网络以双目图像为输入，用于预测输入的双目图像中每个像素对应的视差值，得到视差图；第一训练数据集中的样本为已经过畸变矫正和极线矫正，且已标注左目图像视差图的双目图像；
[0009]以预训练后的视差预测网络DEnet为生成器，建立生成对抗网络，并利用第二训练数据集对生成对抗网络进行训练，将训练后的生成对抗网络中的生成器记为Teacher模型；生成对抗网络中，判别器的输入为左目图像及其视差图构成的图像对，其中的图像视差图为标注的视差图，或者由生成器预测得到的视差图，判别器用于判断输入的视差图的来源；第二训练数据集中的样本为已经过畸变矫正和极线校正的双目图像，其中部分样本已标注了左目图像视差图，已标注样本的比例不超过预设的第一阈值，且样本随深度呈长尾分布；
[0010]将Teacher模型作为内窥镜图像视差预测模型，或者，利用Teacher模型预测第二训练数据集中未标注的样本对应的左目图像视差图作为伪标签，得到第三训练数据集；以预训练后的视差预测网络DEnet为Student模型，并利用第三训练数据集对其进行训练，将训练后的Student模型作为内窥镜图像视差预测模型。
[0011]本专利技术所提供的基于稀疏标签的内窥镜图像视差预测模型建立方法，会首先建立用于预测双目图像视差图的视差预测网络DEnet并对其进行预训练；考虑到内窥镜数据集存在大量无标签图像，利用这些无标签图像对预训练后的视差预测网络DEnet进行进一步训练对于保证视差估计精度十分有必要，因此，在本专利技术的其中一个方案中，会将预训练后的视差预测网络DEnet作为生成器，建立生成对抗网络，并利用第二训练数据集对其进行训练，由于第二训练数据集中，仅少部分样本标注了视差图，大部分样本未标注视差图，且样本随深度呈长尾分布，该训练数据集与实际的内窥镜数据集特性一致，利用该训练数据集对预训练后的视差预测网络DEnet进行进一步的半监督训练，将训练后的生成器作为内窥镜图像视差预测模型，能够使模型预测的视差图更接近真实标签的分布，从而有效提高对内窥镜图像视差估计的精度。
[0012]为了进一步提高对内窥镜图像视差估计的精度，在本专利技术的另一个方案中，利用第二训练数据集对预训练后的视差预测网络DEnet做进一步训练后，将训练得到的模型作为Teacher模型，为第二训练数据集中未标注的样本标注伪标签，由于Teacher模型已经具有了较高的视差估计精度，其所标注的伪标签质量较高，因此，经过伪标签标注，能够将该训练数据集转换为与内窥镜图像分布相同、且都标注了标签信息的第三数据集；之后以预训练后的视差预测网络DEnet作为Student模型，利用第三训练数据集对该Student模型进行进一步训练，将训练后的Student模型作为内窥镜图像视差预测模型，视差预测精度得到了进一步提升。
[0013]进一步地，本专利技术提供的基于稀疏标签的内窥镜图像视差预测模型建立方法，内窥镜图像视差预测模型为训练后的Student模型时，以预训练后的视差预测网络DEnet为生成器，建立生成对抗网络，并利用第二训练数据集对生成对抗网络进行训练时，还包括：建立置信度网络，并随生成对抗网络一起训练置信度网络；置信度网络用于预测生成器输出的视差图中各像素视差的置信度；置信度的取值范围为[0,1]，且置信度越高，相应的像素视差的预测结果越准确；
[0014]并且，第三训练数据集对Student模型进行训练时，若输入的样本为标注了伪标签
的双目图像，则利用训练后的置信度网络获得该伪标签中各像素视差的置信度，并在计算相应的损失值时作为像素视差的预测误差的权重。
[0015]虽然Teacher模型在生成对抗网络中判别器的帮助下，可以更好地预测无标签双目图像的视差，但所预测的视差图中仍然存在一定的噪声，本专利技术在训练Teacher模型的同时，会建立并训练置信度网络，用于预测Teacher模型预测的视差图中各像素视差的置信度，在借助Teacher模型标注的伪标签对Student模型进行训练时，会将练置信度网络预测的置信度信息作为伪标签的权重，由此能够有效抑制由于伪标签中的噪声而引入的误差，进一步提高St本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于稀疏标签的内窥镜图像视差预测模型建立方法，其特征在于，包括：建立视差预测网络DEnet，并利用第一训练数据集对所述视差预测网络DEnet进行预训练；所述视差预测网络以双目图像为输入，用于预测输入的双目图像中每个像素对应的视差值，得到视差图；所述第一训练数据集中的样本为已经过畸变矫正和极线矫正，且已标注左目图像视差图的双目图像；以预训练后的视差预测网络DEnet为生成器，建立生成对抗网络，并利用第二训练数据集对所述生成对抗网络进行训练，将训练后的生成对抗网络中的生成器记为Teacher模型；所述生成对抗网络中，判别器的输入为左目图像及其视差图构成的图像对，其中的图像视差图为标注的视差图，或者由生成器预测得到的视差图，所述判别器用于判断输入的视差图的来源；所述第二训练数据集中的样本为已经过畸变矫正和极线校正的双目图像，其中部分样本已标注了左目图像视差图，已标注样本的比例不超过预设的第一阈值，且样本随深度呈长尾分布；将所述Teacher模型作为所述内窥镜图像视差预测模型，或者，利用所述Teacher模型预测所述第二训练数据集中未标注的样本对应的左目图像视差图作为伪标签，得到第三训练数据集；以预训练后的视差预测网络DEnet为Student模型，并利用所述第三训练数据集对其进行训练，将训练后的Student模型作为所述内窥镜图像视差预测模型。2.如权利要求1所述的基于稀疏标签的内窥镜图像视差预测模型建立方法，其特征在于，所述内窥镜图像视差预测模型为训练后的Student模型时，以预训练后的视差预测网络DEnet为生成器，建立生成对抗网络，并利用第二训练数据集对所述生成对抗网络进行训练时，还包括：建立置信度网络，并随所述生成对抗网络一起训练所述置信度网络；所述置信度网络用于预测所述生成器输出的视差图中各像素视差的置信度；所述置信度的取值范围为[0,1]，且置信度越高，相应的像素视差的预测结果越准确；并且，所述第三训练数据集对所述Student模型进行训练时，若输入的样本为标注了伪标签的双目图像，则利用训练后的所述置信度网络获得该伪标签中各像素视差的置信度，并在计算相应的损失值时作为像素视差的预测误差的权重。3.如权利要求2所述的基于稀疏标签的内窥镜图像视差预测模型建立方法，其特征在于，所述内窥镜图像视差预测模型为训练后的Student模型时，利用所述第三训练数据集对所述Student模型进行训练时，若输入的样本为原始的已标注的样本，则相应的损失值为：若输入的样本为标注了伪标签的样本，则相应的损失值为：L
stu
＝C
·
L
sup
(d
s
,DEnet
T
(I
l
,I
r
))；其中，d
s
表示所述Student模型预测的视差值，表示标注的真实视差，DEnet
T
(I
l
,I
r
)表示由所述Teacher模型标注的伪标签，C表示由所述置信度网络输出的伪标签中各像素视差的置信度；L
sup
表示视差预测结果与标注结果之间的误差。4.如权利要求3所述的基于稀疏标签的内窥镜图像视差预测...

【专利技术属性】
技术研发人员：石洪宽，李强，
申请(专利权)人：武汉联影智融医疗科技有限公司，
类型：发明
国别省市：