基于自监督深度网络的无损血管三维测量方法技术

本发明专利技术公开了一种基于自监督深度网络的无损血管三维测量方法，基于视差预测网络SsBMNet，构建自监督深度网络的无损血管三维测量模型；搭建双目血管三维成像系统，采集真实血管图像数据，预处理后训练无损血管三维测量模型；采集待成像的血管图像对，预处理后输入训练好的无损血管三维测量模型，得到左视差图和右视差图；根据双目相机间的基线距离以及相机焦距，将待成像血管对应的左视差图或右视差图转换为深度图。本发明专利技术降低了网络训练的噪声和皮肤反射的干扰，改善了视差。

A non-destructive three-dimensional measurement method of blood vessels based on self-monitoring depth network

【技术实现步骤摘要】
基于自监督深度网络的无损血管三维测量方法
本专利技术涉及计算机视觉技术，具体涉及一种基于自监督深度网络的无损血管三维测量方法。
技术介绍
目前血管的穿刺技术发展缓慢，主要是由于现有非侵入的三维成像难度大。非侵入的三维成像通过非侵入立体匹配获得三维成像，主要分为图像获取、极线校正、立体匹配、距离计算四个步骤。该方法通过双相机获取同一场景左右图像，通过对左右图像进行双目标定来消除垂直方向上的视差，然后只需要在水平上对经过极线矫正的立体图像对匹配视差，就能获得三维成像。虽然不需要深度标记数据约束，但是由于传统特征表征和匹配算法能力有限，三维成像效果较差。最近几年深度学习给各种视觉任务提供了多种解决方案，加上标记数据比较容易获得，监督网络在许多视觉任务中有着卓越的表现。在双目立体监督网络中，先对左右图像进行特征提取，再进行左右代价计算和聚合，最终利用标记好的视差数据通过监督训练得到视差结果。由于利用了深度网络无监督学习的特性，根据网络的标记样本，网络可以最大程度挖掘左右图像特征。但是绝大多数的深度学习方法需要大量的真实深度标记数据来约束网络的训本文档来自技高网...

【技术保护点】
1.基于自监督深度网络的无损血管三维测量方法，其特征在于，具体步骤如下：/n步骤1，基于视差预测网络SsBMNet，构建自监督深度网络的无损血管三维测量模型；/n步骤2，搭建双目血管三维成像系统，采集真实血管图像数据，预处理后训练无损血管三维测量模型；/n步骤3、采集待成像的血管图像对，预处理后输入训练好的无损血管三维测量模型，得到左视差图和右视差图；/n步骤4、根据双目相机间的基线距离以及相机焦距，将待成像血管对应的左视差图或右视差图转换为深度图。/n

【技术特征摘要】
1.基于自监督深度网络的无损血管三维测量方法，其特征在于，具体步骤如下：
步骤1，基于视差预测网络SsBMNet，构建自监督深度网络的无损血管三维测量模型；
步骤2，搭建双目血管三维成像系统，采集真实血管图像数据，预处理后训练无损血管三维测量模型；
步骤3、采集待成像的血管图像对，预处理后输入训练好的无损血管三维测量模型，得到左视差图和右视差图；
步骤4、根据双目相机间的基线距离以及相机焦距，将待成像血管对应的左视差图或右视差图转换为深度图。


2.根据权利要求1所述的基于自监督深度网络的无损血管三维测量方法，其特征在于，步骤1中，构建的无损血管三维测量模型包括2D-CNN特征提取层、CostVolume代价卷、3D-CNN卷积和SoftArgmin回归四个模块，所述特征提取层用于对输入数据进行二维卷积，得到左右深层特征图；所述代价卷用于将左右特征图有序堆叠形成四维代价卷；所述三维卷积和回归用于对代价卷进行三维卷积，并回归输出预测视差，包括左视差图和右视差图，从而换算出深度。


3.根据权利要求1所述的基于自监督深度网络的无损血管三维测量方法，其特征在于，步骤2中，搭建的双目血管三维成像系统，包括850nm的LED光源、多光谱滤光双目basler相机、投影仪和计算卡TX2，850nm波段的LED光源照射待成像区域，被照区域反射光通过带有850nm窄带滤光片的双目basler相机，通过触发信号同时采集左右数据，形成血管图像对。


4.根据权利要求1所述的基于自监督深度网络的无损血管三维测量方法，其特征在于，步骤2中，对图像预处理的过程为：先对采集的血管图像对进行基线校正，即利用张正友标定法对图像对进行极线矫正，归一化到0到1；然后对经过基线校正的图像样本进行滤波。


5.根据权利要求4所述的基于自监督深度网络的无损血管三维测量方法，其特...

【专利技术属性】
技术研发人员：韩静，柏连发，张毅，王其鑫，陈霄雨，于浩天，葛锦洲，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32