【技术实现步骤摘要】
基于适应性卷积的RGB-D图像高质量网格生成方法
本专利技术涉及高质量三维网格生成的
，尤其是指一种基于适应性卷积的RGB-D图像高质量网格生成方法。
技术介绍
随着深度传感器在自动驾驶、增强现实、室内导航、安全支付以及场景重建等领域的大量应用，对于高精度的深度信息的获取以及后续高质量三维重建结果的需求变得愈发重要。尽管最近在深度感应技术上已经取得很大的进展，但在一方面商品级RGB-D相机比如MicrosoftKinect，IntelRealSense和GoogleTango等设备仍然存在当被采集表面过于光滑，高光，太过纤细，太过靠近或者远离相机等因素影响下，采集到的深度图像会经常出现深度数据的缺失。而这些情况又在较大的房间，条状物体和强光照射的场景下频繁出现。即使在家中，深度图像也通常缺少超过50％的像素。在另一方面，受限于深度摄像机较低的分辨率，通过传感器数据重建出的点云太过稀疏。这些深度传感器扫描所得到的原始数据可能不太适合上述如三维重建应用的使用。高质量网格数据快速生成主要有两个关键部分：首先，数据补全，即恢复出因各种不利因素带来的深度数据的缺失。然...
【技术保护点】
1.基于适应性卷积的RGB‑D图像高质量网格生成方法，其特征在于，包括以下步骤：1)构建训练数据集；2)数据扩增和归一化；3)构建适应性卷积；4)构建深度图像补全网络和超分辨率网络并进行训练；5)将测试数据依次输入两个训练好的网络中，输出修补好的高分辨率图片并进一步转化成高质量网格。
【技术特征摘要】
1.基于适应性卷积的RGB-D图像高质量网格生成方法，其特征在于，包括以下步骤：1)构建训练数据集；2)数据扩增和归一化；3)构建适应性卷积；4)构建深度图像补全网络和超分辨率网络并进行训练；5)将测试数据依次输入两个训练好的网络中，输出修补好的高分辨率图片并进一步转化成高质量网格。2.根据权利要求1所述的基于适应性卷积的RGB-D图像高质量网格生成方法，其特征在于：在步骤1)中，获取基础数据，包括RGBD数据集NYU-DATASET和RGBD-SCENE-DATASET，NYU-DATASET、RGBD-SCENE-DATASET两个数据包含用kinectv1获取到的室内场景彩色图像IRGB和与之对应的带缺失的深度图像IDinc，并用基于泊松方程和稀疏矩阵的方法对带缺失的深度图像做修复，得到完整的深度图像IDc用于训练。3.根据权利要求1所述的基于适应性卷积的RGB-D图像高质量网格生成方法，其特征在于：在步骤2)中，数据扩增包括水平翻转和对深度图像缺失区域进行膨胀操作，以得到不同缺失比例的训练数据；数据归一化是指对彩色图像，将所有图像像素值缩放到0-1之间，对深度图像，作如下处理：其中，分别代表归一化之前的深度图像中像素的最小值和最大值。4.根据权利要求1所述的基于适应性卷积的RGB-D图像高质量网格生成方法，其特征在于：在步骤3)中，构建适应性卷积层，其适应性卷积的操作如下：其中，xi为张量中的某个点，xj为xi的邻域点，mj为xj对应的掩码，ω为标准卷积操作，b为偏差，⊙代表按元素想乘操作，Ψ(Mi)为权值正则项；适应性卷积给予图像不同区域不同的权重，能让深度网络更好的学习到图像中的有效特征；对于语义填充网络Netfill、边缘增强网络Netrefine以及超分辨率网络Netsr，mj的计算方式各不相同，具体如下：对于语义填充网络Netfill：其中，判断xj是否有效的依据是在当前特征中，xj的值是否为0；对于边缘增强网络Netrefine：其中，判断xj是否有效的依据是在当前RGB图像中，xj与相应滑动窗口中心的像素差异是否小于5个像素值；对于超分辨率网络Netsr：5.根据权利要求1所述的基于适应性卷积的RGB-D图像高质量网格生成方法，其特征在于：在步骤4)中，分别构建用于补全任务的深度图像补全网络和用于超分辨率任务的超分辨率网络并进行训练，具体如下：a、深度图像补全网络补全网络采用了多尺度编码解码网络进行构建，由语义填充网络Netfill以及边缘增强网络Netrefine两部分组成并依次顺序连接，其中，除最后一层之外所有的卷积由适应性卷积替换；对于语义填充网络Netfill，输入带缺失的深度图像IDinc，其张量形式为H*W*1，其中，H为图像的高度，W为图像的宽度；经过Netfill语义补全之后得到完整深度图像IDout，然后将IDout以及彩色图像I...
【专利技术属性】
技术研发人员：张东九，冼楚华，杨煜，钱锟，李桂清，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。