基于深度相机的3D图像传输及重建方法技术

本发明专利技术公开的本发明专利技术实施例提供的3D图像传输及重建方法，涉及图像处理技术领域，通过发送端根据相机标定方法，获取深度相机的内参及外参，持续获取同一时刻下、同一场景的深度图像和彩色图像并组合深度图像及彩色图像，生成混合帧图像，对混合帧图像进行编码，将内参、外参及混合帧图像发送至接收端；接收端接收该混合帧图像并对混合帧图像进行解码，得到混合帧图像对应的深度图像和彩色图像并对深度图像进行去噪及三角化处理，将深度图像的各个像素坐标投影到彩色图像中，得到3D图像，提高了3D图像的压缩比、恢复质量、重建效率及实用性。

Method of 3D Image Transmission and Reconstruction Based on Depth Camera

【技术实现步骤摘要】
基于深度相机的3D图像传输及重建方法
本专利技术属于图像处理
，具体涉及一种基于深度相机的3D图像传输及重建方法。
技术介绍
目前，3D图像的应用前景巨大，尤其在虚拟现实技术中，3D图像是虚拟现实系统中主要处理的数据对象。对于3D图像的获取，最直接的办法是通过消费级的深度相机同步获取深度视频流和彩色视频流，然后通过三维重建技术得到高质量的三维模型。随着5G等通信技术的发展，3D图像可以跨越地域限制，得到与2D视频相同甚至更多的应用前景。申请号为CN201110403735.5的专利申请公开了一种基于深度模板的2D视频转3D图像传输及重建方法，该方法将2D视频中的深度图部分根据一个深度模板和一个平滑模板将深度数据编码加入到视频序列的图像头中，解码端利用两个模板和解码图像恢复出深度图，然后利用深度图重建出另一个视点图像。该方法主要针对的是多视角加深度图的格式来表示编码的3D图像，同时针对深度图编码部分需要两个模板，同时编码过程有较大的压缩，不适合于模型的三维重建。申请号为CN00815807.X的专利申请公开了一种深度图压缩的方法，该方法包括：确定深度图中至少一个物体的边界，将曲线本文档来自技高网...

【技术保护点】
1.一种基于深度相机的3D图像传输方法，适用于发送端，其特征在于，包括：根据相机标定方法，获取深度相机的内参及外参，其中，所述内参包括彩色图像相机的内参矩阵Krgb、深度图像相机的内参矩阵Kir、深度图像相机到彩色图像相机的3×3旋转矩阵Rir2rgb及深度相机到彩色相机的平移向量tir2rgb，其中，tir2rgb＝(xir2rgb,yir2rgb,zir2rgb)

【技术特征摘要】
1.一种基于深度相机的3D图像传输方法，适用于发送端，其特征在于，包括：根据相机标定方法，获取深度相机的内参及外参，其中，所述内参包括彩色图像相机的内参矩阵Krgb、深度图像相机的内参矩阵Kir、深度图像相机到彩色图像相机的3×3旋转矩阵Rir2rgb及深度相机到彩色相机的平移向量tir2rgb，其中，tir2rgb＝(xir2rgb,yir2rgb,zir2rgb)T，xir2rgb，yir2rgb和zir2rgb分别为tir2rgb在横轴、纵轴及竖轴上的三个分量，fx_ir和fy_ir分别为深度相机在横轴、纵轴上的焦距，u0_ir，v0_ir为深度相机主点的像素坐标值；获取同一时刻下、同一场景的深度图像和彩色图像并组合所述深度图像及所述彩色图像，生成混合帧图像；对所述混合帧图像进行编码，将所述内参、所述外参及所述混合帧图像发送至接收端。2.根据权利要求1所述的3D图像传输方法，其特征在于，所述混合帧图像的格式为YUV。3.一种基于深度相机的3D图像重建方法，适用于发送端，其特征在于，包括：接收发送端发送的混合帧图像并对所述混合...

【专利技术属性】
技术研发人员：姜光，焦磊磊，陈子豪，王亦聪，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61