一种基于多台RGBD相机的动态目标重建方法和装置制造方法及图纸

本发明专利技术公开了一种基于多台RGBD相机的动态目标重建方法和装置，多台RGBD相机安装在不同视角的位置，其方法包括获取多台RGBD相机采集的RGB图像和深度图像；利用深度图像和已知的相机内参，生成三维空间的点云；依次取RGB图像与对应预存的背景RGB图像进行帧差处理，得到不同视角的RGB图像的运动目标区域；对各运动目标区域对应的点云进行去噪处理；将去噪处理后的点云从相机坐标系转换至世界坐标系；根据转换至世界坐标系的点云建立三维模型；将不同视角采集的RGB图像的纹理映射至所述三维模型上，得到动态目标三维纹理模型，完成动态目标重建。本发明专利技术可以高效率的重建出动态目标的三维模型，且所构建的三维模型的内容丰富，准确率高。

A method and device for dynamic object reconstruction based on multiple rgbd cameras

【技术实现步骤摘要】
一种基于多台RGBD相机的动态目标重建方法和装置
本申请属于计算机视觉
，具体涉及一种基于多台RGBD相机的动态目标重建方法和装置。
技术介绍
传统基于二维图像的智能监控，缺少真实的三维信息，且在人员定位跟踪、行为识别等应用下，容易丢失目标，鲁棒性差。而三维智能监控，由于其信息更为丰富，具备真实场景下的三维空间信息，其跟踪识别的鲁棒性也能够进一步提升，并且利用重建出的模型进行效果显示，其效果更真实。目前，关于三维智能监控的应用如授权公布号为CN102932638A的专利，其提出了一种基于计算机建模的3D视频监控方法，由监控摄像机采集视频图像信息，以计算机为处理平台，由计算机处理完成由图像向3D模型的转换和3D建模，根据摄像机采集的实时视频图像信息实时更新3D模型的内容，包括运行轨迹、色彩变化、形体变化信息，同时通过计算机内模拟摄像机对模型进行虚拟监控。但该专利建立的3D模型内容有限、准确率低，且建立3D模型的效率低。
技术实现思路
本申请的目的在于提供一种基于多台RGBD相机的动态目标重建方法和装置，可以高效率本文档来自技高网...

【技术保护点】
1.一种基于多台RGBD相机的动态目标重建方法，其特征在于，多台RGBD相机安装在不同视角的位置，所述基于多台RGBD相机的动态目标重建方法，包括：/n步骤1、获取多台RGBD相机采集的RGB图像和深度图像；/n步骤2、利用所述深度图像和已知的相机内参，生成三维空间的点云；/n步骤3、依次取RGB图像与对应预存的背景RGB图像进行帧差处理，得到不同视角的RGB图像的运动目标区域；/n步骤4、对各运动目标区域对应的点云进行去噪处理；/n步骤5、将步骤4去噪处理后的点云从相机坐标系转换至世界坐标系；/n步骤6、根据步骤5转换至世界坐标系的点云建立三维模型；/n步骤7、将不同视角采集的RGB图像的纹...

【技术特征摘要】
1.一种基于多台RGBD相机的动态目标重建方法，其特征在于，多台RGBD相机安装在不同视角的位置，所述基于多台RGBD相机的动态目标重建方法，包括：
步骤1、获取多台RGBD相机采集的RGB图像和深度图像；
步骤2、利用所述深度图像和已知的相机内参，生成三维空间的点云；
步骤3、依次取RGB图像与对应预存的背景RGB图像进行帧差处理，得到不同视角的RGB图像的运动目标区域；
步骤4、对各运动目标区域对应的点云进行去噪处理；
步骤5、将步骤4去噪处理后的点云从相机坐标系转换至世界坐标系；
步骤6、根据步骤5转换至世界坐标系的点云建立三维模型；
步骤7、将不同视角采集的RGB图像的纹理映射至所述三维模型上，得到动态目标三维纹理模型，完成动态目标重建。


2.如权利要求1所述的基于多台RGBD相机的动态目标重建方法，其特征在于，所述依次取RGB图像与对应预存的背景RGB图像进行帧差处理，得到不同视角的RGB图像的运动目标区域，包括：
步骤3.1、计算当前帧RGB图像与对应预存的背景RGB图像的RGB差值图；
步骤3.2、利用阈值对所述RGB差值图进行二值化处理得到二值化图，若RGB差值图中颜色变化最大的值大于阈值，则将当前帧RGB图像二值化为1；否则将当前帧RGB图像二值化为0；
步骤3.3、对所述二值化图进行腐蚀处理；
步骤3.4、对腐蚀处理后的二值化图进行膨胀处理；
步骤3.5、取膨胀处理后的二值化图，若二值化图的二值化结果为1，则将膨胀处理后的二值化图作为目标图像，得到该RGB图像的运动目标区域；否则结束。


3.如权利要求2所述的基于多台RGBD相机的动态目标重建方法，其特征在于，所述对各运动目标区域对应的点云进行去噪处理，包括：
步骤4.1、取RGBD相机采集的深度图像，计算深度图像的水平和垂直Sobel梯度，选取水平和垂直Sobel梯度两者中绝对值最大的值，作为深度图对应点的梯度值；
步骤4.2、判断深度图对应点的梯度值是否大于预设的阈值，若大于阈值则去除该深度图对应点；否则保留该深度图对应点；
步骤4.3、根据RGBD相机中RGB空间三维坐标系与深度三维坐标系的对应关系，将三维点云点投影至所述目标图像上；
步骤4.4、判断三维点云点在所述目标图像上的投影位置是否位于所述运动目标区域内，若位于运动目标区域内则保留点云点；否则去除点云点。


4.如权利要求1所述的基于多台RGBD相机的动态目标重建方法，其特征在于，所述根据步骤5转换至世界坐标系的点云建立三维模型，包括：
步骤6.1、获取转换至世界坐标系的点云的三维坐标；
步骤6.2、计算点云的法向量；
步骤6.3、根据点云的三维坐标和法向量拟合出等值面；
步骤6.4、采用MarchingCubes构造三角面片，形成三维模型。


5.一种基于多台RGBD相机的动态目标重建装置，其特征在于，多台RGBD相机安装在不...

【专利技术属性】
技术研发人员：程球，邹良钰，毛泉涌，文凌艳，张永晋，陈夏燕，
申请(专利权)人：中国电子科技集团公司第五十二研究所，
类型：发明
国别省市：浙江;33