基于RGB-D相机的动物体三维模型重构系统及方法技术方案

本发明专利技术公开了一种基于RGB

【技术实现步骤摘要】
基于RGB
‑
D相机的动物体三维模型重构系统及方法


[0001]本专利技术涉及一种动物养殖技术，尤其涉及一种基于RGB
‑
D相机的动物体三维模型重构系统及方法。

技术介绍

[0002]在养殖过程中，动物的体尺参数是衡量动物生长发育状况、生产性能和遗传特性的关键指标。目前，动物体尺的测量主要通过是工作人员用标尺、卷尺、圆规等工具直接测量，这种方法费时费力，不但主观性强，而且也容易使被测量的动物产生应激反应，对于动物和人都存在着潜在的危险和伤害。此外，这种接触式测量方法对动物的生理和心理健康都存在潜在的风险。
[0003]为避免上述问题，近年来利用三维模型对动物建模这种非接触式测量悄然兴起，且利用动物的三维模型可以快速、准确、高效的获取动物的体尺信息。因此，研究动物三维模型构建方法具有重要的现实意义。
[0004]目前，动物体三维模型重建方法主要有两种：基于图像的重建方法和基于三维点云的重建方法。立体视觉(Stereo vision，SV)和运动生成结构(Structure from motion，SFM)是比较常见的基于RGB图像进行三维重建的方法。SV利用两个或以上相机同时拍摄同一场景，然后利用人眼视差原理进行三维结构的还原；SFM是利用一个相机通过不断的改变拍摄角度，然后利用与SV相同的原理进行三维结构的重建。故基于图像三维重建方法对相机拍摄的图像内容和质量有一定要求，为了精准还原目标，各幅图像之间需要存在一定的重合度；而且拍摄的图像容易受到光线的影响，对拍摄环境要求较高。
[0005]利用可以生成三维点云的扫描设备实现目标的三维重构是当前另外一种比较流行的方法，常用的扫描设备有激光雷达LiDAR、TLS、ALS，RGB
‑
D相机等。三维扫描设备一般利用TOF原理或移相扫描原理对目标进行扫描，通过将目标数字化并记录每个点云的扫描距离将其表示为三维坐标。与基于图像的方法相比，这种方法受外界光线影响较小，抗干扰能力相对较强，更适用于养殖环境。故在养殖场等环境下，专利技术一种基于RGB
‑
D(深度)相机的快速准确的动物体三维模型快速重构方法及系统非常必要。

技术实现思路

[0006]本专利技术的目的是提供一种基于RGB
‑
D相机的动物体三维模型重构系统，利用一个相机的世界坐标系作为统一坐标系，计算其他相机相对于这个坐标系的旋转矩阵和平移向量去拼接点云的方法，可通过非接触方法，快速地、精确地重建出目标区域内目标动物的三维模型，算法简单，计算量小，且可以达到较高的精度。
[0007]为实现上述目的，本专利技术提供了一种基于RGB
‑
D相机的动物体三维模型重构系统，包括动物检测通道以及沿动物前进的方向依次布置于所述动物检测通道内部的检测机构和耳标读取机构，所述检测机构和所述耳标读取机构均与终端相通讯；
[0008]所述检测机构包括至少两个错位分布且用于采集三维点云数据的深度相机，所述
深度相机包括彩色成像部分和深度成像部分。
[0009]优选的，所述检测机构包括三个所述深度相机；
[0010]三个所述深度相机分别为安装于所述动物检测通道顶端的顶部深度相机和安装于动物检测通道两侧的两个侧部深度相机。
[0011]优选的，所述耳标读取机构为RFID耳标读取仪。
[0012]基于RGB
‑
D相机的动物体三维模型重构系统的方法，包括以下步骤：
[0013]S1、深度相机标定；
[0014]S2、相机位置评估
[0015]S20、获得深度相机内部参数矩阵H_rgb、深度相机成像的内部参数矩阵H_ir、旋转矩阵R_ir和平移向量T_ir；
[0016]S21、计算三个深度相机获取的点云之间的转换关系；
[0017]S3、获取彩色三维点云；
[0018]S4、点云融合；
[0019]S5、点云滤波；
[0020]S6、提取目标动物点云；
[0021]S7、获得目标动物的三维建模。
[0022]优选的，步骤S1具体包括以下步骤：
[0023]S10、调整深度相机和与其对应的棋盘格标定板的相对位置；
[0024]S11、当耳标读取机构采集到目标动物完全进入动物检测通道后，触发三个深度相机采集目标动物的红外信息和彩色信息，获取多幅红外图像和彩色图像；
[0025]S12、利用Camera Calibration软件包在matlab软件中对红外图像和彩色图像进行标定处理；
[0026]S13、分别将多幅红外图像和彩色图像导入matlab中，Camera Calibration得出每幅图像的标定误差和平均标定误差；
[0027]如果平均标定误差大于设定误差，则从标定误差最大的图像开始，按照标定误差的降序依次将图像删除，直到平均标定误差小于设定误差。
[0028]优选的，步骤S21具体包括以下步骤：
[0029]S210、计算两个侧部深度相机获取的点云之间的转换关系:
[0030][0031][0032]其中，θ1为两个侧部深度相机平面之间的夹角，即180
°
；L1为两个侧部深度相机平面之间的距离；R1是两个侧部深度相机之间的旋转矩阵，T1是两个侧部深度相机之间的平移向量；
[0033]带入θ1和L1的值计算获得两个侧部深度相机获取的点云之间的转换关系：
[0034][0035]S211、计算任一侧部深度相机和顶部深度相机获取的点云之间的转换关系：
[0036][0037][0038]其中，θ2为侧部深度相机和顶部深度相机平面之间的夹角，即90
°
，L2为侧部深度相机中心到顶部深度相机的水平距离，h1为侧部深度相机的高度，h2为顶部深度相机的高度，R2是顶部深度相机和侧部深度相机之间的旋转矩阵，T2是顶部深度相机和侧部深度相机之间的平移向量；
[0039]带入θ2、L2、h1和h2的值计算此侧部深度相机和顶部深度相机获取的点云之间的转换关系：
[0040][0041]优选的，步骤S3具体包括以下步骤：
[0042]S30、利用深度相机的内参作为约束条件，将深度相机获取的深度数据转换为世界坐标系中的三维点云：
[0043][0044]其中，[H_ir]‑1是深度相机内参矩阵H_ir的逆矩阵；p_ir是深度相机获取的深度图像中的某个像素的深度信息，D为深度数值，x'、y'分别是该深度值在深度图像中的行和列位置；P_ir是将原始深度像素转换到世界坐标系中的转换深度像素，x_ir、y_ir、z_ir分别表示转换后深度值在世界坐标系中的三维空间位置；
[0045]S31、将世界坐标系中的深度三维点云数据转换到彩色相机坐标系中：
[0046]P
‑
rgb＝R*P
‑
ir+T
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RGB
‑
D相机的动物体三维模型重构系统，其特征在于：包括动物检测通道以及沿动物前进的方向依次布置于所述动物检测通道内部的检测机构和耳标读取机构，所述检测机构和所述耳标读取机构均与终端相通讯；所述检测机构包括至少两个错位分布且用于采集三维点云数据的深度相机，所述深度相机包括彩色成像部分和深度成像部分。2.根据权利要求1所述的基于RGB
‑
D相机的动物体三维模型重构系统，其特征在于：所述检测机构包括三个所述深度相机；三个所述深度相机分别为安装于所述动物检测通道顶端的顶部深度相机和安装于动物检测通道两侧的两个侧部深度相机。3.根据权利要求1所述的基于RGB
‑
D相机的动物体三维模型重构系统，其特征在于：所述耳标读取机构为RFID耳标读取仪。4.一种基于上述权利要求1
‑
3任一项所述的基于RGB
‑
D相机的动物体三维模型重构系统的方法，其特征在于：包括以下步骤：S1、深度相机标定；S2、相机位置评估S20、获得深度相机内部参数矩阵H_rgb、深度相机成像的内部参数矩阵H_ir、旋转矩阵R_ir和平移向量T_ir；S21、计算三个深度相机获取的点云之间的转换关系；S3、获取彩色三维点云；S4、点云融合；S5、点云滤波；S6、提取目标动物点云；S7、获得目标动物的三维建模。5.根据权利要求4所述的基于RGB
‑
D相机的动物体三维模型重构系统的方法，其特征在于：步骤S1具体包括以下步骤：S10、调整深度相机和与其对应的棋盘格标定板的相对位置；S11、当耳标读取机构采集到目标动物完全进入动物检测通道后，触发三个深度相机采集目标动物的红外信息和彩色信息，获取多幅红外图像和彩色图像；S12、利用Camera Calibration软件包在matlab软件中对红外图像和彩色图像进行标定处理；S13、分别将多幅红外图像和彩色图像导入matlab中，Camera Calibration得出每幅图像的标定误差和平均标定误差；如果平均标定误差大于设定误差，则从标定误差最大的图像开始，按照标定误差的降序依次将图像删除，直到平均标定误差小于设定误差。6.根据权利要求5所述的基于RGB
‑
D相机的动物体三维模型重构系统的方法，其特征在于：步骤S21具体包括以下步骤：S210、计算两个侧部深度相机获取的点云之间的转换关系:
其中，θ1为两个侧部深度相机平面之间的夹角，即180
°
；L1为两个侧部深度相机平面之间的距离；R1是两个侧部深度相机之间的旋转矩阵，T1是两个侧部深度相机之间的平移向量；带入θ1和L1的值计算获得两个侧部深度相机获取的点云之间的转换关系：S211、计算任一侧部深度相机和顶部深度相机获取的点云之间的转换关系：S211、计算任一侧部深度相机和顶部深度相机获取的点云之间的转换关系：其中，θ2为侧部深度相机和顶部深度相机平面之间的夹角，即90
°
，L2为侧部深度相机中心到顶部深度相机的水平距离，h1为侧部深度相机的高度，h2为顶部深度相机的高度，R2是顶部深度相机和侧部深度相机之间的旋转矩阵，T2是顶部深度相机和侧部深度相机之间的平移向量；带入θ2、L2、h1和h2的值计算此侧部深度相机和顶部深度相机获取的点云之间的转换关系：7.根据权利要求6所述的基于RGB
‑

【专利技术属性】
技术研发人员：程曼，范才虎，袁洪波，张英杰，刘月琴，蔡振江，
申请(专利权)人：河北农业大学，
类型：发明
国别省市：