一种遮挡情况下奶牛体表点云三维重建方法技术

本发明专利技术公开了一种遮挡情况下奶牛体表点云三维重建方法，包括：将俯侧两视角的深度图像转化为点云数据，分割出侧视点云中奶牛躯干部位，检测奶牛侧视点云中奶牛躯干部位的缺失区域，利用侧视图像中奶牛水平位置的变化，将缺失区域补全；利用参考位置首次异常的方法将俯视与侧视视角帧对齐；将同步的俯视点云与补全后的侧视点云拼接配准后，通过检测俯视点云中奶牛背部脊柱位置确定对称平面，利用对称平面将单视角侧视点云镜像对称得到双视角侧视点云，完成奶牛体表点云的三维重建。本发明专利技术提供的遮挡情况下奶牛体表点云三维重建方法，能够将遮挡造成的点云缺失补全，并通过镜像对称获得完整点云，提高了三维重建的精度和效率。提高了三维重建的精度和效率。提高了三维重建的精度和效率。

【技术实现步骤摘要】
一种遮挡情况下奶牛体表点云三维重建方法


[0001]本专利技术涉及三维点云处理
，特别是涉及一种遮挡情况下奶牛体表点云三维重建方法。

技术介绍

[0002]在奶牛的饲养管理过程中，奶牛的一些生长参数，如体尺、体重、体况评分等都是奶牛健康状况的重要监测指标。奶牛的各项体尺数据在一定程度上可以直观评价生产性能的高低及品种优劣；实时监测奶牛的体重可反映日增重、食物转化率等主要指标；奶牛的体况评分为专家选取优良品种提供重要参考。目前，对于上述几项指标，养殖场仍采用人工测量与监测的方式，直接接触奶牛进行测量，不仅会导致奶牛产生应激反应，影响产奶，而且费时费力。
[0003]随着科学技术的发展和应用，机器视觉等技术在实现奶牛的实时无损监测中得到了广泛应用，很多奶牛参数的测量研究需要先将奶牛点云三维重建，然后根据重建后的奶牛点云测量参数，所以三维重建的效果如何对其后续参数的测量与监测影响甚大。
[0004]目前利用机器视觉技术测量与监测家畜的生长参数大多是基于二维图像的研究，奶牛、猪等家畜的体长、体高、体宽等体尺方面的研究已取得较多成果。但有研究表明，家畜胸围、腹围等围度尺寸是体重预测的重要参数，通过三维重建可以较简单地计算围度尺寸，且奶牛的体况评分更需依赖奶牛三维重建的效果。大多研究在获取奶牛数据时都需设置采集通道，采集到的点云难免会因通道栏杆遮挡而部分缺失，甚至有些奶牛关键测点的缺失直接影响体尺测量结果，而将缺失部分用此奶牛的另一帧原始数据补全，可以得到更好的重建效果及更精准的测量结果。
专利技术内容
[0005]本专利技术的目的是提供一种遮挡情况下奶牛体表点云三维重建方法，在遮挡情况下，通过采集深度视频数据，将侧视点云补全，配准俯侧两视角点云后，将单视角侧视点云镜像对称，实现奶牛体表点云的三维重建，提高了三维重建的精度和效率。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种遮挡情况下奶牛体表点云三维重建方法，该方法包括以下步骤：
[0008]S1，设置奶牛单向行走通道，遮挡情况下，分别采集奶牛通过时俯视与某一侧方侧视视角的深度图像，将深度图像转化为点云数据，并分割提取出奶牛体表点云数据；
[0009]S2，基于奶牛体表点云数据，利用点云切片的投影法，分割出侧视点云中奶牛躯干部位点云；
[0010]S3，利用点云切片中点数目的特征曲线，检测奶牛躯干部位点云中的缺失区域；
[0011]S4，选取不同帧的侧视点云与奶牛躯干部位点云拼接配准，利用侧视点云中奶牛水平位置的变化，将奶牛躯干部位点云中的缺失区域补全；
[0012]S5，利用参考位置首次出现异常的帧为对齐帧的方法，将俯视与侧视视角帧对齐，
将同步的俯视点云与补全后的侧视点云拼接配准；
[0013]S6，检测俯视点云中奶牛背部脊柱位置确定对称平面，利用对称平面将单视角侧视点云镜像对称得到双视角侧视点云，完成奶牛体表点云的三维重建。
[0014]进一步的，所述步骤S1，利用KinectV2采集奶牛通过时俯视与某一侧方侧视视角的深度图像。
[0015]进一步的，所述步骤S2中，基于奶牛体表点云数据，利用点云切片的投影法，分割出侧视点云中奶牛躯干部位点云，具体包括：
[0016]将xoy视图下的侧视点云沿X轴横向切分为多个点云切片，投影每个切片的点数目，投影曲线在躯干与四肢的连接处存在投影极小值，将极小值作为奶牛躯干与四肢的分割阈值；
[0017]同理，沿Y轴纵向切分得到侧视点云在Y轴上的投影曲线，奶牛的两个前腿分别对应2个投影极大值，2个极大值中心至牛头最前端距离的3/5作为奶牛躯干与头部的分割阈值；
[0018]基于奶牛躯干与四肢的分割阈值以及奶牛躯干与头部的分割阈值，从侧视点云中分割出奶牛躯干部位点云。
[0019]进一步的，所述步骤S3中，利用点云切片中点数目的特征曲线，检测奶牛躯干部位点云中的缺失区域，具体包括：
[0020]待补全的奶牛躯干部位点云沿Y轴切分为n个小切片，计算n个切片中的点数目C
i
(i＝1,2
…
n)，以n个切片的序号为横坐标，点数目C
i
为纵坐标，得到点云在Y轴方向上点数目的统计图，图中若干个极小值点，即为奶牛躯干部位点云的缺失处；
[0021]根据单向行走通道栏杆的宽度，再将缺失处左右各扩展适当距离为缺失区域。
[0022]进一步的，所述步骤S4中，选取不同帧的侧视点云与奶牛躯干部位点云拼接配准，利用侧视点云中奶牛水平位置的变化，将奶牛躯干部位点云中的缺失区域补全，具体包括：
[0023]选取深度图像中两帧侧视视角图像，一帧为待补全图像，另一帧为侧补图像，两帧图像中的奶牛躯干呈笔直状，侧补图像中的奶牛位置与待补全的图像帧中位置在水平方向上有差异；
[0024]将图像转换为点云后，利用步骤S2分别提取两帧点云的奶牛躯干部位点云，并利用步骤S3检测出待补全点云中奶牛躯干部位点云缺失区域；
[0025]利用迭代最近点算法将两帧侧视点云拼接配准，待补全点云中奶牛躯干部位点云缺失区域利用侧补点云相应位置的点云数据补全。
[0026]进一步的，所述步骤S5中，利用参考位置首次出现异常的帧为对齐帧的方法，将俯视与侧视视角帧对齐，将同步的俯视点云与补全后的侧视点云拼接配准，具体包括：
[0027]先将俯视和侧视两视角下不含奶牛的背景点云拼接配准，然后选取采集通道中间位置为参考位置，即：
[0028][0029]其中，y
max
为采集通道在Y坐标上的最大值，y
min
为采集通道在Y坐标上的最小值，按时间顺序逐帧判断侧视帧，在Y＝y'处首先出现点云异常的帧，即奶牛首次到达指定参考位置，则该侧视帧判定为对齐帧；
[0030]同理，判定出俯视对齐帧，通过两帧对齐的方式，将俯视和侧视两视角下所有帧对齐，实现帧同步。
[0031]进一步的，所述步骤S6中，检测俯视点云中奶牛背部脊柱位置确定对称平面，具体包括：
[0032]将补全后的侧视点云与同步的俯视点云拼接配准后，将俯视点云的躯干部位均匀分为左、中、右3部分，分别在左侧点云和右侧点云中查找X坐标最小的点，所得两点即为奶牛背部脊柱上的两点D1(X
d1
,Y
d1
,Z
d1
)与D2(X
d2
,Y
d2
,Z
d2
)；
[0033]采集数据的上方相机镜头与地面平行，所以所求对称平面应与俯视点云坐标系中YOZ平面垂直，根据上述计算得到对称平面方程：
[0034]z＝N-My
[0035]其中，
[0036][0037]N＝MY
d1
+Z
d1
[0038]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：本专利技术提供的遮挡情况下奶牛体表点云本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种遮挡情况下奶牛体表点云三维重建方法，其特征在于，包括以下步骤：S1，设置奶牛单向行走通道，遮挡情况下，分别采集奶牛通过时的俯视与某一侧方侧视视角的深度图像，将深度图像转化为点云数据，并分割提取出奶牛体表点云数据；S2，基于奶牛体表点云数据，利用点云切片的投影法，分割出侧视点云中奶牛躯干部位点云；S3，利用点云切片中点数目的特征曲线，检测奶牛躯干部位点云中的缺失区域；S4，选取不同帧的侧视点云与奶牛躯干部位点云拼接配准，利用侧视点云中奶牛水平位置的变化，将奶牛躯干部位点云中的缺失区域补全；S5，利用参考位置首次出现异常的帧为对齐帧的方法，将俯视与侧视视角帧对齐，将同步的俯视点云与补全后的侧视点云拼接配准；S6，检测俯视点云中奶牛背部脊柱位置确定对称平面，利用对称平面将单视角侧视点云镜像对称得到双视角侧视点云，完成奶牛体表点云的三维重建。2.根据权利要求1所述的遮挡情况下奶牛体表点云三维重建方法，其特征在于，所述步骤S1，利用KinectV2采集奶牛通过时的俯视与某一侧方侧视视角的深度图像。3.根据权利要求1所述的遮挡情况下奶牛体表点云三维重建方法，其特征在于，所述步骤S2中，基于奶牛体表点云数据，利用点云切片的投影法，分割出侧视点云中奶牛躯干部位点云，具体包括：将xoy视图下的侧视点云沿X轴横向切分为多个点云切片，投影每个切片的点数目，投影曲线在躯干与四肢的连接处存在投影极小值，将投影极小值作为奶牛躯干与四肢的分割阈值；同理，沿Y轴纵向切分得到侧视点云在Y轴上的投影曲线，奶牛的两个前腿分别对应2个投影极大值，2个投影极大值极大值中心至牛头最前端距离的3/5作为奶牛躯干与头部的分割阈值；基于奶牛躯干与四肢的分割阈值以及奶牛躯干与头部的分割阈值，从侧视点云中分割出奶牛躯干部位点云。4.根据权利要求1所述的遮挡情况下奶牛体表点云三维重建方法，其特征在于，所述步骤S3中，利用点云切片中点数目的特征曲线，检测奶牛躯干部位点云中的缺失区域，具体包括：待补全的奶牛躯干部位点云沿Y轴切分为n个小切片，计算n个切片中的点数目C
i
(i＝1,2
…
n)，以n个切片的序号为横坐标，点数目C
i
为纵坐标，得到点云在Y轴方向上点数目的统计图，图中若干个极小值点，即为奶牛躯干部位点云的缺失处；根据单向行走通道栏杆的宽度，再将缺失处左右各扩展适当距离为缺失区域...

【专利技术属性】
技术研发人员：司永胜，初梦苑，王克俭，韩宪忠，
申请(专利权)人：河北农业大学，
类型：发明
国别省市：