【技术实现步骤摘要】
本专利技术涉及计算机视觉，具体为一种基于两张rgb图像的人体身高测量方法。
技术介绍
1、基于视觉的三维测量，是根据拍摄图像对被测物体进行全方位测量，以确定目标物体的真实三维几何信息，其优势在于速度快、精度高、环境适应性强、对待测物体表面无损伤，弥补了接触式三维测量的诸多缺陷与不足。物体高度测量是三维测量范畴中的一项重要技术，其在文物数字化保护、工业工程测量、自然灾害调查、数字城市地形可视化等领域都有着广泛的应用前景。
2、按照光源形式，视觉三维测量通常可分为主动视觉测量和被动视觉测量。被动视觉测量一般是在自然光照的条件下，通过对摄像机多角度获取到的被测物体图像进行匹配，计算得到被测物体的三维信息。由于被测物体表面纹理复杂程度不同，直接影响到测量的难度和精度。随着被测对象复杂程度的不断提高，致使匹配问题成为被动视觉测量技术发展的一大挑战。主动视觉测量则利用特定的光束装置快速扫描被测物体，光编码技术有效解决了被动视觉测量中的匹配难题，可直接获得的稠密的高精度三维点云数据。近几年随着三维扫描技术不断发展，三维视觉设备也逐渐商业化，主动视觉测量已经成为当前研究热点之一。
3、物体高度是指物体顶点到物体所处参考平面的垂直距离，测量物体高度就是计算物体三维点云在参考平面法向量上投影的最大距离，这就意味着三维点云数据的准确性和参考平面的拟合精度直接影响着测量结果。通常，三维点云坐标可通过相机内参数矩阵结合深度图像中存储的深度值进行反投影计算得到，参考平面的法向量则根据pca等常规拟合方法对参考平面的三维点集拟合获得，
技术实现思路
1、(一)解决的技术问题
2、针对现有技术的不足，本专利技术提供了一种基于两张rgb图像的人体身高测量方法，设计一种被动式三维测量方法，以少量的图片进行人体身高测量，同时兼顾测量速度和精度，利用简单的rgb相机进行数据获取，价格低廉，使用cpu就可完成算法部署，相比深度学习模型，可以节约成本，提出ransac-pca方法求解参考平面法向量，可以过滤大量噪声。
3、(二)技术方案
4、为实现以上目的，本专利技术通过以下技术方案予以实现：一种基于两张rgb图像的人体身高测量方法，所述方法包括如下步骤：
5、步骤1背景采集及参数标定采集测量场景的固定背景图像，并在采集的过程中标定相机的各项参数；
6、步骤2物体前景提取基于帧间差分法，对rgb图像进行物体前景提取，并计算物体轮廓；
7、步骤3利用sfm算法求得三维空间点云，利用mvs算法求得深度图，使用ransac-pca迭代拟合方法求解参考平面的法向量；
8、步骤4进行物体高度计算，对物体前景对应的深度图进行直方图滤波并转化为三维点云坐标，将物体三维点云坐标投影到步骤3中拟合的参考平面法向量上，计算物体的实际高度。
9、优选的，背景采集及参数标定在测量开始之前，提前采集测量场景的rgb图像作为背景图像，并标定所使用相机的各项参数，为后续工作提供支持，相机参数由相机提供的sdk端口函数确定，根据需求分别确定并记录相机彩色图像的内参数矩阵k，在相机开机曝光稳定后进行背景图像的采集，拍摄场景保存为背景帧，然后拍摄包含人体的图像作为前景帧。
10、优选的，物体前景提取首先利用sfm算法将两张rgb图像中的特征点还原为三维点云，接着再利用mvs算法生成图像对应的深度图，记录深度像素值转换比例s。
11、优选的，采用简单的帧间差分法即可快速提取效果较好的前景图像，将采集到rgb图像与预先采集好的背景帧图像进行差分计算，然后对计算结果进行二值化处理，即获得如图3所示前景图像，在此基础上对前景区域进行形态学滤波去除噪声，获得前景最大连通域以方便对前景轮廓的提取；
12、依赖opencv计算机视觉库中轮廓检索函数对前景图像进行外部轮廓提取计算，获得外部轮廓掩码图像如图2所示，由于本文提前将相机与参考平面垂直固定，所以只需对轮廓掩码图像进行简单的按序搜索便可确定轮廓顶部与底部的像素点位置，轮廓掩码图像中非零像素点的首尾行分别对应轮廓中顶部与底部像素点集的像素坐标。
13、优选的，参考平面拟合过程中，在简单无遮挡背景下，将物体轮廓底部至图像下边界之间的所有像素点都设置为参考平面像素点集合，对参考平面像素集合对应的深度信息进一步处理，获得参考平面的几何参数用于之后的高度计算。
14、优选的，三维重构由mvs算法获取的深度图像是在二维图像中存储三维信息，将二维图像中的像素点集合恢复成三维空间中的点云，进一步对目标各个尺寸信息进行测量，二维图像中像素点表示为p＝(u，v)，对应的齐次坐标为相机坐标系下三维空间中的点表示为p＝(x，y，z)，对应的齐次坐标为世界坐标系下三维空间中的点表示为pw＝(x，y，z)，对应的齐次坐标为根据传统的透视摄像机模型，世界坐标系下空间中点pw和它的图像点p存在如下关系：
15、
16、其中λ为非零尺度因子，即深度图像中各像素点存储的深度值的倒数，k为提前标定好的摄像机内参数矩阵，fx，fy分别对应相平面x，y轴焦距，图像中心像素点坐标为(cx，cy)；
17、
18、[r|t]是摄像机的旋转平移矩阵，mvs立体匹配之后的深度图像中已包含稠密的深度信息，不再需要将多张彩色图像配准以获取像素点的实际三维坐标，所以不用考虑相机的旋转平移，相机的内参数矩阵在背景图像采集过程中确定，结合深度图像中深度值信息，将二维图像点恢复到以相机光心为坐标原点的三维空间中，转换过程如下式：
19、
20、对深度图像进行简单的滤波降噪后，使用上述公式重构参考平面及物体前景的三维点云。
21、优选的，平面拟合在获得参考平面三维点云之后，确定点集满足的参考平面即确定该平面的法向量n和平面中心点q＝(0，0，0)，平面上三维点pi满足下式：
22、
23、在实际数据中上式无法严格满足时，将平面拟合转化为最小二乘问题求解；
24、
25、主成分分析(pca)方法依赖svd奇异值分解对最小二乘问题进行快速求解，但立体匹配获取的深度图像数据存在不可忽视的噪声问题，即使经过多次滤波也无法将噪声完全消除，常用的拟合方法使测量结果极不稳定，各帧与真实值之间存在较大差异，所以在pca拟合方法的基础上，加入随机一致性采样ransac的思想，对拟合结果进一步优化。
26、优选的，对拟合结果进一步优化具体实现步骤如下：
27、在参考平面三维点集中进行随机采样，并计算样本集的协方差矩阵，对生成的协方差矩阵进行奇异值分解(svd)得到相应特征值与特本文档来自技高网...
【技术保护点】
1.一种基于两张RGB图像的人体身高测量方法，其特征在于：所述基于两张RGB图像的人体身高测量方法包括如下步骤：
2.根据权利要求1所述的一种基于两张RGB图像的人体身高测量方法，其特征在于：背景采集及参数标定在测量开始之前，提前采集测量场景的RGB图像作为背景图像，并标定所使用相机的各项参数，为后续工作提供支持，相机参数由相机提供的SDK端口函数确定，根据需求分别确定并记录相机彩色图像的内参数矩阵K，在相机开机曝光稳定后进行背景图像的采集，拍摄场景保存为背景帧，然后拍摄包含人体的图像作为前景帧。
3.根据权利要求2所述的一种基于两张RGB图像的人体身高测量方法，其特征在于：物体前景提取首先利用sfm算法将两张RGB图像中的特征点还原为三维点云，接着再利用mvs算法生成图像对应的深度图，记录深度像素值转换比例S。
4.根据权利要求3所述的一种基于两张RGB图像的人体身高测量方法，其特征在于：采用简单的帧间差分法即可快速提取前景图像，将采集到RGB图像与预先采集好的背景帧图像进行差分计算，然后对计算结果进行二值化处理，在此基础上对前景区域进行形态
5.根据权利要求4所述的一种基于两张RGB图像的人体身高测量方法，其特征在于：参考平面拟合过程中，在简单无遮挡背景下，将物体轮廓底部至图像下边界之间的所有像素点都设置为参考平面像素点集合，对参考平面像素集合对应的深度信息进一步处理，获得参考平面的几何参数用于之后的高度计算。
6.根据权利要求1所述的一种基于两张RGB图像的人体身高测量方法，其特征在于：三维重构由mvs算法获取的深度图像是在二维图像中存储三维信息，将二维图像中的像素点集合恢复成三维空间中的点云，进一步对目标各个尺寸信息进行测量，二维图像中像素点表示为p＝(u，v)，对应的齐次坐标为相机坐标系下三维空间中的点表示为P＝(x，y，z)，对应的齐次坐标为世界坐标系下三维空间中的点表示为Pw＝(X，Y，Z)，对应的齐次坐标为根据传统的透视摄像机模型，世界坐标系下空间中点Pw和它的图像点P存在如下关系：
7.根据权利要求1所述的一种基于两张RGB图像的人体身高测量方法，其特征在于：平面拟合在获得参考平面三维点云之后，确定点集满足的参考平面即确定该平面的法向量n和平面中心点q＝(0，0，0)，平面上三维点Pi满足下式：
8.根据权利要求7所述的一种基于两张RGB图像的人体身高测量方法，其特征在于：对拟合结果进一步优化具体实现步骤如下：
9.根据权利要求8所述的一种基于两张RGB图像的人体身高测量方法，其特征在于：根据具体实验方案来确定采样比、迭代截止次数及阈值。
10.根据权利要求1所述的一种基于两张RGB图像的人体身高测量方法，其特征在于：物体高度计算时，对滤波后的前景区域深度值进行直方图统计，将处于直方图边缘的深度值噪声滤除以使测量结果更加精确；
...【技术特征摘要】
1.一种基于两张rgb图像的人体身高测量方法，其特征在于：所述基于两张rgb图像的人体身高测量方法包括如下步骤：
2.根据权利要求1所述的一种基于两张rgb图像的人体身高测量方法，其特征在于：背景采集及参数标定在测量开始之前，提前采集测量场景的rgb图像作为背景图像，并标定所使用相机的各项参数，为后续工作提供支持，相机参数由相机提供的sdk端口函数确定，根据需求分别确定并记录相机彩色图像的内参数矩阵k，在相机开机曝光稳定后进行背景图像的采集，拍摄场景保存为背景帧，然后拍摄包含人体的图像作为前景帧。
3.根据权利要求2所述的一种基于两张rgb图像的人体身高测量方法，其特征在于：物体前景提取首先利用sfm算法将两张rgb图像中的特征点还原为三维点云，接着再利用mvs算法生成图像对应的深度图，记录深度像素值转换比例s。
4.根据权利要求3所述的一种基于两张rgb图像的人体身高测量方法，其特征在于：采用简单的帧间差分法即可快速提取前景图像，将采集到rgb图像与预先采集好的背景帧图像进行差分计算，然后对计算结果进行二值化处理，在此基础上对前景区域进行形态学滤波去除噪声，获得前景最大连通域以方便对前景轮廓的提取；
5.根据权利要求4所述的一种基于两张rgb图像的人体身高测量方法，其特征在于：参考平面拟合过程中，在简单无遮挡背景下，将物体轮廓底部至图像下边界之间的所有像素点都设置为参考平面像素点集合，对参考平面像素集合对应...
【专利技术属性】
技术研发人员：张渊佳，陈金，范顺国，孟祥松，李响，陈硕，侯圣文，张俊余，武文笛，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。