一种基于深度相机的人体分割方法及系统技术方案

本发明专利技术公开了基于深度相机的人体分割方法，所述方法包括：对获取的前N帧深度图像进行求平均，得到一平均深度图像；对当前帧的深度图像进行平面检测，获取到对应的地面模型；根据所述平均深度图像、地面模型以及当前帧的深度图像，获取所述当前帧的深度图像对应的前景图以及对应的投影深度图；在所述投影深度图中进行像素点遍历，得到一局部极值点集合；对所述投影深度图进行流形聚类算法，以所述局部极值点集合作为初始聚类中心，获取所述投影深度图中的人体分割信息。相应的，本发明专利技术还公开了基于深度相机的人体分割系统。通过本发明专利技术，提供鲁棒性好准确率高的人体分割技术方案。

A method and system of human body segmentation based on depth camera

【技术实现步骤摘要】
一种基于深度相机的人体分割方法及系统
本专利技术涉及计算机视觉
，尤其涉及一种基于深度相机的人体分割方法及系统。
技术介绍
传统的人体分割的方案一般是基于2D图像实现的。比较通用的实现技术方案是人工特征结合图像分割算法，人工特征主要有颜色特征、SIFT(Scale-invariantFeatureTransform)、LBP(LocalBinaryPattern)特征、HOG(HistogramofOrientGradient)特征等。图像分割算法的主要思路是使用人工特征定义像素间的相似度，然后通过求解图的最小分割问题得到分割的结果。这种思路简单容易实施，但计算开销非常大，很难满足实时性，并且精度也很难保证。随着深度学习技术的快速发展，申请公布号为CN108198192A的专利提出了使用深度学习的技术方案来改善人体分割的精度，该方案根据人体的统计比例确定输入图像的尺寸，采用定制化的对称神经网络---卷积网络和反卷积网络，通过学习大量人体细节的图像进行训练来得到人体图像分割的能力。该方案理论上会提高分割的精度，但基于深度学习的方案泛化特性很难保证，很容易出现在训练集上精度很高但在实际场景中效果很差的情况，并且在环境非常拥挤导致大量的人体被遮挡的情况下，很难有效的进行人体的分割。区别于传统2D图像的思路，深度相机能提供场景的3D深度信息，能有效的解决2D方案中很难解决的出现人体遮挡的情况。申请公布号为CN07204000A的专利提出了基于Kinect深度相机的人体分割方法，其在图优化的框架下联合利用RGBD信息和骨架信息来产生更好的分割结果。但该方案依赖于骨骼信息的提取，在复杂场景下人体的骨骼信息很难准确全部提取出来，实际的效果也因此很难保证。另外采用图优化的方式联合RGBD信息和骨骼信息会导致计算的成本非常高，在一般的边缘计算设备上不具备实时运行的可行性。和传统的人工特征结合图像分割算法，现有技术中基于深度学习的技术方案存在如下技术问题：(1)、鲁棒性差，在场景很复杂的情况下(比如出现大量的遮挡或头发、皮肤、背景等很相似的情况)分割精度的退化非常严重；(2)、计算成本非常大，人工特征的提取、深度学习的多层卷积、人体骨骼信息的提取等都是计算量非常大的操作，很难在一般的边缘计算设备上实时运行；(3)、泛化特性差，尤其是深度学习的技术方案严重依赖训练集的规模和覆盖度，经常会出现在训练集效果很好而在实际场景中运行时效果很差的情况。
技术实现思路
基于此，本专利技术的目的在于提供一种基于深度相机的人体分割方法及系统，解决上述技术问题，提供鲁棒性好准确率高的人体分割技术方案。为实现上述目的，本专利技术提供了一种基于深度相机的人体分割方法，所述方法包括：S1、对获取的前N帧深度图像进行求平均，得到一平均深度图像；S2、对当前帧的深度图像进行平面检测，获取到对应的地面模型；S3、根据所述平均深度图像、地面模型以及当前帧的深度图像，获取所述当前帧的深度图像对应的前景图以及对应的投影深度图；S4、在所述投影深度图中进行像素点遍历，得到一局部极值点集合；S5、对所述投影深度图进行流形聚类算法，以所述局部极值点集合作为初始聚类中心，获取所述投影深度图中的人体分割信息。优选的，所述步骤S1包括：获取所述前N帧深度图像中每一帧深度图像中的深度数据，根据公式(1)，计算得到所述平均深度图像；其中，i、j为图像坐标系下的横坐标和纵坐标，Da(i，j)为所述平均深度图像在图像坐标系中i、j处的深度值，Dl(i，j)为第l帧深度图像在图像坐标系中i、j处的深度值。优选的，所述步骤S2包括:获取所述当前帧的深度图像中每一个像素点的3D坐标信息，所述坐标信息的计算公式为式(2)，得到一3D坐标信息数据集；其中，Xworld、Yworld、Zworld对应为单个像素点的3D坐标信息，x、y是图像坐标系下的横坐标和纵坐标，deep为图像坐标系下(x，y)点处的深度值，cx、cy分别为图像坐标系相机中心点处的x轴和y轴的坐标值，Tx、Ty分别为单个像素点x方向和y方向的大小(以毫米为单位)，fx、fy分别为x方向和y方向上的焦距信息；根据RANSAC算法和所述3D坐标信息数据集，计算得到所述当前帧的深度图像中的地面方程a*x+b*y+c*z+d＝0中的a、b、c、d参数信息.优选的，所述RANSAC算法的步骤具体包括：从所述3D坐标信息数据集中随机选取若干组数据，根据所述若干组数据得到一初始地面方程；根据所述初始地面方程，测试所述3D坐标信息数据集，并根据一预设的阈值信息，获取到对应的局内点和局外点信息；重复迭代上述过程，得到包含最多局内点信息所对应的地面方程a*x+b*y+c*z+d＝0；根据所述地面方程，计算得到a、b、c、d参数信息。优选的，所述步骤S3包括：根据所述地面方程a*x+b*y+c*z+d＝0、a、b、c、d参数信息以及所述平均深度图像，利用公式(3)得到所述当前帧的深度图像对应的前景图；其中，F(i，j)为所述前景图在图像坐标系下(x，y)点处的像素值，Da(i，j)为所述平均深度图像在图像坐标系中i、j处的深度值，H和α为深度相机的安装高度和角度，所述H和α的计算公式为式(4)；其中，a、b、c、d为所述地面方程的参数信息。优选的，所述步骤S3还包括：基于所述地面方程和所述前景图，将所述当前帧的深度图像通过俯视角投影方法得到对应的投影深度图，所述俯视角投影方法的计算公式为式(5)；其中，Dp(i，j)为所述投影深度图图像坐标系下(x，y)点处的深度值，F(i，j)为所述前景图在图像坐标系下(x，y)点处的像素值，D(i，j)为所述当前帧的深度图像在图像坐标系下(x，y)点处的像素值。优选的，所述步骤S4包括：从所述投影深度图中的左上角开始遍历，以列优先的方式逐行逐列对每一个像素点进行遍历，计算当前遍历的像素点的深度值与该像素点相邻的L*L区域内的每一个像素点的深度值进行比较，若当前遍历的像素点的深度值比所述L*L区域内的每一个像素点的深度值均小，则将当前遍历的像素点作为极值点，以此类推，对每一个遍历的像素点进行计算，得到局部极值点集合。优选的，所述步骤S4包括：对所述局部极值点集合进行非极值压缩方法，得到约束后的局部极值点集合，其中，所述非极值压缩的步骤具体包括：计算所述局部极值点集合中个的每一个点与该集合中的其它点的欧式距离，若所述欧式距离小于一预设距离阈值，则将值较小的点加入到约束后的局部极值点集合中；若所述欧式距离大于所述距离阈值时，则将该点加入到约束后的局部极值点集合中。优选的，所述步骤S5包括：以所述约束后的局部极值点集合中的每一个聚类点集的初始中心点作为初始聚类中心，计算所述投影深度图中每一个像素点(x本文档来自技高网...

【技术保护点】
1.一种基于深度相机的人体分割方法，其特征在于，所述方法包括：/nS1、对获取的前N帧深度图像进行求平均，得到一平均深度图像；/nS2、对当前帧的深度图像进行平面检测，获取到对应的地面模型；/nS3、根据所述平均深度图像、地面模型以及当前帧的深度图像，获取所述当前帧的深度图像对应的前景图以及对应的投影深度图；/nS4、在所述投影深度图中进行像素点遍历，得到一局部极值点集合；/nS5、对所述投影深度图进行流形聚类算法，以所述局部极值点集合作为初始聚类中心，获取所述投影深度图中的人体分割信息。/n

【技术特征摘要】
1.一种基于深度相机的人体分割方法，其特征在于，所述方法包括：
S1、对获取的前N帧深度图像进行求平均，得到一平均深度图像；
S2、对当前帧的深度图像进行平面检测，获取到对应的地面模型；
S3、根据所述平均深度图像、地面模型以及当前帧的深度图像，获取所述当前帧的深度图像对应的前景图以及对应的投影深度图；
S4、在所述投影深度图中进行像素点遍历，得到一局部极值点集合；
S5、对所述投影深度图进行流形聚类算法，以所述局部极值点集合作为初始聚类中心，获取所述投影深度图中的人体分割信息。


2.如权利要求1所述的基于深度相机的人体分割方法，其特征在于，所述步骤S1包括：
获取所述前N帧深度图像中每一帧深度图像中的深度数据，根据公式(1)，计算得到所述平均深度图像；



其中，i、j为图像坐标系下的横坐标和纵坐标，Da(i，j)为所述平均深度图像在图像坐标系中i、j处的深度值，Dl(i，j)为第l帧深度图像在图像坐标系中i、j处的深度值。


3.如权利要求2所述的基于深度相机的人体分割方法，其特征在于，所述步骤S2包括：
获取所述当前帧的深度图像中每一个像素点的3D坐标信息，所述坐标信息的计算公式为式(2)，得到一3D坐标信息数据集；



其中，Xworld、Yworld、Zworld对应为单个像素点的3D坐标信息，x、y是图像坐标系下的横坐标和纵坐标，deep为图像坐标系下(x，y)点处的深度值，cx、cy分别为图像坐标系深度相机中心点处的x轴和y轴的坐标值，Tx、Ty分别为单个像素点x方向和y方向的大小，fx、fy分别为x方向和y方向上的焦距信息；
根据RANSAC算法和所述3D坐标信息数据集，计算得到所述当前帧的深度图像中的地面方程a*x+b*y+c*z+d＝0中的a、b、c、d参数信息。


4.如权利要求3所述的基于深度相机的人体分割方法，其特征在于，所述RANSAC算法的步骤具体包括：
从所述3D坐标信息数据集中随机选取若干组数据，根据所述若干组数据得到一初始地面方程；
根据所述初始地面方程，测试所述3D坐标信息数据集，并根据一预设的阈值信息，获取到对应的局内点和局外点信息；
重复迭代上述过程，得到包含最多局内点信息所对应的地面方程a*x+b*y+c*z+d＝0；
根据所述地面方程，计算得到a、b、c、d参数信息。


5.如权利要求3所述的基于深度相机的人体分割方法，其特征在于，所述步骤S3包括：
根据所述地面方程a*x+b*y+c*z+d＝0、a、b、c、d参数信息以及所述平均深度图像，利用公式(3)得到所述当前帧的深度图像对应的前景图；



其中，F(i，j)为所述前景图在图像坐标系下(x，y)点处的像素值，Da(i，j)为所述平均深度图像在图像坐标系中i、j处的深度值，H和α为深度相机的安装高度和角度，所述H和α的计算公式为式(4)；



其中，a、b...

【专利技术属性】
技术研发人员：余小欢，徐勇军，凌晨，陈嵩，白云峰，
申请(专利权)人：杭州光珀智能科技有限公司，
类型：发明
国别省市：浙江;33