【技术实现步骤摘要】
一种结合RGBD数据的GrabCut自动分割算法
本技术着重于Kinect相机下用图像分割相关技术以及RGBD图实时标注并拟合人物轮廓，属于图像分割领域。在Kinect相机采集的视频序列中，利用特定的技术和算法去除背景等干扰信息，只保留有关人体的关键数据(如身体尺寸、姿势、着装颜色等)，再将人物边界轮廓序列化，为接下来一系列研究(如行为分析、目标跟踪、模板匹配等)提供有效的处理数据，打下坚实的基础。
技术介绍
人体轮廓提取的精准程度和分割速度决定了人物行为处理分析以及后续处理操作的最终效果，而拟合操作能以最少的点保留其轮廓关键特征，减少数据量。人体轮廓识别的重点是构建一种对处于复杂场景的人物进行准确识别的图像特征描述。现有的大多数人体轮廓提取技术大都依赖于RGB图像，而RGB图像的质量易受强光、剧烈的光照强度变化、多物体重叠遮挡与数据传输损失等因素的影响。这也就导致算法或者模型受到局限，适应性低。最重要的是人物运动比较复杂，导致有些方法因为过于简单而识别精度达不到要求，另一些模型却因为过于复杂而无法适用于实际情况。到...
【技术保护点】
1.一种结合RGBD数据的GrabCut自动分割算法，该技术根据深度相机Kinect V2采集到的深度、颜色等数据通过彩色图的像素点对应深度图的坐标系来初步分割包含人物的前景，并作为GrabCut的掩码框。然后将深度数据作为高斯混合模型的第四通道中来改进GrabCut算法的能量方程，实现对人物轮廓进行自动分割。该方法包括以下步骤：/nS1、基于Kinect相机的场景深度、颜色等数据采集；/nS2、深度图修复以及初步分割人物前景图；/nS3、初始化GrabCut掩码，结合RGBD四通道数据进行人物的自动分割；/nS4、矢量化轮廓边缘并绘制人物轮廓线。/n
【技术特征摘要】
1.一种结合RGBD数据的GrabCut自动分割算法，该技术根据深度相机KinectV2采集到的深度、颜色等数据通过彩色图的像素点对应深度图的坐标系来初步分割包含人物的前景，并作为GrabCut的掩码框。然后将深度数据作为高斯混合模型的第四通道中来改进GrabCut算法的能量方程，实现对人物轮廓进行自动分割。该方法包括以下步骤：
S1、基于Kinect相机的场景深度、颜色等数据采集；
S2、深度图修复以及初步分割人物前景图；
S3、初始化GrabCut掩码，结合RGBD四通道数据进行人物的自动分割；
S4、矢量化轮廓边缘并绘制人物轮廓线。
2.如权利要求1所述的结合RGBD数据的GrabCut自动分割算法，其特征在于，所述步骤S1具体包括以下处理：
随着强大的测距传感器的出现以及深度数据(depth，即深度相机拍摄的场景每个点到相机面的距离)提取技术日趋成熟，RGB-D图像(RGB+DepthMap，DepthMap是包括场景深度数据的图像或通道)逐渐受到了图像研究人员的关注。RGB-D相机与我们平时使用的普通相机不同，它同时装载了光学RGB相机和深度相机。因而该相机可以同时采集场景中各个点的纹理信息和深度信息。KinectV2相机(微软于2014年10月发布的第二代3D体感摄像机，也称为深度相机，在计算机视觉领域常用于教学或科研实验)证明了物体识别系统的准确性可以通过附加深度信息的方式得到大幅提高，而不再仅仅依赖于颜色信息。Kinect采用TimeofFlight(TOF)技术来得到目标物体距离相机所在垂直平面的距离。TOF利用连续波调制相位偏移与物体距离成正比的关系，计算出深度。利用微软提供的开发组件读取kinect传输过来的数据，其中颜色信息以RGB的格式保存为BGR三通道的彩色图，深度信息以8位无符号整型形式保存为灰度图。与此同时，保存对应的由kinect提供的人物索引值(BodyIndex)数据源。
3.如权利要求1所述的结合RGBD数据的GrabCut自动分割算法，其特征在于，所述步骤S2具体包括以下处理：
Kinect在渲染DepthMap时，将没有识别到的领域默认填充为黑色。但“黑洞”将影响后续的运算，因此在进行初步前景分割前先采用像素滤波器修复深度图像。遍历整幅深度图，选定深度值为0的像素点为待修改的滤波像素点，建立一个以该像素点为核心的两层滤波器。然后寻找该滤波器器内深度值不为0的像素点，分别记录两层滤波方框内深度值不为0的像素点的数量，然后与自定义阈值比较。若内外层中记录的深度值非零的像素数目超过了阈值，则该待修改的滤波像素点的深度值将以该两层滤波器内出现频率最高且不为0的深度值进行赋值，最终完成修复。本发明像素滤波器内外层阈值分别为2，5；内层大小为3*3，外层大小为5*5；
深度相机与彩色相机之间存在间距、其视野范围以及分辨率不一致，导致RGB图片不能按像素点与深度图直接对应。因此进行坐标空间的映射校准，利用开发组件的接口类能把以深度相机为原点的坐标系与彩色相机的空间坐标系链接起来，寻找映射到深度帧中与彩色帧相对应的像素点。再对比人物索引数据，确定用户的深度像素并保留相应位置的RGB值，从而得到初步前景图。为了降低数据量，现将上一步提取到的初步前景图中的每个像素点与合理的阈值进行比较，从而获取与初步前景图相对应的二值图像。由于初步前景二值图像仍然存在一些边缘干扰项，采取数学形态学处理来去除，提供更好的GrabCut初始掩码(掩码也是最终图割结果)。
4.如权利要求1所述的结合RGBD数据的GrabCut自动分割算法，其特征在于，所述步骤S3具体包括以下处理：
遍历步骤S2初步提取到的初步前景二值图找到包含所有人物目标的最小矩形框，并记录其所在位置与大小。二值图经过数据拷贝之后，重新将白色前景像素赋值为3、黑色背景像素分赋值为0，并缩小图像尺寸至一半大小后，以此初始化GrabCut的掩码。
提取矩形框与初始化掩码之后，以标记图代替人工框选前景、背景种子集。这样便使得GrabCut算法由用户交互式转换为自动化。
最先GrabCut算法的原作者定义了一个Gibbs能量方程：
E(α，k，θ，z)＝U(α，k，θ，z)+V(α，z)#(1)
其中，U(α，k，θ，z)是区域项，表示着图像像素集的整体性质；V(α，z)是边界项，表示两两像素点的纹理颜色差异。求解出能量方程E的最小值，换而言之，找到了分割整幅图像所花费最小代价或者损失。
区域项U由现在图像包含了RGB颜色空间的像素点zn，使用图片的区域像素整体性和边缘像素差异作为分割软指标，GMMs(高斯混合模型)的每个GMM进行全协方差高斯混合，分别作用于前/背景。GMMs添加矢量k＝{k1，…，kn，…，kN}，其中kn∈{1，…K}(K个分量，通常K＝5)是为了分配给图中每个像素以概率最大的GMM分量，从而更加有效地处理GMMs。若标记αn＝0则该像素属于背景模型的某个高斯分量，若...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。