基于凹凸性和RSD特征的场景分割与目标建模方法技术

基于凹凸性和RSD特征的场景分割与目标提取方法，属于计算机视觉技术领域。本发明专利技术包括：步骤1，利用Realsense以及PCL获取场景点云并进行半径滤波；步骤2，将场景点云基于超体聚类过分割；步骤3，在步骤2得到的超体聚类基础上利用LCCP方法基于凹凸性再聚类完成场景分割；根据分割后的场景点云目标物体的RSD(Radius‑based Surface Descriptor)几何特征对目标物体进行建模。实验结果表明，本发明专利技术能够有效地解决任意场景中目标物体建模问题。本方法是一种无学习方法，具有计算费时少，场合适用性强的优点。

Scene Segmentation and Object Modeling Based on Convexity and RSD Features

The method of scene segmentation and object extraction based on concave convexity and RSD features belongs to the field of computer vision technology. The invention includes: step 1, obtaining scene point cloud by using Realsense and PCL and filtering its radius; step 2, over-segmentation of scene point cloud based on super-body clustering; step 3, scene segmentation is completed by using LCCP method based on concave-convex clustering on the basis of super-body clustering obtained in step 2; and according to the RSD (Radius face-based Surptor) of the target object of the scene point cloud after segmentation. What features are used to model the target object? The experimental results show that the method can effectively solve the problem of object modeling in arbitrary scenes. This method is a non-learning method with the advantages of less computation time and strong applicability in occasions.

【技术实现步骤摘要】
基于凹凸性和RSD特征的场景分割与目标建模方法
本专利技术属于计算机视觉
，涉及适用于机器人在任意场景中的抓取，可用于无人驾驶、无人机、深空探测、水下机器人等领域。
技术介绍
随着科学技术的发展，机器人越来越智能，当前机器人追求自主性和高智能性。机器人在未知环境执行自主性或者智能性任务时，需要对所处环境进行理解，需要像人大脑一样识别和理解当前视野或环境中存在的物体和对象，感知自己所处的环境。图像分割技术是让机器人对环境具有感知和识别能力的关键技术。随着激光三维测距技术的快速发展，出现了很多能够采集三维空间场景中三维信息的三维摄像机，以前针对二维图像的分割方法很难适用于基于三维信息的图像分割，因此，更多研究者逐渐投入到基于三维空间信息的图像技术研究中。为了让智能移动机器人感知所处环境或识别视野场景中物体对象，同时也为了对场景中的物体进行抓取，三维分割并将目标物体建模的研究实现具有巨大的现实意义，未来发展前景十分可观。场景分割与目标建模算法在机器人手眼协同系统中具有举足轻重的作用，其主要是将机器人利用摄像头所看到的场景进行物体层次的分割，再将所要抓取的目标物体进行三维建模以便于后续的机器人抓取。完善相关的算法，解决相关的算法一直以来存在着很大的挑战。传统点云分割算法常采用两类方法：基于识别的方法和基于无监督性的方法。对于基于识别的方法，数据库中有一些可用的物体模型。这类的许多先进方法通过将提取的特征与存储在数据库中的场景相匹配来执行物体的分割。它们强烈依赖于检测测试场景和存储模型之间的重复性的、可靠的和描述性特征，以及相应的准确特征，当场景点云数量较大时，算法执行起来需要大量的时间和计算。此外，基于识别的方法仅限于数据库中可用的对象模型的分割。相比之下，基于无监督的方法能够在视觉复杂的情况下没有任何关于对象或场景的先验信息来分离各种各样的对象。这些方法在物体孤立的情况下表现得很好但不能分开堆叠的物体。另一类算法使用基于学习的方法结合条件随机场和马尔科夫随机场的优化去处理分割问题，但它们的高计算运行限制了在实际应用中的使用。以上方法的不足之处都极大地影响了后续目标物体建模，影响机器人对目标物体的抓取。
技术实现思路
本专利技术的目的在于针对上述场景分割方法中的不足,为了更好地实现机器人在场景中对目标物体的抓取，提出新的场景中抓取目标建模方法，以提高场景中目标物体建模速度以及方法的适用性；本专利技术的技术方案为一种基于凹凸性和RSD特征场景中抓取目标建模方法，包括如下步骤：1.基于凹凸性和RSD特征的场景分割与目标建模方法，其特征在于，包括如下步骤：步骤1，利用Realsense以及PCL获取场景点云并进行半径滤波去噪；步骤2，在去噪后的场景点云基础之上进行超体聚类过分割，根据(1)公式来控制超体素聚类过程，将整个空间划分开；式中Rseed是种子的距离，Dc是表示颜色上的差异，Dn表示法线上的差异，Ds表示点距离上的差异。wc表示颜色差异在超体素相似度中的权重，ws表示点距离差异在相似度中的权重，wn表示法线上的差异在相似度中的权重，相似度定义了应该属于种子点的粒子并聚拢在种子点周围形成超体素，wc＝wn＝0.3，ws＝0.4；步骤2，在步骤1得到的超体聚类基础之上基于凹凸性再聚类进行局部凸连接分割，完成场景分割。原理图如图7所示；凸度标准CC如(2)式所示，邻超体素分别为pi，pj，其质心分别为x1，x2，n1，n2是垂直于界面的法向量，α1是n1与x1-x2的夹角，α2是n2与x1-x2的夹角，β是法向量之间的角度。对于具有低曲率的小的凹面，都应该视为凸的并在分割中合并，这种情况它们具有非常相似的法向量，为了弥补RGB-D数据的噪声造成的偏差，因此引入一个很小的阈值βThresh，当β＝∠(n1，n2)＝│α1-α2│＝cos-1(n1·n2)<βThresh＝10°，同样认为超体之间是凸连接的。两个超体素表面之间不连续时，判断连接是凸或凹是没有意义的。如图所示，使用连接质心的向量d和两个法向量的叉积s＝n1×n2，θ角越接近90°，则两个超体素的表面是连接的，θ角越接近0°，则两个超体素的表面是不连接的。为了识别这种无效连接，提出一个补充标准SC，引入阈值θThresh，同样，(p1,p2)是两个相邻的超体素，β是法向量的角度，βoff是噪声引入的偏差。我们用软化阶梯方程来求得θThresh[β(n1，n2)]，δ是第一阶梯的系数，是d与s的实际立体角度，θThresh[β(n1，n2)]是二维投影角度。θ(p1,p2)取d和s时间小于180°的那个角：θ(p1,p2)＝min[∠(d,s),∠(d,-s)]＝min[∠(d,s),180°-∠(d,s)](3)软化阶梯函数：SC(pi,pj):＝有效,θ(p1,p2)＞θThresh[β(n1，n2)]＝无效其他(5)实验导出θThresh(β)＝60°，βoff＝25°andδ＝0.25步骤6，根据分割后的场景点云目标物体的RSD(Radius-basedSurfaceDescriptor)特征选择几何模板参数对目标物体进行建模或直接对回转体进行建模，在一个几何基元上面，原始点和领域内一个点之间的距离d还有两个点法线之间的角度α,根据公式6得到两点拟合曲线的曲率圆半径。一个点与领域点拟合出所有曲线对应的所有曲率半径，我们取其中的最小曲率半径与最大曲率半径(rmin,rmax)便是这一点的RSD特征值，不同的几何基元有不同的RSD特征值。附图说明图1是本专利技术的流程图；图2是本专利技术实施例中Realsense捕获场景点云示意图；图3是本专利技术实施例中场景点云超体聚类图；其中a盒子b苹果c瓶子图4是本专利技术实施例中局部凸连接分割图；其中a盒子b苹果c瓶子图5是本专利技术实施例中场景中目标物体拟合图；其中a盒子b苹果c瓶子图6是本专利技术实施例中目标物体三角化建模图。其中a盒子b苹果c瓶子图7凹凸关系几何关系原理图，其中左：凸连接几何关系右：凹连接几何关系图8奇异点判据几何关系原理图图9曲率半径求解几何原理图具体实施方式下面将结合附图对本专利技术技术方案作进一步说明。步骤1，利用PCL点云库、RealsenseGrabber软件包、RelasenseSDK、RealsenseSR300驱动、RealsenseRS300设备获取场景点云图；步骤2，在去噪后的场景点云基础之上进行超体聚类过分割，根据(1)公式来控制超体素聚类过程，将整个空间划分开；式中(Rseed＝0.01m)是种子的距离，Dc是表示颜色上的差异，Dn表示法线上的差异，Ds表示点距离上的差异。wc表示颜色差异在超体素相似度中的权重，ws表示点距离差异在相似度中的权重，wn表示法线上的差异在相似度中的权重，相似度定义了应该属于种子点的粒子并聚拢在种子点周围形成超体素，wc＝wn＝0.3，ws＝0.4。种方法本质上是对局部的一种总结，纹理，颜色，材质类似的部分会被自动分割为一块，这对后续的识别工作是有利的。步骤3，在步骤2得到的超体聚类基础之上基于凹凸性再聚类进行局部凸连接分割，完成场景分割。原理图如图7所示；凸度标准CC如(2)式所示，邻超体素分别为pi，pj，其质心分别为x1，x2，n1，n2是垂直于界本文档来自技高网...

【技术保护点】
1.基于凹凸性和RSD特征的场景分割与目标建模方法，其特征在于，包括如下步骤：步骤1，利用Realsense以及PCL获取场景点云并进行半径滤波去噪；步骤2，在去噪后的场景点云基础之上进行超体聚类过分割，根据公式(1)来控制超体素聚类过程，将整个空间划分开；

【技术特征摘要】
1.基于凹凸性和RSD特征的场景分割与目标建模方法，其特征在于，包括如下步骤：步骤1，利用Realsense以及PCL获取场景点云并进行半径滤波去噪；步骤2，在去噪后的场景点云基础之上进行超体聚类过分割，根据公式(1)来控制超体素聚类过程，将整个空间划分开；式中Rseed是种子的距离，Dc是表示颜色上的差异，Dn表示法线上的差异，Ds表示点距离上的差异；wc表示颜色差异在超体素相似度中的权重，ws表示点距离差异在相似度中的权重，wn表示法线上的差异在相似度中的权重，相似度定义了应该属于种子点的粒子并聚拢在种子点周围形成超体素，wc＝wn＝0.3，ws＝0.4；步骤3，在步骤2得到的超体聚类基础之上基于凹凸性再聚类进行局部凸连接分割，完成场景分割；凸度标准CC如式(2)所示，邻超体素分别为pi，pj，其质心分别为x1，x2，n1，n2是垂直于界面的法向量，α1是n1与x1-x2的夹角，α2是n2与x1-x2的夹角，β是法向量之间的角度；引入阈值βThresh，当β＝∠(n1，n2)＝│α1-α2│＝cos-1(n1·n2)<βThresh＝10°，认为超体之间是凸连接的；步骤4，使用连接质心的向量d和两个法向量的叉积s＝n1×n2，引入阈值θThresh；同样，(p1,p2)是两个相邻的超...

【专利技术属性】
技术研发人员：陈国华，王耀增，张爱军，邢健，康敬欣，李季，余洋洋，
申请(专利权)人：北京化工大学，
类型：发明
国别省市：北京,11