基于SLAM和深度摄像头的同步建图与物体分割方法技术

本发明专利技术公开一种基于SLAM和深度摄像头的同步建图与物体分割方法，将分割出来的物体，通过识别器识别或人工标注的方式来进行标注，最后实现语义建图和机器人对场景认知的功能。保证在获得整个场景地图的同时，也获得了场景中所包含的丰富的物体信息，对于后续的场景分析提供了极其有用的信息。

The method of synchronized building and object segmentation based on SLAM and deep camera

The invention discloses a synchronous construction and object segmentation method based on SLAM and deep camera, and marks the segmented objects by identifier recognition or manual annotation, and finally realizes the function of semantic mapping and robot cognition to scenes. It ensures that when we get the whole scene map, we also get abundant object information contained in the scene, which provides extremely useful information for subsequent scene analysis.

【技术实现步骤摘要】
基于SLAM和深度摄像头的同步建图与物体分割方法
本专利技术设计涉及SLAM自动建图及物体分割
，特别涉及一种基于ORB-SLAM的室内自动建图及物体分割的方法。技术背景即时定位与地图构建(SLAM或Simultaneouslocalizationandmapping)指的是机器人在未知环境中，通过获取当前场景的特征，如路标(Landmark)，角点，点云等视觉特征来对自身当前位置进行推算并同时构建地图的过程。ORB-SLAM(ORB-SLAM:AVersatileandAccurateMonocularSLAMSystem)是一个基于ORB特征的SLAM系统，ORB是图像处理领域中一种常用的旋转不变特征点，ORB-SLAM就是基于这种特这点来进行地图识别与构建的。物体分割指的是在给定的场景中通过图像分割的方法把场景中可能代表的不同物体分别标注出来。目前同步建图与物体分割的研究还处于相对初级的阶段，常用方法是在建图的过程中同时使用机器学习方法对当前获得图片进行物体识别，对识别出来的物体进行标注。对于识别器无法认知的物体，则无法把该物体从背景中分割开来。而识别器一般是通过二维图像来进行识别的，通过传感器所获取的深度信息无法被充分利用。通过对地图中的物体进行分割，可以帮助机器人更加精准地判断自身当前所在位置。
技术实现思路
为了提高场景中物体分割的准确率，本专利技术提供一种同步建图与物体分割的方法，对于被分割出来的物体，我们可以通过识别器识别或人工标注的方式来进行标注，最后实现语义建图和机器人对场景认知的功能。本专利技术解决其技术问题所采用的技术方案是:一种基于SLAM和深度摄像头的同步建图与物体分割方法，所述方法包括以下步骤:步骤一：通过深度摄像头获得一帧RGB图像和深度图像，利用ORB-SLAM系统获取当前帧的特征点信息；步骤二：通过深度摄像头获取当前帧的点云，对于获得的点云，先计算出点云的法向量，然后检测平面，对于检测出来的平面，用以下方式添加到地图中：对于输入的点云，首先进行第一次平面检测，对于检测出来的平面，如果该平面包含的点大于设定阈值x，则把该平面及其包含的点添加待分割队列中，等待下一步处理，同时将平面所包含的点从原始点云中去掉；然后进入下次检测，一直到剩下的点小于原始点云的10％为止，同时记录结束之前所做的迭代次数，设定阈值x根据应用场景而人为设定；步骤三：利用点云所对应的深度图像进行分割，然后采用α-expansion算法对图进行优化，计算出每个像素所属标签；步骤四：将步骤二和步骤三的结果进行对照，如果步骤三中有相同标签且投影到同一个平面上的点超过该标签的点的总数的设定百分比，则将该对应的平面加入到地图中，并将该区域对应的RGB图像保存下来作为关键模板。如果步骤三中有相同标签且投影到同一个平面上的点低于该标签的点的总数的设定百分比，该区域将被划分为待分割区域进入下一步处理，设定百分比根据应用场景而人为设定；步骤五：对于步骤四所述的待分割区域，通过采用图像识别的方法对区域内物体进行识别，如果该区域的识别率低于设定识别阈值，则视为无效区域，否则保存其对应的RGB区域图像作为关键模板,设定识别阈值根据应用场景进行人为设定；步骤六：移动深度摄像头，进入下一帧，重复步骤一至步骤五。进一步地，所述步骤三中，利用点云所对应的深度图像进行分割，其具体算法为:其中i表示深度图中的一个像素，k为步骤二中得到的迭代次数，为上面平面检测时每次检测得到的面的中心点像素所在位置，λ为平滑项系数，表示i离最近的标注像素的距离，Si表示像素i所属的分割标签，Ii表示像素i在深度图上的值，σ2为整个深度图像的方差。进一步地，当两个不同帧中获取属于同一物体的标注时，根据其在地图上的地理位置进行融合。进一步地，当两个不同帧中获取属于同一物体的标注时，根据其在地图上的地理位置采用ICP算法进行融合。进一步地，所述深度摄像头在场景中循环走动获得精确的地图，同时也获得场景内存在的物体的标注。进一步地，所述步骤五中，采用基于机器学习的方法对区域进行识别。本专利技术的有益效果主要表现在:在构建地图的同时，充分利用场景的深度信息将场景中可能存在的有较大平面的物体(如桌子，电脑显示屏，墙壁，地面，洗衣机等)先进行粗分割，对于平面较小但是能互相分开的物体(如桌子上的手机，键盘，鼠标等)通过预先设定阈值进行进一步分割，最后，对于平面不连续但可能属于同一物体的物体(如椅子，有弯曲的平面)通过使用由深度学习等方法训练的识别器对其所对应的RGB图像进行识别和分割。最终在获得整个场景地图的同时，也获得了场景中所包含的丰富的物体信息，对于后续的场景分析提供了极其有用的信息。具体实施方式下面对本专利技术做进一步描述。一种基于ORB-SLAM的室内自动建图及物体分割的方法，包括以下步骤:步骤一：通过深度摄像头获得一帧RGB图像和深度图像，利用ORB-SLAM系统获取当前帧的特征点信息。步骤二：通过深度摄像头获取当前帧的点云，对于获得的点云，先计算出点云的法向量，然后就可以检测平面，对于检测出来的平面，用以下方式添加到地图中：对于输入的点云，首先进行第一次平面检测，对于检测出来的平面，如果该平面包含的点大于设定阈值，如100个点，则把该平面及其包含的点添加待分割队列中，等待下一步处理，同时将平面所包含的点从原始点云中去掉。然后进入下次检测，一直到剩下的点小于原始点云的10％为止，同时记录结束之前所做的迭代次数。步骤三：利用点云所对应的深度图像进行分割，具体算法为:其中i表示深度图中的一个像素，k为步骤2)中得到的迭代次数，为上面平面检测时每次检测得到的面的中心点像素所在位置，λ为平滑项系数，表示i离最近的标注像素的距离，Si表示像素i所属的分割标签，Ii表示像素i在深度图上的值，σ2为整个深度图像的方差。然后我们采用α-expansion算法对图进行优化，计算出每个像素所属标签。步骤四：将步骤二和步骤三的结果进行对照，如果步骤三中有相同标签且投影到同一个平面上的点超过该标签的点的总数的70％，则将该对应的平面加入到地图中，并将该区域对应的RGB图像保存下来作为关键模板。对于不满足条件的区域将被划分为待分割区域进入下一步处理。步骤五：对于步骤四所述的待分割区域，通过采用图像识别的方法对区域内物体进行识别，如果该区域的识别率低于设定识别阈值50％，则视为无效区域，否则保存其对应的RGB区域图像作为关键模板。步骤六：移动深度摄像头，进入下一帧，重复步骤一至步骤五。步骤七：对于两个不同帧中所获取的可能属于同一物体的标注，根据其在地图上的地理位置进行融合。步骤八：在场景中循环来回走动来获得较为精确的地图，同时也获得场景内可能存在的物体的标注。对于步骤五,其具体实施方法为:用基于机器学习的方法对区域进行识别。对于步骤七，其具体实施方法为:用ICP算法进行融合。本文档来自技高网...

【技术保护点】
基于SLAM和深度摄像头的同步建图与物体分割方法，其特征在于：所述方法包括以下步骤:步骤一：通过深度摄像头获得一帧RGB图像和深度图像，利用ORB‑SLAM系统获取当前帧的特征点信息；步骤二：通过深度摄像头获取当前帧的点云，对于获得的点云，先计算出点云的法向量，然后检测平面，对于检测出来的平面，用以下方式添加到地图中：对于输入的点云，首先进行第一次平面检测，对于检测出来的平面，如果该平面包含的点大于设定阈值x，则把该平面及其包含的点添加待分割队列中，等待下一步处理，同时将平面所包含的点从原始点云中去掉；然后进入下次检测，一直到剩下的点小于原始点云的10％为止，同时记录结束之前所做的迭代次数；步骤三：利用点云所对应的深度图像进行分割，然后采用α‑expansion算法对图进行优化，计算出每个像素所属标签；步骤四：将步骤二和步骤三的结果进行对照，如果步骤三中有相同标签且投影到同一个平面上的点超过该标签的点的总数的设定百分比，则将该对应的平面加入到地图中，并将该区域对应的RGB图像保存下来作为关键模板，如果步骤三中有相同标签且投影到同一个平面上的点低于该标签的点的总数的设定百分比，该区域将被划分为待分割区域进入下一步处理；步骤五：对于步骤四所述的待分割区域，通过采用图像识别的方法对区域内物体进行识别，如果该区域的识别率低于设定识别阈值，则视为无效区域，否则保存其对应的RGB区域图像作为关键模板；步骤六：移动深度摄像头，进入下一帧，重复步骤一至步骤五。...

【技术特征摘要】
1.基于SLAM和深度摄像头的同步建图与物体分割方法，其特征在于：所述方法包括以下步骤:步骤一：通过深度摄像头获得一帧RGB图像和深度图像，利用ORB-SLAM系统获取当前帧的特征点信息；步骤二：通过深度摄像头获取当前帧的点云，对于获得的点云，先计算出点云的法向量，然后检测平面，对于检测出来的平面，用以下方式添加到地图中：对于输入的点云，首先进行第一次平面检测，对于检测出来的平面，如果该平面包含的点大于设定阈值x，则把该平面及其包含的点添加待分割队列中，等待下一步处理，同时将平面所包含的点从原始点云中去掉；然后进入下次检测，一直到剩下的点小于原始点云的10％为止，同时记录结束之前所做的迭代次数；步骤三：利用点云所对应的深度图像进行分割，然后采用α-expansion算法对图进行优化，计算出每个像素所属标签；步骤四：将步骤二和步骤三的结果进行对照，如果步骤三中有相同标签且投影到同一个平面上的点超过该标签的点的总数的设定百分比，则将该对应的平面加入到地图中，并将该区域对应的RGB图像保存下来作为关键模板，如果步骤三中有相同标签且投影到同一个平面上的点低于该标签的点的总数的设定百分比，该区域将被划分为待分割区域进入下一步处理；步骤五：对于步骤四所述的待分割区域，通过采用图像识别的方法对区域内物体进行识别，如果该区域的识别率低于设定识别阈...

【专利技术属性】
技术研发人员：李梓佳，
申请(专利权)人：大连和创懒人科技有限公司，
类型：发明
国别省市：辽宁,21