基于双目相机的障碍物标识方法、系统、设备和存储介质技术方案

本发明专利技术公开了一种基于双目相机的障碍物标识方法、系统、设备和存储介质，其中障碍物标识方法包括：双目相机拍摄获得原始图像；处理原始图像，获得RGB图像和深度图像；对RGB图像进行机器学习，获得至少一个识别框；对于每一识别框，从所有框内像素点中选取若干框内像素点，根据其在深度图像中对应位置处的深度点的深度值来确定原始聚类中心，对深度图像进行聚类，获得多个深度点，进而获得包括多个深度点的已识别点集合，将已识别点集合标识为识别框所表示的障碍物。本发明专利技术以识别框中的若干框内像素点为引在深度图像中确定原始聚类中心，对深度图像聚类，以获得与识别框匹配的已识别点集合，如此十分准确地标识出图像中的障碍物。

Obstacle identification method, system, equipment and storage medium based on binocular camera

【技术实现步骤摘要】
基于双目相机的障碍物标识方法、系统、设备和存储介质
本专利技术涉及计算机
，尤其涉及一种基于双目相机的障碍物标识方法、系统、设备和存储介质。
技术介绍
在无人驾驶
，当前通常采用以下方案来标识障碍物：基于单目相机来进行障碍物的标识，具体地，将单目相机获得的一帧RGB(三原色光模式)图像输入到经训练的学习网络中，以获得一系列的识别框，其中，每个识别框框示一个障碍物并标示该障碍物的种类。但是，在识别框中包括多个其他障碍物的情况下，对障碍物的种类的标识容易出错，造成标识准确率的降低。基于双目相机来进行障碍物的标识，具体地，对双目相机获得的3D(3dimensional，三维)点云数据进行欧式聚类或者其他聚类，以获得一系列的聚类BOX(长方体)框，其中，每个聚类BOX框包含一个聚类障碍物，进而根据BOX模型和先验库中典型BOX的尺寸匹配来识别聚类障碍物的种类。但是，对点云进行聚类处理其计算量较大，并且上述尺寸匹配的方式识别率较低，存在大量误识别以及漏识别的情况，进而标识准确率也比较低。基于单目相机和激光雷达的组合来进行障碍物的标识，具体地，该方案仍需将RGB图像输入经训练的学习网本文档来自技高网...

【技术保护点】
1.一种基于双目相机的障碍物标识方法，其特征在于，所述障碍物标识方法包括：双目相机拍摄获得原始图像；处理所述原始图像，获得RGB图像和深度图像，所述RGB图像的像素点与所述深度图像的深度点的位置相对应；对所述RGB图像进行机器学习，获得至少一个识别框，每一识别框包含所述RGB图像中的一个障碍物并且包含多个框内像素点；对于每一识别框，从所有框内像素点中选取若干框内像素点，根据选取的所有框内像素点在所述深度图像中对应位置处的深度点的深度值来确定原始聚类中心，对所述深度图像进行聚类，获得多个深度点，进而获得包括所述多个深度点的已识别点集合，将所述已识别点集合标识为所述识别框所表示的障碍物。

【技术特征摘要】
1.一种基于双目相机的障碍物标识方法，其特征在于，所述障碍物标识方法包括：双目相机拍摄获得原始图像；处理所述原始图像，获得RGB图像和深度图像，所述RGB图像的像素点与所述深度图像的深度点的位置相对应；对所述RGB图像进行机器学习，获得至少一个识别框，每一识别框包含所述RGB图像中的一个障碍物并且包含多个框内像素点；对于每一识别框，从所有框内像素点中选取若干框内像素点，根据选取的所有框内像素点在所述深度图像中对应位置处的深度点的深度值来确定原始聚类中心，对所述深度图像进行聚类，获得多个深度点，进而获得包括所述多个深度点的已识别点集合，将所述已识别点集合标识为所述识别框所表示的障碍物。2.如权利要求1所述的基于双目相机的障碍物标识方法，其特征在于，所述根据选取的所有框内像素点在所述深度图像中对应位置处的深度点的深度值来确定原始聚类中心的步骤具体包括：获取选取的所有框内像素点在所述深度图像中对应位置处的深度点的深度值的序列；从所述序列中选取若干深度值并计算选取的所有深度值的深度均值；确定与框内像素点位置对应，并且深度值与所述深度均值的差值在阈值范围内的所有深度点为原始聚类中心。3.如权利要求2所述的基于双目相机的障碍物标识方法，其特征在于，所述从所述序列中选取若干深度值并计算选取的所有深度值的深度均值的步骤具体包括：按照深度值的大小对所述序列进行排序；从经排序的序列中选取若干相邻的深度值并计算选取的所有深度值的深度均值。4.如权利要求2所述的基于双目相机的障碍物标识方法，其特征在于，所述对所述深度图像进行聚类的步骤具体包括：对于每一原始聚类中心，均执行聚类操作；判断经由所述聚类操作是否产生新的聚类中心，所述新的聚类中心的深度值满足第一预设条件并且与当前聚类中心之间的距离满足第二预设条件；若是，则对每一新的聚类中心均重复执行所述聚类操作，并返回所述判断经由所述聚类操作是否产生新的聚类中心的步骤。5.如权利要求1所述的基于双目相机的障碍物标识方法，其特征在于，所述障碍物标识方法还包括：对所述深度图像中不包括在所有已识别点集合中的深度点进行聚类，以获得至少一个未识别点集合；将所述未识别点集合标识为未知障碍物。6.如权利要求5所述的基于双目相机的障碍物标识方法，其特征在于，所述障碍物标识方法还包括：根据已识别点集合来进一步标识所述已识别点集合标识的障碍物的位置信息；根据未识别点集合来进一步标识所述未识别点集合标识的未知障碍物的位置信息。7.如权利要求6所述的基于双目相机的障碍物标识方法，其特征在于，所述障碍物标识方法还包括：输出已识别点集合，以及所述已识别点集合标识的障碍物、障碍物的位置信息；输出未识别点集合，以及所述未识别点集合标识的未知障碍物、未知障碍物的位置信息。8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的基于双目相机的障碍物标识方法。9.一种计算机可读存...

【专利技术属性】
技术研发人员：李政，李雨倩，刘懿，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11