路肩提取方法及装置、电子设备和计算机可读介质制造方法及图纸

本公开提供一种路肩提取方法、装置以及电子设备和计算机可读介质，涉及图像处理领域，该方法包括：获取道路的点云数据，所述道路的点云数据包括所述道路的三维坐标信息；将所述道路的点云数据分割成各点云块；将各点云块中的点云数据分别输入基于深度强化学习训练的深度神经网络，以确定各点云块的路肩坐标；根据各点云块的路肩坐标获得所述道路的路肩线。本发明专利技术实施例的技术方案能够通过基于深度强化学习训练的深度神经网络，确定道路点云块中的路肩坐标，并根据各个点云块的路肩坐标确定道路的路肩线。该路肩提取方法准确性高、鲁棒性强，并能够节约人工成本。

【技术实现步骤摘要】
路肩提取方法及装置、电子设备和计算机可读介质
本公开涉及图像处理
，尤其涉及一种路肩提取方法及装置、电子设备和计算机可读介质。
技术介绍
路肩提取是道路智能感知技术中不可或缺的部分，可辅助实现街景仿真、自动驾驶和高精地图制作。同时，这也是计算机视觉中的研究难点，一方面路肩存在形式多种多样，在高低、纹理、颜色和宽度方面各有不同，另一方面路牙区域往往被其他物体遮挡，例如车辆、行人、树叶和阴影等。现有的路肩提取技术主要分为基于规则的和基于监督学习的方法。在基于规则的方法中，往往根据人们对路肩的外观感知来制定各种规则，然而这种经验规则过于单一，难于涵盖各种场景，因此这类方法存在准确性和鲁棒性较差的问题。在基于监督学习的方法中，往往预先采集和标注大量样本训练模型进行街景感知，为了满足鲁棒性需求，该方法需要预先提供大量人工标注的样本，样本内容必须丰富多样和分布均衡，这大大提升了人工标注成本，因此该方法在训练阶段存在自动化程度低的缺陷。所以，找到一种准确性高、鲁棒性好，节省人工的路肩提取方法极其具有意义的。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
有鉴于此，本公开提供一种路肩提取方法及装置、电子设备和计算机可读介质，能够在提高路肩提取的准确性和鲁棒性的同时，减少人工成本。本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。根据本公开实施例的第一个方面，提出一种路肩提取方法，该方法包括：获取道路的点云数据，所述道路的点云数据包括所述道路的三维坐标信息；将所述道路的点云数据分割成各点云块；将各点云块中的点云数据分别输入基于深度强化学习训练的深度神经网络，以确定各点云块的路肩坐标；根据各点云块的路肩坐标获得所述道路的路肩线。在一些实施例中，所述将所述道路的点云数据分割成各点云块包括：使用预设尺寸的长方体，沿着道路方向按照预设步长在所述道路的点云数据中提取各点云块；将各点云块中的点云数据投影至各点云块坐标系下。在一些实施例中，所述深度神经网络包括三维空间变换矩阵预测网络、第一双层感知机模型、第一特征空间变换矩阵预测网络、第一三层感知机模型和基于循环神经网络的分类器；其中，将各点云块中的点云数据分别输入基于深度强化学习训练的深度神经网络，以确定各点云块的路肩坐标包括：将各点云块中的点云数据分割成包括三维坐标信息的三维点云数据；将各点云块中的三维点云数据通过所述三维空间变换矩阵预测网络以估计出第一变换矩阵，并将所述第一变换矩阵作用在所述三维点云数据上，实现所述三维点云数据的对齐；将对齐后的三维点云数据通过所述第一双层感知机模型进行特征提取；将所述三维点云数据的特征通过所述第一特征空间变换矩阵预测网络以估计第二变换矩阵，并将所述第二变换矩阵作用在所述三维点云数据的特征上，实现所述三维点云数据的特征的对齐；把经过特征对齐的所述三维点云数据的特征，利用所述第一三层感知机模型进行特征提取，获得所述三维点云数据的全局特征向量；将所述三维点云数据的全局特征向量输入至所述基于循环神经网络的分类器中进行分类，以确定各点云块的路肩坐标。在一些实施例中，所述道路的点云数据还包括三维颜色信息和强度信息，所述深度神经网络还包括四维空间变换矩阵预测网络、第二双层感知机模型、第二特征空间变换矩阵预测网络和第二三层感知机模型；将各点云块中的点云数据分别输入基于深度强化学习训练的深度神经网络，以确定各点云块的路肩坐标还包括：将各点云块中的点云数据分割成包括三维颜色信息和强度信息的四维点云数据；将各点云块中的四维点云数据通过所述四维空间变换矩阵预测网络以估计出第三变换矩阵，并将所述第三变换矩阵作用在所述四维点云数据上，实现所述四维点云数据的对齐；将对齐后的四维点云数据通过所述第二双层感知机模型进行特征提取；将所述四维点云数据的特征通过所述第二特征空间变换矩阵预测网络以估计第四变换矩阵，并将所述第四变换矩阵作用到所述四维点云数据的特征上，实现所述四维点云数据的特征的对齐；把经过特征对齐的所述四维点云数据的特征，利用所述第二三层感知机模型进行特征提取，获得所述四维点云数据的全局特征向量；级联所述三维点云数据和所述四维点云数据的全局特征向量，输入至所述基于循环神经网络的分类器中进行分类，以确定各点云块的路肩坐标。在一些实施例中，路肩提取方法还包括：从各点云块中提取训练点云块；将各训练点云块分别输入所述深度神经网络，以确定各个训练点云块的路肩坐标；根据各训练点云块的路肩坐标获取各训练点云块的奖赏值；利用各训练点云块的奖赏值自主训练所述深度神经网络，以优化所述深度神经网络的网络参数。在一些实施例中，各训练点云块的奖赏值包括各训练点云块的梯度奖赏值、高度奖赏值、高程一致性奖赏值和平行行车轨迹奖赏值；其中，根据各训练点云块的路肩坐标获取各训练点云块的奖赏值包括：根据各训练点云块的路肩两侧点云高程差获取各训练点云块的梯度奖赏值；根据各训练点云路肩预设范围内的点云高程和行车轨迹高程获取各训练点云块的高度奖赏值；根据各训练点云块的路肩内外区域的点云高程相似度获取各训练点云块的高程一致性奖赏值；根据各训练点云块的路肩斜率和行车轨迹斜率获取各训练点云块的平行行车轨迹奖赏值；根据各训练点云块的梯度奖赏值、高度奖赏值、高程一致性奖赏值和平行行车轨迹奖赏值获得各训练点云块的奖赏值。在一些实施例中，所述道路的点云数据还包括所述道路的三维颜色信息和强度信息，各训练点云块的奖赏值还包括各训练点云块的强度一致性奖赏值和颜色一致性奖赏值；其中，根据各训练点云块的路肩坐标获取各训练点云块的奖赏值还包括：根据各训练点云块的路肩内外区域的点云强度值相似度获取各训练点云块的强度一致性奖赏值；根据各训练点云块的路肩内外区域的点云颜色值相似度获取各训练点云块的颜色一致性奖赏值；根据各训练点云块的梯度奖赏值、高度奖赏值、高程一致性奖赏值、平行行车轨迹奖赏值、强度一致性奖赏值和颜色一致性奖赏值获得各训练点云块的奖赏值。根据本公开实施例的第二方面，本公开提出一种路肩提取装置，该装置包括：点云获取模块，配置为获取道路的点云数据，所述道路的点云数据包括所述道路的三维坐标信息；点云块获取模块，配置为将所述道路的点云数据分割成各点云块；路肩坐标获取模块，配置为将各点云块中的点云数据分别输入基于深度强化学习训练的深度神经网络，以确定各点云块的路肩坐标；路肩线生成模块，配置为根据各点云块的路肩坐标获得所述道路的路肩线。根据本公开实施例的第三方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一项所述的路肩提取方法。根据本公开实施例的第四方面，提出一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如上述任一项所述的路肩提取方法。根据本公开某些实施例本文档来自技高网...

【技术保护点】
1.一种路肩提取方法，其特征在于，包括：/n获取道路的点云数据，所述道路的点云数据包括所述道路的三维坐标信息；/n将所述道路的点云数据分割成各点云块；/n将各点云块中的点云数据分别输入基于深度强化学习训练的深度神经网络，以确定各点云块的路肩坐标；/n根据各点云块的路肩坐标获得所述道路的路肩线。/n

【技术特征摘要】
1.一种路肩提取方法，其特征在于，包括：
获取道路的点云数据，所述道路的点云数据包括所述道路的三维坐标信息；
将所述道路的点云数据分割成各点云块；
将各点云块中的点云数据分别输入基于深度强化学习训练的深度神经网络，以确定各点云块的路肩坐标；
根据各点云块的路肩坐标获得所述道路的路肩线。


2.根据权利要求1所述方法，其特征在于，所述将所述道路的点云数据分割成各点云块包括：
使用预设尺寸的长方体，沿着道路方向按照预设步长在所述道路的点云数据中提取各点云块；
将各点云块中的点云数据投影至各点云块坐标系下。


3.根据权利要求1所述方法，其特征在于，所述深度神经网络包括三维空间变换矩阵预测网络、第一双层感知机模型、第一特征空间变换矩阵预测网络、第一三层感知机模型和基于循环神经网络的分类器；其中，将各点云块中的点云数据分别输入基于深度强化学习训练的深度神经网络，以确定各点云块的路肩坐标包括：
将各点云块中的点云数据分割成包括三维坐标信息的三维点云数据；
将各点云块中的三维点云数据通过所述三维空间变换矩阵预测网络以估计出第一变换矩阵，并将所述第一变换矩阵作用在所述三维点云数据上，实现所述三维点云数据的对齐；
将对齐后的三维点云数据通过所述第一双层感知机模型进行特征提取；
将所述三维点云数据的特征通过所述第一特征空间变换矩阵预测网络以估计第二变换矩阵，并将所述第二变换矩阵作用在所述三维点云数据的特征上，实现所述三维点云数据的特征的对齐；
把经过特征对齐的所述三维点云数据的特征，利用所述第一三层感知机模型进行特征提取，获得所述三维点云数据的全局特征向量；
将所述三维点云数据的全局特征向量输入至所述基于循环神经网络的分类器中进行分类，以确定各点云块的路肩坐标。


4.根据权利要求3所述方法，其特征在于，所述道路的点云数据还包括三维颜色信息和强度信息，所述深度神经网络还包括四维空间变换矩阵预测网络、第二双层感知机模型、第二特征空间变换矩阵预测网络和第二三层感知机模型；将各点云块中的点云数据分别输入基于深度强化学习训练的深度神经网络，以确定各点云块的路肩坐标还包括：
将各点云块中的点云数据分割成包括三维颜色信息和强度信息的四维点云数据；
将各点云块中的四维点云数据通过所述四维空间变换矩阵预测网络以估计出第三变换矩阵，并将所述第三变换矩阵作用在所述四维点云数据上，实现所述四维点云数据的对齐；
将对齐后的四维点云数据通过所述第二双层感知机模型进行特征提取；
将所述四维点云数据的特征通过所述第二特征空间变换矩阵预测网络以估计第四变换矩阵，并将所述第四变换矩阵作用到所述四维点云数据的特征上，实现所述四维点云数据的特征的对齐；
把经过特征对齐的所述四维点云数据的特征，利用所述第二三层感知机模型进行特征提取，获得所述四维点云数据的全局特征向量；
级联所述三维点...

【专利技术属性】
技术研发人员：李艳丽，孙晓峰，杨恒，蔡金华，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11