基于点云数据的道路图像分割的方法、装置以及电子设备制造方法及图纸

技术编号:18576388 阅读:23 留言:0更新日期:2018-08-01 11:26
本说明书实施例公开了一种基于点云数据的道路图像分割的方法、装置以及电子设备,所述方法包括:获取的道路图像的点云数据,降维得到对应的三维的张量数据;利用轻量级深度神经网络,根据所述三维的张量数据分割所述道路图像;其中,所述轻量级深度神经网络基于三维的张量数据训练得到。通过采用球面坐标系对采集到的点云数据进行降维处理,能够解决原始采集到的点云数据的稀疏问题,可以提高后期利用深度神经网络进行运算的速度;进一步地,利用轻量级的基于mobilenet网络结构的unet深度神经网络框架,可以基于嵌入式设备(例如,FPGA)运行,能够有效提升运算速度,降低设备的运算功耗。

Road image segmentation method, device and electronic equipment based on point cloud data

A method, device and electronic device for road image segmentation based on point cloud data are disclosed in the embodiment of the specification. The method includes: point cloud data obtained from the road image, and the corresponding three-dimensional tensor data are obtained by reducing dimension; a lightweight depth neural network is used to segment the tensor data according to the three dimensions. The road image is described, wherein the lightweight deep neural network is trained based on three-dimensional tensor data. By using the spherical coordinate system to reduce the dimension of the collected point cloud data, it can solve the sparse problem of the original collected point cloud data, and can improve the operation speed of the later use of the depth neural network. Further, the UNET deep neural network framework based on the lightweight mobilenet network structure can be used. Based on embedded devices (such as FPGA), it can effectively improve the speed of operation and reduce the power consumption of the device.

【技术实现步骤摘要】
基于点云数据的道路图像分割的方法、装置以及电子设备
本说明书涉及计算机
,尤其涉及一种基于点云数据的道路图像分割的方法、装置以及电子设备。
技术介绍
在自动驾驶领域,道路分割的重要性在于它能够为自动驾驶车辆提供可靠的通行道路区域。传统的道路分割方法往往是根据利用摄像头采集的图像数据来进行道路分割;但是,由于缺乏道路的3d信息,在精度上有所欠缺。为了解决道路分割的精度的问题,近来激光雷达的使用越来越多,它虽然价格昂贵,但能够提供3d信息,且还可以实现精确定位。近年来更有将激光雷达和图像数据融合使用,可以进一步提升精度。但它们的共同问题是处理的数据量大,从而会导致数据处理速度较慢。本专利技术则针对这些缺点来设计更加有效且精确的分割算法。基于现有技术,需要能够更加精确、快速的进行道路分割的方案。
技术实现思路
本说明书实施例提供一种基于点云数据的道路图像分割的方法、装置以及电子设备,用于解决以下技术问题:需要能够更加精确、快速的进行道路分割的方案。为解决上述技术问题,本说明书实施例是这样实现的:本说明书实施例提供的一种基于点云数据的道路图像分割的方法,包括:获取道路图像的点云数据,降维得到对应的三维的张量数据;利用轻量级深度神经网络,根据所述三维的张量数据分割所述道路图像;其中,所述轻量级深度神经网络基于所述三维的张量数据训练得到。进一步地,获取道路图像的点云数据,具体包括:通过激光雷达扫描获得所述道路图像的点云数据。进一步地,降维得到对应的三维的张量数据,具体包括:将所述点云数据中三维直角坐标系转化为球面坐标系;基于所述球面坐标系,对所述道路图像进行网格分割;建立球面坐标与网格之间的对应关系,获得所述三维的张量数据。进一步地,所述轻量级深度神经网络包括:基于mobilenet网络结构的unet深度神经网络框架;所述unet深度神经网络框架包括:采用深度可分解卷积算法的encoder网络和decoder网络。进一步地,根据所述三维的张量数据分割所述道路图像,具体包括:将获得的所述三维的张量数据输入所述轻量级深度神经网络;基于嵌入式设备运行所述轻量级深度神经网络,分割所述道路图像。本说明书实施例提供的一种基于点云数据的道路图像分割的装置,包括:降维模块,获取道路图像的点云数据,降维得到对应的三维的张量数据;分割模块,利用轻量级深度神经网络,根据所述三维的张量数据分割所述道路图像;其中,所述轻量级深度神经网络基于所述三维的张量数据训练得到。进一步地,所述装置还包括:激光雷达;通过激光雷达扫描获得所述道路图像的点云数据。进一步地,通过所述降维模块,降维得到对应的三维的张量数据,具体包括:将所述点云数据中三维直角坐标系转化为球面坐标系;基于所述球面坐标系,对所述道路图像进行网格分割;建立球面坐标与网格之间的对应关系,获得所述三维的张量数据。进一步地,所述分割模块中的轻量级深度神经网络包括:基于mobilenet网络结构的unet深度神经网络框架;所述unet深度神经网络框架包括:采用深度可分解卷积算法的encoder网络和decoder网络。进一步地,所述分割模块,根据所述三维的张量数据分割所述道路图像,具体包括:将获得的所述三维的张量数据输入所述轻量级深度神经网络;所述分割模块,基于嵌入式设备运行所述轻量级深度神经网络,分割所述道路图像。本说明书实施例提供的一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:获取的道路图像的点云数据,降维得到对应的三维的张量数据;利用轻量级深度神经网络,根据所述三维的张量数据分割所述道路图像;其中,所述轻量级深度神经网络基于所述三维的张量数据训练得到。本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果:通过采用球面坐标系对采集到的点云数据进行降维处理,能够解决原始采集到的点云数据的稀疏问题,可以提高后期利用深度神经网络进行运算的速度;进一步地,利用轻量级的基于mobilenet网络结构的unet深度神经网络框架,可以基于嵌入式设备(例如,FPGA)运行,能够有效提升运算速度,降低设备的运算功耗。附图说明为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。图1为本说明书的方案在一种实际应用场景下涉及的基于点云数据的道路图像分割的过程的示意图;图2为本说明书实施例提供的一种基于点云数据的道路分割的方法的流程示意图;图3为本说明书实施例提供的直角坐标系转化为球面坐标系的示意图;图4为本说明书实施例提供的基于点云数据的道路分割的装置的示意图。具体实施方式为了使本
的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本说明书实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。图1为本说明书的方案在一种实际应用场景下涉及的基于点云数据的道路图像分割的过程的示意图。例如,利用激光雷达,采集获得道路图像的点云数据,由于获得的点云数据比较稀疏而且不规则,为了便于后续计算,利用球面坐标系对多个点云数据进行降维,得到紧凑的三维的张量数据(h*w*c)。进一步地,利用轻量级深度神经网络(例如,基于mobilenet网络结构的unet深度神经网络框架)作为分割网络,该轻量级的深度神经网络可以在嵌入式设备(例如,FPGA)上运行,有利于降低运行能耗,提升运行速度。需要说明的是,这里所说的道路图像可以理解为能够供车辆行驶的场所,包括常见的公路,也可以包括某些室内场所。点云数据用于表征车辆行驶道路的周围环境监测到的参数。当然,该图像分割方法还可以用来对其他图像进行分割。基于上述场景,下面对本说明书的方案进行详细说明。图2为本说明书实施例提供的一种基于点云数据的道路图像分割的方法的流程示意图,该方法具体可以包括以下步骤:步骤S202:获取的道路图像的点云数据,降维得到对应的三维的张量数据。扫描获取的道路图像通常以点的形式记录,每一个点包含有三维坐标。点云数据除了具有几何位置(例如,通过三维直角坐标系表示的点)以外,有些可能含有颜色信息(RGB)或反射强度信息(Intensity)等,这些信息都可以通过激光雷达获取。颜色信息通常是通过相机获取彩色影像,然后将对应位置的像素的颜色信息(RGB)赋予点云中对应的点。强度信息的获取是激光扫描仪接收装置采集到的回波强度,此强度信息与目标的表面材质、粗糙度、入射角方向,以及仪器的发射能量,激光波长有关。这里所说的道路图像可以是标准的道路图像(例如,具有行车标记线、指示牌、指示灯等参考的道路),也可以是非标准道路图像(例如,乡间道路或者胡同等)。如前文所述可知,获取的原始点云数据通常比较稀疏而且不规则,为了本文档来自技高网
...

【技术保护点】
1.一种基于点云数据的道路图像分割的方法,其特征在于,包括:获取道路图像的点云数据,降维得到对应的三维的张量数据;利用轻量级深度神经网络,根据所述三维的张量数据分割所述道路图像;其中,所述轻量级深度神经网络基于所述三维的张量数据训练得到。

【技术特征摘要】
1.一种基于点云数据的道路图像分割的方法,其特征在于,包括:获取道路图像的点云数据,降维得到对应的三维的张量数据;利用轻量级深度神经网络,根据所述三维的张量数据分割所述道路图像;其中,所述轻量级深度神经网络基于所述三维的张量数据训练得到。2.如权利要求1所述的方法,其特征在于,获取道路图像的点云数据,具体包括:通过激光雷达扫描获得所述道路图像的点云数据。3.如权利要求2所述的方法,其特征在于,降维得到对应的三维的张量数据,具体包括:将所述点云数据中三维直角坐标系转化为球面坐标系;基于所述球面坐标系,对所述道路图像进行网格分割;建立球面坐标与网格之间的对应关系,获得所述三维的张量数据。4.如权利要求3所述的方法,其特征在于,根据所述三维的张量数据分割所述道路图像,具体包括:将获得的所述三维的张量数据输入所述轻量级深度神经网络;基于嵌入式设备运行所述轻量级深度神经网络,分割所述道路图像。5.如权利要求1所述的方法,其特征在于,所述轻量级深度神经网络包括:基于mobilenet网络结构的unet深度神经网络框架;所述unet深度神经网络框架包括:采用深度可分解卷积算法的encoder网络和decoder网络。6.一种基于点云数据的道路图像分割的装置,其特征在于,所述装置包括:降维模块,获取道路图像的点云数据,降维得到对应的三维的张量数据;分割模块,利用轻量级深度神经网络,根据所述三维的张量数据分割所述道路图像;其中,所述轻量级深度神经网...

【专利技术属性】
技术研发人员:陈江林谢波
申请(专利权)人:新智数字科技有限公司
类型:发明
国别省市:河北,13

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1