三维全卷积网络实现设备制造技术

技术编号:18426954 阅读:33 留言:0更新日期:2018-07-12 02:08
本发明专利技术实施例提供一种三维全卷积网络实现设备,该设备包括:接收单元,用于接收初始点云信息,该初始点云信息采用树状存储结构;以及卷积单元,用于对该初始点云信息进行通过所述三维全卷积网络的多层卷积及全卷积运算,以得到含有若干类类型信息的反体积像素预测信息。由于3D环境中包含丰富的集合特性信息,传统的基于视觉的解决方法无法有效的对3D场景进行实时分析,本发明专利技术实施例提出一种基于树型结构树的3D卷积方案,可完成对与3D点云环境的语义分类,提高对于3D环境的理解。

Realization of three dimensional full convolution network

An embodiment of the invention provides a three-dimensional fully convolution network implementation device, which includes: a receiving unit for receiving initial point cloud information, the initial point cloud information using a tree like storage structure, and a convolution unit for multi-layer convolution and full convolution of the initial point cloud information through the three dimensional full convolution network. Operation to obtain inverse volume pixel prediction information containing certain class information. Because of the rich collection characteristics information in the 3D environment, the traditional vision based solution can not effectively analyze the 3D scene in real time. A 3D convolution scheme based on the tree structure tree is proposed in the present invention, which can complete the semantic classification of the 3D point cloud environment and improve the understanding of the 3D environment.

【技术实现步骤摘要】
三维全卷积网络实现设备
本专利技术涉及计算机领域,具体地,涉及一种三维全卷积网络实现设备。
技术介绍
近几年来,随着深度学习的不断发展,图像领域中的目标检测、目标识别、场景分割、场景理解等问题上已经取得了巨大的突破,但是针对于目前的深度学习框架基本都是基于2D信息,针对于3D数据(基于深度信息的3D数据或者基于激光点云的3D信息)的研究工作还比较少,其中一种比较关键的问题是针对于3D数据的卷积操作的计算复杂度要远远大于2D数据的卷积操作。以ImageNet为例,如果在第一层卷积网络的输入图片的规格为244×244×3(3通道RGB),输出为96×7×7(96个滤波器,7x7的卷积核),则其所需要的操作数为96×(224/2)×(224/2);对于同样边大小的三维数据224×224×224×3(每个点三个通道RGB),输出为96×7×7×7,则其所需要的操作为96×(224/2)×(224/2)×(224/2),是二维空间卷积计算的112倍。对于ImageNet的ModelC模型,二维卷积网络总共所需要的操作约为5.3x1010次计算,三维卷积所需要的计算约为6.1x1012。但是针对于无人车环境感知的3D点云数据,取50mx50mx10m的三维空间,栅格分辨率取0.1m,则对应的数据大小为500×500×100(不考虑颜色信息),这样带来的计算复杂度远不能满足实时性的要求。
技术实现思路
本专利技术实施例的目的是提供一种三维全卷积网络实现设备,其可针对上述
技术介绍
中所提及的一个或多个问题,给出解决方案,实现云端地图更新。为了实现上述目的,本专利技术一实施例提供一种三维全卷积网络实现方法,该方法包括:接收初始点云信息,该初始点云信息采用树状存储结构;以及对该初始点云信息进行通过所述三维全卷积网络的多层卷积及全卷积运算,以得到含有若干类类型信息的反体积像素预测信息。可选的,所述点云信息采用八叉树存储结构。可选的,所述对该初始点云信息进行通过所述三维全卷积网络的多层卷积及全卷积运算包含:在所述初始点云信息内查找非空子节点及其相邻子节点的信息;以及对查找得到的信息进行3D卷积核计算。可选的,对查找得到的信息进行3D卷积核计算包含:对查找得到的N×N×N的节点信息,通过以下公式计算得到卷积结果:其中,I(m,i)表示八叉树地图第m层的第i个子节点,D(I(m,j),I(m,i))表示空间中节点I(m,j)与节点I(m,i)之间欧氏距离,S(m,i)表示以I(m,i)为中心,边长为N的立方体节点集合,C(m,i)表示节点I(m,j)所对应的卷积计算结果,K为大小为N3的卷积核。可选的,在对查找得到的信息进行3D卷积核计算之后,该方法还包括:对所述卷积结果以向父节点回溯的方式进行下采样。可选的,在所述初始点云信息内查找非空子节点及其相邻子节点的信息之前,该方法还包括:对所述初始点云信息按照以下公式进行滤波处理:其中,M表示对于空间中的节点,与其邻近的节点的数目;pi为邻近节点i处的占据概率;wi为邻近节点i在卷积核中对应的权重大小;R表示对立方体进行滤波处理之后的值。可选的,所述若干类类型信息包含以下中一者或多个:行人、骑自行车的人、汽车、货车、道路、人行道。可选的,该方法还包括:利用人工标记的类型数据对所述三维全卷积网络进行训练。相应地,本专利技术一实施例还提供一种三维全卷积网络实现设备,该设备包括:接收单元,用于接收初始点云信息,该初始点云信息采用树状存储结构;以及卷积单元,用于对该初始点云信息进行通过所述三维全卷积网络的多层卷积及全卷积运算,以得到含有若干类类型信息的反体积像素预测信息。可选的,所述点云信息采用八叉树存储结构。可选的,所述卷积单元包含:查找单元,用于在所述初始点云信息内查找非空子节点及其相邻子节点的信息;以及3D卷积核计算单元,用于对查找得到的信息进行3D卷积核计算。可选的,对查找得到的信息进行3D卷积核计算包含:对查找得到的N×N×N的节点信息,通过以下公式计算得到卷积结果:其中,I(m,i)表示八叉树地图第m层的第i个子节点,D(I(m,j),I(m,i))表示空间中节点I(m,j)与节点I(m,i)之间欧氏距离,S(m,i)表示以I(m,i)为中心,边长为N的立方体节点集合,C(m,i)表示节点I(m,j)所对应的卷积计算结果,K为大小为N3的卷积核。可选的,该设备还包含:下采样单元,用于在对查找得到的信息进行3D卷积核计算之后,对所述卷积结果以向父节点回溯的方式进行下采样。可选的,该设备还包含:滤波单元,用于在所述初始点云信息内查找非空子节点及其相邻子节点的信息之前,对所述初始点云信息按照以下公式进行滤波处理:其中,M表示对于空间中的节点,与其邻近的节点的数目;pi为邻近节点i处的占据概率;wi为邻近节点i在卷积核中对应的权重大小;R表示对立方体进行滤波处理之后的值。可选的,所述若干类类型信息包含以下中一者或多个:行人、骑自行车的人、汽车、货车、道路、人行道。可选的,该设备还包括:训练单元,用于利用人工标记的类型数据对所述三维全卷积网络进行训练。相应地,本专利技术一实施例还提供一种电子设备,该电子设备包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述三维全卷积网络实现方法。由于3D环境中包含丰富的集合特性信息,传统的基于视觉的解决方法无法有效的对3D场景进行实时分析,本专利技术实施例提出一种基于树型结构树的3D卷积方案,可完成对与3D点云环境的语义分类,提高对于3D环境的理解。另外,传统方法需要通过对3D空间做基于滑动窗口的计算方法,但是显示环境中由于存在大量的0元素,大大降低了计算效率,而通过树状存储结构建模,其叶节点即为被占据的栅格,同时由于其树形结构,对于叶节点的查找,十分方便。本专利技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本专利技术实施例的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本专利技术实施例,但并不构成对本专利技术实施例的限制。在附图中:图1为本专利技术一实施例提供的三维全卷积网络实现方法的流程图;图2为八叉树与空间划分区域的对应关系;图3为本专利技术另一实施例提供的三维全卷积网络实现方法的流程图;图4为点云信息内的节点关系示意图;图5为本专利技术再一实施例提供的三维全卷积网络实现方法的流程图;图6为向父节点回溯的示意图;图7为本专利技术实施例提供的三维全卷积网络实现方法所实现的全卷积网络框架示意图;图8为本专利技术一实施例提供的三维全卷积网络实现设备的结构示意图;图9为本专利技术再一实施例提供的三维全卷积网络实现设备的结构示意图;以及图10是本专利技术一实施例提供的执行云端地图更新方法的电子设备的硬件结构示意图。具体实施方式以下结合附图对本专利技术实施例的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本专利技术实施例,并不用于限制本专利技术实施例。图1为本专利技术一实施例提供的三维全卷积网络实现方法的流程图。如图1所示,本专利技术一实施例提供一种三维全卷积网络实现方法,该方法包括:步骤S110,接收初始点云本文档来自技高网...

【技术保护点】
1.一种三维全卷积网络实现设备,其特征在于,该设备包括:接收单元,用于接收初始点云信息,该初始点云信息采用树状存储结构;以及卷积单元,用于对该初始点云信息进行通过所述三维全卷积网络的多层卷积及全卷积运算,以得到含有若干类类型信息的反体积像素预测信息。

【技术特征摘要】
1.一种三维全卷积网络实现设备,其特征在于,该设备包括:接收单元,用于接收初始点云信息,该初始点云信息采用树状存储结构;以及卷积单元,用于对该初始点云信息进行通过所述三维全卷积网络的多层卷积及全卷积运算,以得到含有若干类类型信息的反体积像素预测信息。2.根据权利要求1所述的三维全卷积网络实现设备,其特征在于,所述点云信息采用八叉树存储结构。3.根据权利要求2所述的三维全卷积网络实现设备,其特征在于,所述卷积单元包含:查找单元,用于在所述初始点云信息内查找非空子节点及其相邻子节点的信息;3D卷积核计算单元,用于对查找得到的信息进行3D卷积核计算。4.根据权利要求2所述的三维全卷积网络实现设备,其特征在于,对查找得到的信息进行3D卷积核计算包含:对查找得到的N×N×N的节点信息,通过以下公式计算得到卷积结果:其中,I(m,i)表示八叉树地图第m层的第i个子节点,D(I(m,j),I(m,i))表示空间中节点I(m,j)与节点I(m,i)之间欧氏距离,S(m,i)表示以I(m,i)为中心,边长为N的立...

【专利技术属性】
技术研发人员:殷鹏
申请(专利权)人:乐视汽车北京有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1