An embodiment of the invention provides a three-dimensional fully convolution network implementation device, which includes: a receiving unit for receiving initial point cloud information, the initial point cloud information using a tree like storage structure, and a convolution unit for multi-layer convolution and full convolution of the initial point cloud information through the three dimensional full convolution network. Operation to obtain inverse volume pixel prediction information containing certain class information. Because of the rich collection characteristics information in the 3D environment, the traditional vision based solution can not effectively analyze the 3D scene in real time. A 3D convolution scheme based on the tree structure tree is proposed in the present invention, which can complete the semantic classification of the 3D point cloud environment and improve the understanding of the 3D environment.
【技术实现步骤摘要】
三维全卷积网络实现设备
本专利技术涉及计算机领域,具体地,涉及一种三维全卷积网络实现设备。
技术介绍
近几年来,随着深度学习的不断发展,图像领域中的目标检测、目标识别、场景分割、场景理解等问题上已经取得了巨大的突破,但是针对于目前的深度学习框架基本都是基于2D信息,针对于3D数据(基于深度信息的3D数据或者基于激光点云的3D信息)的研究工作还比较少,其中一种比较关键的问题是针对于3D数据的卷积操作的计算复杂度要远远大于2D数据的卷积操作。以ImageNet为例,如果在第一层卷积网络的输入图片的规格为244×244×3(3通道RGB),输出为96×7×7(96个滤波器,7x7的卷积核),则其所需要的操作数为96×(224/2)×(224/2);对于同样边大小的三维数据224×224×224×3(每个点三个通道RGB),输出为96×7×7×7,则其所需要的操作为96×(224/2)×(224/2)×(224/2),是二维空间卷积计算的112倍。对于ImageNet的ModelC模型,二维卷积网络总共所需要的操作约为5.3x1010次计算,三维卷积所需要的计算约为6.1x1012。但是针对于无人车环境感知的3D点云数据,取50mx50mx10m的三维空间,栅格分辨率取0.1m,则对应的数据大小为500×500×100(不考虑颜色信息),这样带来的计算复杂度远不能满足实时性的要求。
技术实现思路
本专利技术实施例的目的是提供一种三维全卷积网络实现设备,其可针对上述
技术介绍
中所提及的一个或多个问题,给出解决方案,实现云端地图更新。为了实现上述目的,本专利技术一实施例提供 ...
【技术保护点】
1.一种三维全卷积网络实现设备,其特征在于,该设备包括:接收单元,用于接收初始点云信息,该初始点云信息采用树状存储结构;以及卷积单元,用于对该初始点云信息进行通过所述三维全卷积网络的多层卷积及全卷积运算,以得到含有若干类类型信息的反体积像素预测信息。
【技术特征摘要】
1.一种三维全卷积网络实现设备,其特征在于,该设备包括:接收单元,用于接收初始点云信息,该初始点云信息采用树状存储结构;以及卷积单元,用于对该初始点云信息进行通过所述三维全卷积网络的多层卷积及全卷积运算,以得到含有若干类类型信息的反体积像素预测信息。2.根据权利要求1所述的三维全卷积网络实现设备,其特征在于,所述点云信息采用八叉树存储结构。3.根据权利要求2所述的三维全卷积网络实现设备,其特征在于,所述卷积单元包含:查找单元,用于在所述初始点云信息内查找非空子节点及其相邻子节点的信息;3D卷积核计算单元,用于对查找得到的信息进行3D卷积核计算。4.根据权利要求2所述的三维全卷积网络实现设备,其特征在于,对查找得到的信息进行3D卷积核计算包含:对查找得到的N×N×N的节点信息,通过以下公式计算得到卷积结果:其中,I(m,i)表示八叉树地图第m层的第i个子节点,D(I(m,j),I(m,i))表示空间中节点I(m,j)与节点I(m,i)之间欧氏距离,S(m,i)表示以I(m,i)为中心,边长为N的立...
【专利技术属性】
技术研发人员:殷鹏,
申请(专利权)人:乐视汽车北京有限公司,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。