基于自注意力的多尺度轻量化三维点云分割方法及装置制造方法及图纸

本申请提供基于自注意力的多尺度轻量化三维点云分割方法及装置，涉及自动驾驶技术领域，包括：利用预先训练完成的多尺度空洞卷积模型对二维图像进行处理，得到第一特征图；利用预先训练完成的宽度维度下采样模型对二维图像进行处理，得到第二特征图

【技术实现步骤摘要】
基于自注意力的多尺度轻量化三维点云分割方法及装置


[0001]本申请涉及自动驾驶
，尤其是涉及基于自注意力的多尺度轻量化三维点云分割方法及装置
。

技术介绍

[0002]目前，点云数据语义分割方法有两种，第一种是直接对点云数据进行处理，通过
PointNet
框架直接把点云数据传入神经网络进行学习；第二种是对点云数据进行体素化操作，由于点云数据都都是稀疏并且庞大的，这两种方法都需要巨大的计算成本，不适合实时应用
。
[0003]此外，现有技术中还可以将
3D
点云数据通过球面转化为
2D
图像数据，然后采用高效的卷积和反卷积运算来提取目标的特征，这在大尺寸物体
(
如汽车
)
上取得了显著的性能，然而，在小尺寸物体
(
如行人
)
上的性能欠佳，因为该方法不能同时提取大物体和小物体的显著特征
。

技术实现思路

[0004]有鉴于此，本申请提供了基于自注意力的多尺度轻量化三维点云分割方法及装置，以解决上述技术问题
。
[0005]第一方面，本申请实施例提供一种基于自注意力的多尺度轻量化三维点云分割方法，包括：
[0006]将原始三维点云数据通过球面变换转化为二维图像；
[0007]利用预先训练完成的多尺度空洞卷积模型对二维图像进行处理，得到第一特征图；
[0008]利用预先训练完成的宽度维度下采样模型对二维图像进行处理，得到第二特征图
、
第三特征图和第四特征图；
[0009]利用预先训练完成的空间注意力模型对二维图像
、
第二特征图
、
第三特征图和第四特征图进行处理，得到第五特征图；
[0010]利用预先训练完成的宽度维度上采样模型对第四特征图和第五特征图进行处理，得到第六特征图；
[0011]利用预先训练完成的通道注意力模型对第六特征图进行处理，得到点云分割结果
。
[0012]进一步地，将原始三维点云数据通过球面变换转化为二维图像；包括：
[0013]获取三维点云数据中每个点的三维坐标
(x,y,z)
；
[0014]根据球面变换公式，计算每个点的天顶角
α
和方位角
β
:
[0015][0016][0017]根据每个点的天顶角
α
和方位角
β
，计算该点在二维图像上的行像素和列像素
[0018][0019]其中，
Δα
和
Δβ
表示离散化点云的行分辨率和列分辨率；
[0020]由此得到尺寸为
H
×
W
×
C
的二维图像
X
input
，其中
H、W
和
C
分别表示二维图像的高度
、
宽度和通道数
。
[0021]进一步地，多尺度空洞卷积模型包括：3×3卷积核的第一卷积层
、
并行的多通道空洞卷积单元和全局平均池化层以及第一加法器；多通道空洞卷积单元包括四个并行的第一空洞卷积分支
、
第二空洞卷积分支
、
第三空洞卷积分支和第四空洞卷积分支以及拼接单元；第一空洞卷积分支包括连接的卷积核大小为1×1的第二卷积层和卷积核大小为3×3，
Rate
＝1的第一空洞卷积层；第二空洞卷积分支包括连接的3×3的第一平均池化层和卷积核大小为3×3，
Rate
＝
12
的第二空洞卷积层；第三空洞卷积分支包括连接的5×5的第二平均池化层和卷积核大小为3×3，
Rate
＝
24
的第三空洞卷积层；第四空洞卷积分支包括连接的7×7的第三平均池化层和卷积核大小为3×3，
Rate
＝
36
的第四空洞卷积层；
[0022]利用预先训练完成的多尺度空洞卷积模型对二维图像进行处理，得到第一特征图；包括：
[0023]利用第一卷积层对二维图像
X
input
进行处理，得到尺寸为
H
×
W
×
C
的特征图
X
；
[0024]利用第一空洞卷积分支对特征图
X
进行处理，得到尺寸为的特征图
[0025]利用第二空洞卷积分支对特征图
X
进行处理，得到尺寸为的特征图
[0026]利用第三空洞卷积分支对特征图
X
进行处理，得到尺寸为的特征图
[0027]利用第四空洞卷积分支对特征图
X
进行处理，得到尺寸为的特征图
[0028]利用拼接单元对特征图特征图特征图和特征图在通道维度上进行拼接，得到尺寸为
H
×
W
×
C
的特征图
[0029]利用全局平均池化层对特征图
X
进行处理，得到尺寸为1×1×
C
的特征图，再通过广播机制扩展为尺寸为
H
×
W
×
C
的
[0030]利用第一加法器对特征图
X、
特征图和特征图进行加法操作，得到尺寸为
H
×
W
×
C
的第一特征图
Y1。
[0031]进一步地，所述宽度维度下采样模型包括依次连接的第一
Fire
模块
、
第二
Fire
模块
、1
×1卷积核的第三卷积层
、
第三
Fire
模块
、
第四
Fire
模块
、1
×1卷积核的第四卷积层
、
第五
Fire
模块和第六
Fire
模块；
[0032]利用预先训练完成的宽度维度下采样模型对二维图像进行处理，得到第二特征图
、
第三特征图和第四特征图；包括：
[0033]利用第一
Fire
模块对第一特征图
Y1进行处理，利用第二
Fire
模块对第一
Fire
模块
的输出结果进行处理，得到尺寸为
G
×
W
×
C
的第二特征图
Y2；
[0034]利用1×1卷积核的第三卷积层对的第二特征图
Y2进行处理，得到尺寸为的特征图
[0035]利用第三
Fire
模块对特征图进行处理，利用第四
Fire
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于自注意力的多尺度轻量化三维点云分割方法，其特征在于，包括：将原始三维点云数据通过球面变换转化为二维图像；利用预先训练完成的多尺度空洞卷积模型对二维图像进行处理，得到第一特征图；利用预先训练完成的宽度维度下采样模型对二维图像进行处理，得到第二特征图
、
第三特征图和第四特征图；利用预先训练完成的空间注意力模型对二维图像
、
第二特征图
、
第三特征图和第四特征图进行处理，得到第五特征图；利用预先训练完成的宽度维度上采样模型对第四特征图和第五特征图进行处理，得到第六特征图；利用预先训练完成的通道注意力模型对第六特征图进行处理，得到点云分割结果
。2.
根据权利要求1所述的方法，其特征在于，将原始三维点云数据通过球面变换转化为二维图像；包括：获取三维点云数据中每个点的三维坐标
(x,y,z)
；根据球面变换公式，计算每个点的天顶角
α
和方位角
β
::
根据每个点的天顶角
α
和方位角
β
，计算该点在二维图像上的行像素和列像素和列像素其中，
Δα
和
Δβ
表示离散化点云的行分辨率和列分辨率；由此得到尺寸为
H
×
W
×
C
的二维图像
X
input
，其中
H、W
和
C
分别表示二维图像的高度
、
宽度和通道数
。3.
根据权利要求2所述的方法，其特征在于，多尺度空洞卷积模型包括：3×3卷积核的第一卷积层
、
并行的多通道空洞卷积单元和全局平均池化层以及第一加法器；多通道空洞卷积单元包括四个并行的第一空洞卷积分支
、
第二空洞卷积分支
、
第三空洞卷积分支和第四空洞卷积分支以及拼接单元；第一空洞卷积分支包括连接的卷积核大小为1×1的第二卷积层和卷积核大小为3×3，
Rate
＝1的第一空洞卷积层；第二空洞卷积分支包括连接的3×3的第一平均池化层和卷积核大小为3×3，
Rate
＝
12
的第二空洞卷积层；第三空洞卷积分支包括连接的5×5的第二平均池化层和卷积核大小为3×3，
Rate
＝
24
的第三空洞卷积层；第四空洞卷积分支包括连接的7×7的第三平均池化层和卷积核大小为3×3，
Rate
＝
36
的第四空洞卷积层；利用预先训练完成的多尺度空洞卷积模型对二维图像进行处理，得到第一特征图；包括：利用第一卷积层对二维图像
X
input
进行处理，得到尺寸为
H
×
W
×
C
的特征图
X
；利用第一空洞卷积分支对特征图
X
进行处理，得到尺寸为的特征图
利用第二空洞卷积分支对特征图
X
进行处理，得到尺寸为的特征图利用第三空洞卷积分支对特征图
X
进行处理，得到尺寸为的特征图利用第四空洞卷积分支对特征图
X
进行处理，得到尺寸为的特征图利用拼接单元对特征图特征图特征图和特征图在通道维度上进行拼接，得到尺寸为
H
×
W
×
C
的特征图利用全局平均池化层对特征图
X
进行处理，得到尺寸为1×1×
C
的特征图，再通过广播机制扩展为尺寸为
H
×
W
×
C
的利用第一加法器对特征图
X、
特征图和特征图进行加法操作，得到尺寸为
H
×
W
×
C
的第一特征图
Y1。4.
根据权利要求3所述的方法，其特征在于，所述宽度维度下采样模型包括依次连接的第一
Fire
模块
、
第二
Fire
模块
、1
×1卷积核的第三卷积层
、
第三
Fire
模块
、
第四
Fire
模块
、1
×1卷积核的第四卷积层
、
第五
Fire
模块和第六
Fire
模块；利用预先训练完成的宽度维度下采样模型对二维图像进行处理，得到第二特征图
、
第三特征图和第四特征图；包括：利用第一
Fire
模块对第一特征图
Y1进行处理，利用第二
Fire
模块对第一
Fire
模块的输出结果进行处理，得到尺寸为
H
×
W
×
C
的第二特征图
Y2；利用1×1卷积核的第三卷积层对的第二特征图
Y2进行处理，得到尺寸为的特征图利用第三
Fire
模块对特征图进行处理，利用第四
Fire
模块对第三
Fire
模块的输出结果进行处理，得到尺寸为的第三特征图
Y3；利用1×1卷积核的第四卷积层对的第三特征图
...

【专利技术属性】
技术研发人员：张新钰，谢涛，王力，李效宇，刘德东，郭世纯，李志伟，
申请(专利权)人：北京学图灵教育科技有限公司，
类型：发明
国别省市：