【技术实现步骤摘要】
本专利技术涉及分隔网络，具体为一种基于时空信息融合的双分支移动物体分割网络。
技术介绍
1、动态物体检测和分割是车路协同与自动驾驶环境感知能力的重要体现，对于交通流预测、同步建图与定位(simulation localization and mapping,slam)、局部路径规划和障碍物绕障至关重要；
2、为解决基于深度图表示的语义分割网络产生的边界模糊问题，多数工作采用crf或knn等后处理方法以平滑预测标签结果。如squeezeseg采用crf根据三次迭代后邻域内的预测结果来细化预测，但未有效解决点被遮挡的情况。rangenet++采用knn方法搜索一定区域内的k个最近邻点，对模糊点的语义信息进行推断。该方法容易导致平滑不足或过度平滑问题，且对于严重遮挡的点处理效果不佳。motionseg3d提出了一种细化模块代替传统的后处理方法，虽然精度有一定提升但增加了训练成本；
3、因此需要对以上问题提出一种新的解决方案。
技术实现思路
1、本专利技术的目的在于提供一种基于时空信息融合的双分支移动物体分割网络。
2、为实现上述目的，本专利技术提供如下技术方案：一种基于时空信息融合的双分支移动物体分割网络，所述双分支动态物体分割网络包括编码器－解码器结构，所述编码器－解码器结构从空间和时间维度上分别提取外观特征和运动特征，通过特征融合模块amf进行特征聚合，增强动态目标的分割能力，后处理阶段还包括多数投票策略，所述后处理用于减少边界模糊和标签误分类问题
3、进一步地，还包括球面投影，采用球面投影将3d点云转换为深度图表示，作为外观特征提取分支的数据输入，避免了直接处理原始点云数据带来的无序性，同时提高了数据处理效率；为聚合不同区域中的上下文信息，引入残差空洞卷积，在和的卷积核后堆叠感受视野为5的空洞卷积，以此融合不同感受野捕获更丰富的空间信息。
4、进一步地，还包括meta-kernel模块，所述meta-kernel模块用于从相对笛卡尔坐标系中动态学习权重，使网络从深度图中获取更多的空间几何信息；
5、为了获取时序信息，通过计算连续几帧点云生成的深度图得到残差表示并输入到运动分支提取特征，第一层采用同样的残差空洞卷积捕获上下文信息；
6、为避免因感受野增大参数量剧增问题，后面几层结构引入感受视野为3，5，7的空洞卷积组合，并在输出位置使用1x1卷积进行残差连接，从不同特征中获取更多信息；
7、进一步地，针对运动分支中每个残差空洞卷积，使用dropout层和自适应指数加权池化(adapool)进行下采样操作，两条分支提取的特征通过外观－运动融合模块交互，动态分配特征权重，融合并输出增强的外观特征。每个模块后拼接上文提到的残差空洞卷积逐层输出特征结果，同时采用残差结构与解码器中的上采样模块连接。
8、进一步地，所述特征融合模块amf由共同注意力门模块和运动引导注意力模块组成，对两种特征权重进行动态调节，实现跨模态的时空特征表示。
9、进一步地，所述特征融合模块amf的应用至少包括以下步骤：
10、首先，使用跨通道串联和卷积操作在第i层将外观特征fia和运动特征fim进行对齐，捕获多模态特征之间的相对关系；
11、将对齐融合后的特征划分到两个子分支，对于每个通道分别执行sigmoid函数和全局平均池化得到一对共同注意力分数和较高的分数表明相应特征包含更有效的信息；
12、由外观特征和运动特征构成的共同注意力门函数可表示为：
13、gi＝avg(sigmoid(conv(cat(fia,fim))))
14、式中，gi表示一对共同注意力分数，包含和avg(·)代表全局平局池化操作，sigmoid(·)代表取值范围为(0,1)的激活函数，conv(·)代表输出通道为2的卷积层，cat(·)代表每个通道上的级联操作，fia和fim分别表示输入的外观特征和运动特征；
15、将共同注意力门模块生成的分数应用于相应特征上得到更新后的门外观特征和门运动特征其中：
16、
17、运动引导注意力模块中，首先对运动特征使用空间注意力机制增强外观特征的空间位置信息，并生成更显著的外观特征
18、其次采用通道注意力机制来增强关键属性，生成融合的时空特征大小为c×h×w，其中：
19、
20、
21、进一步地，所述多数投票策略利用相邻关键帧在不同时间序列下的视角点不同，对预测结果进行分类细化；
22、将历史n帧激光雷达点云(pt-n,...,pt-1)通过变换矩阵对齐到当前帧点云pt坐标系下，点云pt和pt-i之间的变换矩阵可通过slam算法估计的里程计结果计算，其中表示齐次变换矩阵，
23、对齐到当前坐标系下的点云序列如图4所示。以当前帧点云的坐标范围生成分辨率为σ的体素化网格，依次将当前帧及历史帧每个点对应的语义标签映射到体素网格内，舍弃超出范围的点；
24、对于每个体素格子内统计的语义标签取其种类最多的一个，并过滤多余标签；
25、最后将体素网格内的语义标签重新映射到对应的点云通道中。
26、与现有技术相比，本专利技术的有益效果是：
27、1、本专利技术基于共同注意力机制和连续关键帧的时序信息，设计了一种双分支特征融合动态物体分割网络，双分支特征融合动态物体分割网络受视频目标分割任务启发，设计了一种由共同注意力机制和运动校正方法组成的外观—运动特征融合模块，通过动态调节特征权重及跨模态特征融合，增强动态物体外观特色；
28、2、本专利技术同时提出了一种基于多数投票策略的后处理方法，基于点云体素化思想，将对应点云的语义信息映射到体素网格，使用多数投票策略选举权重最大的标签作为预测值，有效降低了回投影过程中产生的边界模糊以及误分类问题。
本文档来自技高网...【技术保护点】
1.一种基于时空信息融合的双分支移动物体分割网络，其特征在于：所述双分支动态物体分割网络包括编码器－解码器结构，所述编码器－解码器结构从空间和时间维度上分别提取外观特征和运动特征，通过特征融合模块AMF进行特征聚合，增强动态目标的分割能力，后处理阶段还包括多数投票策略，所述后处理用于减少边界模糊和标签误分类问题。
2.根据权利要求1所述的一种基于时空信息融合的双分支移动物体分割网络，其特征在于：还包括球面投影，采用球面投影将3D点云转换为深度图表示，作为外观特征提取分支的数据输入，避免了直接处理原始点云数据带来的无序性，同时提高了数据处理效率；为聚合不同区域中的上下文信息，引入残差空洞卷积，以此融合不同感受野捕获更丰富的空间信息。
3.根据权利要求2所述的一种基于时空信息融合的双分支移动物体分割网络，其特征在于：还包括Meta-Kernel模块，所述Meta-Kernel模块用于从相对笛卡尔坐标系中动态学习权重，使网络从深度图中获取更多的空间几何信息；
4.根据权利要求3所述的一种基于时空信息融合的双分支移动物体分割网络，其特征在于：针对运动分
5.根据权利要求1所述的一种基于时空信息融合的双分支移动物体分割网络，其特征在于：所述特征融合模块AMF由共同注意力门模块和运动引导注意力模块组成，对两种特征权重进行动态调节，实现跨模态的时空特征表示。
6.根据权利要求1所述的一种基于时空信息融合的双分支移动物体分割网络，其特征在于：所述特征融合模块AMF的应用至少包括以下步骤：
7.根据权利要求1所述的一种基于时空信息融合的双分支移动物体分割网络，其特征在于：所述多数投票策略利用相邻关键帧在不同时间序列下的视角点不同，对预测结果进行分类细化；
...【技术特征摘要】
1.一种基于时空信息融合的双分支移动物体分割网络，其特征在于：所述双分支动态物体分割网络包括编码器－解码器结构，所述编码器－解码器结构从空间和时间维度上分别提取外观特征和运动特征，通过特征融合模块amf进行特征聚合，增强动态目标的分割能力，后处理阶段还包括多数投票策略，所述后处理用于减少边界模糊和标签误分类问题。
2.根据权利要求1所述的一种基于时空信息融合的双分支移动物体分割网络，其特征在于：还包括球面投影，采用球面投影将3d点云转换为深度图表示，作为外观特征提取分支的数据输入，避免了直接处理原始点云数据带来的无序性，同时提高了数据处理效率；为聚合不同区域中的上下文信息，引入残差空洞卷积，以此融合不同感受野捕获更丰富的空间信息。
3.根据权利要求2所述的一种基于时空信息融合的双分支移动物体分割网络，其特征在于：还包括meta-kernel模块，所述meta-kernel模块用于从相对笛卡尔坐标系中动态学习权重，使网络从深度图中获取更多的空间几何信息；
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。