一种基于时空信息融合的双分支移动物体分割网络制造技术

本发明专利技术公开了一种基于时空信息融合的双分支移动物体分割网络，涉及分割网络技术领域。本发明专利技术基于共同注意力机制和连续关键帧的时序信息，设计了一种双分支特征融合动态物体分割网络，双分支特征融合动态物体分割网络受视频目标分割任务启发，设计了一种由共同注意力机制和运动校正方法组成的外观—运动特征融合模块，通过动态调节特征权重及跨模态特征融合，增强动态物体外观特色，同时提出了一种基于多数投票策略的后处理方法，基于点云体素化思想，将对应点云的语义信息映射到体素网格，使用多数投票策略选举权重最大的标签作为预测值，有效降低了回投影过程中产生的边界模糊以及误分类问题。

【技术实现步骤摘要】

本专利技术涉及分隔网络，具体为一种基于时空信息融合的双分支移动物体分割网络。

技术介绍

1、动态物体检测和分割是车路协同与自动驾驶环境感知能力的重要体现，对于交通流预测、同步建图与定位(simulation localization and mapping,slam)、局部路径规划和障碍物绕障至关重要；

2、为解决基于深度图表示的语义分割网络产生的边界模糊问题，多数工作采用crf或knn等后处理方法以平滑预测标签结果。如squeezeseg采用crf根据三次迭代后邻域内的预测结果来细化预测，但未有效解决点被遮挡的情况。rangenet++采用knn方法搜索一定区域内的k个最近邻点，对模糊点的语义信息进行推断。该方法容易导致平滑不足或过度平滑问题，且对于严重遮挡的点处理效果不佳。motionseg3d提出了一种细化模块代替传统的后处理方法，虽然精度有一定提升但增加了训练成本；

3、因此需要对以上问题提出一种新的解决方案。

技术实现思路

1、本专利技术的目的在于提供一种基于时空信息融合的双本文档来自技高网...

【技术保护点】

1.一种基于时空信息融合的双分支移动物体分割网络，其特征在于：所述双分支动态物体分割网络包括编码器－解码器结构，所述编码器－解码器结构从空间和时间维度上分别提取外观特征和运动特征，通过特征融合模块AMF进行特征聚合，增强动态目标的分割能力，后处理阶段还包括多数投票策略，所述后处理用于减少边界模糊和标签误分类问题。

2.根据权利要求1所述的一种基于时空信息融合的双分支移动物体分割网络，其特征在于：还包括球面投影，采用球面投影将3D点云转换为深度图表示，作为外观特征提取分支的数据输入，避免了直接处理原始点云数据带来的无序性，同时提高了数据处理效率；为聚合不同区域中的上下文信息，引...

【技术特征摘要】

1.一种基于时空信息融合的双分支移动物体分割网络，其特征在于：所述双分支动态物体分割网络包括编码器－解码器结构，所述编码器－解码器结构从空间和时间维度上分别提取外观特征和运动特征，通过特征融合模块amf进行特征聚合，增强动态目标的分割能力，后处理阶段还包括多数投票策略，所述后处理用于减少边界模糊和标签误分类问题。

2.根据权利要求1所述的一种基于时空信息融合的双分支移动物体分割网络，其特征在于：还包括球面投影，采用球面投影将3d点云转换为深度图表示，作为外观特征提取分支的数据输入，避免了直接处理原始点云数据带来的无序性，同时提高了数据处理效率；为聚合不同区域中的上下文信息，引入残差空洞卷积，以此融合不同感受野捕获更丰富的空间信息。

3.根据权利要求2所述的一种基于时空信息融合的双分支移动物体分割网络，其特征在于：还包括meta-kernel模块，所述meta-kernel模块用于从相对笛卡尔坐标系中动态学习权重，使网络从深度图中获取更多的空间几何信息；

【专利技术属性】
技术研发人员：隗寒冰，陈宇航，熊华川，
申请(专利权)人：重庆交通大学，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人