【技术实现步骤摘要】
本申请涉及自动驾驶环境感知的，尤其涉及一种3d视觉分割的方法、装置、设备、介质和移动工具。
技术介绍
1、在自动驾驶技术中的环境感知环节中，环境感知传感器方案至关重要，其是通过各个传感器获取驾驶中的周围环境信息并进行分析来得到相应的规控策略的。传感器作为环境感知的必要组成，其主要包括有激光雷达、毫米波雷达、超声波雷达和相机等；环境感知传感器方案随着科技快速发展，也逐渐发展为激光雷达派和视觉派两个不同的派系。
2、在激光雷达派中，其以激光雷达为主导，以毫米波雷达、相机和超声波雷达为辅。激光雷达能够获取到精准的3d信息，也不受光照干扰，因此能够不分昼夜地获取3d信息；但是，激光雷达语义稀疏、检测距离受限且价格昂贵。
3、在视觉派中，其以相机为主，其他传感器为辅或者是仅仅依靠相机。相机与人眼相似，接近人类的观测形态，能够获取丰富的环境语义信息，且造价低廉；但是，相机没有直观的3d信息，在夜间工作时的工作效果也会大打折扣。
4、在智能驾驶车的量产化中，考虑到成本作为重要因素，视觉派可能是未来环境感知传感器方案的趋势。然而，相关技术中通过rgb相机得到的景深依赖于单目图像，其需要强大的算力来实现视觉算法，因此适配到车载嵌入式平台的环境感知层算法通常比较困难。
技术实现思路
1、为解决或部分解决相关技术中存在的问题，本申请提供一种3d视觉分割的方法、装置、设备、介质和移动工具，能够在视觉派环境感知中，通过训练好的多任务神经网络快速实现3d视觉的实时分割。p>
2、本申请第一方面提供一种3d视觉分割的方法，所述方法包括：
3、在获取到采集的2d图像之后，将所述2d图像输入到训练好的多任务神经网络中的共享编码层，通过所述共享编码层提取所述2d图像的特征，得到提取后的特征；
4、将所述提取后的特征分别输入到所述多任务神经网络中的景深任务层和至少一个图像分割任务层，通过各个任务层分别对所述提取后的特征进行相应地图像处理，得到各个任务对应的预测结果；
5、其中，所述景深任务层通过深度估计损失函数进行回归训练得到，且所述深度估计损失函数的真值由激光雷达获取的3d信息确定。
6、在一实施方式中，所述共享编码层包括语义分割stdc模块的主干部分backbone，所述通过所述共享编码层提取所述2d图像的特征，包括：
7、通过所述主干部分backbone对所述2d图像进行下采样，提取可供所有任务层都共享的特征。
8、在一实施方式中，所述多任务神经网络通过同时监督训练所有的任务层得到。
9、在一实施方式中，所述通过各个任务层分别对所述提取后的特征进行相应地图像处理，得到各个任务对应的预测结果，包括：
10、通过各个任务层的特征聚合模块分别聚合所述提取后的特征，得到聚合后的特征；
11、通过各个任务层的解码模块分别上采样解码所述聚合后的特征，得到解码后的特征；
12、通过各个任务层的预测模块分别对所述解码后的特征进行估计，得到各个任务对应的预测结果。
13、在一实施方式中，所述通过各个任务层的特征聚合模块分别聚合所述提取后的特征，包括：
14、若所述图像分割任务层为语义分割任务层或实例分割任务层或全景分割任务层，则该图像分割任务层与所述景深任务层均通过同一个空洞空间卷积池化金字塔aspp模块聚合所述提取后的特征；
15、若所述图像分割任务层为车道线分割任务层，则该图像分割任务层通过resa模块对所述提取后的特征进行resa操作。
16、在一实施方式中，所述语义分割任务层或实例分割任务层或全景分割任务层中的解码模块均与所述车道线分割任务层的不同。
17、本专利技术实施例还提供一种可通行区域检测方法，包括：
18、采集2d图像信息；
19、采用权利要求1所述的3d视觉分割的方法得到2d边界信息和3d深度图；
20、采用融合技术对2d边界信息和3d深度图进行融合处理得到3d可通行区域边界。
21、本专利技术实施例还提供一种目标检测方法，包括：
22、采集2d图像信息；
23、采用权利要求1所述的3d视觉分割的方法，得到目标的边界信息和3d深度图；
24、采用融合技术对目标的边界信息和3d深度图进行融合处理，得到融合结果；
25、利用激光投影聚类算法对融合结果进行处理，得到3d目标信息。
26、本申请第二方面提供一种3d视觉分割的装置，所述装置包括：
27、获取模块，其用于获取采集的2d图像；
28、特征提取模块，其用于将所述2d图像输入到训练好的多任务神经网络中的共享编码层，通过所述共享编码层提取所述2d图像的特征，得到提取后的特征；
29、图像处理模块，其用于将所述提取后的特征分别输入到所述多任务神经网络中的景深任务层和至少一个图像分割任务层，通过各个任务层分别对所述提取后的特征进行相应地图像处理，得到各个任务对应的预测结果；
30、其中，所述景深任务层通过深度估计损失函数进行回归训练得到，且所述深度估计损失函数的真值由激光雷达获取的3d信息确定。
31、本申请第三方面提供一种电子设备，包括：
32、处理器；以及
33、存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
34、本申请第四方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
35、本申请第五方面提供一种移动工具，包括视觉传感器和如上所述的电子设备；
36、所述视觉传感器用于采集2d图像，并传输给所述电子设备。
37、本申请提供的技术方案可以包括以下有益效果：
38、本申请提供的方法，基于训练好的多任务神经网络，在获取到采集的2d图像后通过多任务神经网络的共享编码层提取所述2d图像的特征；再通过多任务神经网络的景深任务层和至少一个图像分割任务层分别对提取的2d图像的特征进行相应地图像处理，得到各个任务对应的预测结果；景深任务层通过真值由激光雷达获取的3d信息确定的深度估计损失函数进行回归训练得到，在网络应用时无需再额外地使用激光雷达硬件，降低了硬件成本；同时，在进行3d视觉分割时，将图像分割与3d深度估计集成在一个网络中，也降低了资源的消耗和资源抢占所带来的异常耗时的缺陷，使得3d视觉分割具备实时性和可行性。
39、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
本文档来自技高网...【技术保护点】
1.一种3D视觉分割的方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述共享编码层包括语义分割STDC模块的主干部分Backbone，所述通过所述共享编码层提取所述2D图像的特征，包括：
3.如权利要求1所述的方法，其特征在于，所述多任务神经网络通过同时监督训练所有的任务层得到。
4.如权利要求1所述的方法，其特征在于，所述通过各个任务层分别对所述提取后的特征进行相应地图像处理，得到各个任务对应的预测结果，包括：
5.如权利要求4所述的方法，其特征在于，所述通过各个任务层的特征聚合模块分别聚合所述提取后的特征，包括：
6.如权利要求5所述的方法，其特征在于，所述语义分割任务层或实例分割任务层或全景分割任务层中的解码模块均与所述车道线分割任务层的不同。
7.一种可通行区域检测方法，其特征在于，包括：
8.一种目标检测方法，其特征在于，包括：
9.一种3D视觉分割的装置，其特征在于，所述装置包括：
10.一种电子设备，其特征在于，包括：
12.一种移动工具，其特征在于，包括视觉传感器和如权利要求10所述的电子设备；
...【技术特征摘要】
1.一种3d视觉分割的方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述共享编码层包括语义分割stdc模块的主干部分backbone，所述通过所述共享编码层提取所述2d图像的特征，包括：
3.如权利要求1所述的方法，其特征在于，所述多任务神经网络通过同时监督训练所有的任务层得到。
4.如权利要求1所述的方法，其特征在于，所述通过各个任务层分别对所述提取后的特征进行相应地图像处理，得到各个任务对应的预测结果，包括：
5.如权利要求4所述的方法，其特征在于，所述通过各个任务层的特征聚合模块分别聚合所述提取后的特征，包括：
6....
【专利技术属性】
技术研发人员：李慧慧，
申请(专利权)人：武汉智行者科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。