【技术实现步骤摘要】
【国外来华专利技术】同时进行实时对象检测和语义分割的系统和方法
[0001]交叉引用
[0002]在本公开的描述中引用和讨论了一些参考文献，其可能包括专利、专利申请和各种出版物。提供此类参考文献的引用和/或讨论仅用于阐明本公开的描述，并不承认任何此类参考文献对于本公开是已有的。在本说明书中引用的或讨论的所有参考文献通过引用整体并入本文，并且与每篇参考文献通过引用单独并入的程度相同。
[0003]本公开总体上涉及计算机视觉，具体涉及一种同时进行实时对象检测和语义分割的系统和方法。
技术介绍
[0004]在此提供的背景描述是为了概括地呈现本公开的上下文。在本背景部分描述的范围内，专利技术人的工作以及在提交申请时可能不符合已有技术的描述方面，既不明确也不隐含地承认为相对于本公开是已有的。
[0005]对于自动驾驶车辆而言，及时了解其周围环境，如汽车、行人、交通指示灯、交通标志和可用空间等至关重要。为了实现这一目标，自动驾驶系统通常需要执行多个基于视觉的任务，例如对象检测、语义分割、运动估计和3D重建，其中对象检测和语义分割是两个最重要的任务。然而，鉴于汽车的计算能力有限，执行每项任务的计算成本相当高。
[0006]因此，本领域存在解决上述缺陷和不足的需要。
技术实现思路
[0007]在一些方面，本公开涉及一种对象检测和语义分割系统。在一些实施例中，所述系统包括计算设备。所述计算设备具有处理器和存储有计算机可执行代码的非易失性存储器。所述计算机可执行代码在所述处理器处执行时被配置为：接收场景的图像...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种对象检测和语义分割系统，所述系统包括计算设备，所述计算设备包括处理器和存储有计算机可执行代码的非易失性存储器，其中，所述计算机可执行代码在所述处理器处执行时被配置为：接收场景的图像；使用神经网络主干处理所述图像，以获得特征图；使用对象检测模块处理所述特征图，以获得所述图像的对象检测结果；以及使用语义分割模块处理所述特征图，以获得所述图像的语义分割结果，其中，使用同一损失函数对所述对象检测模块和所述语义分割模块进行训练，所述损失函数包括对象检测组件和语义分割组件；以及其中，所述神经网络主干包括ResNet18主干，所述ResNet18主干从其第4块截断。2.根据权利要求1所述的系统，其中，针对所述对象检测模块和所述语义分割模块的训练数据包括：训练图像、所述训练图像中限定的至少一个边界框、所述至少一个边界框的标签、以及所述训练图像的掩码。3.根据权利要求1所述的系统，其中，所述对象检测模块是单次检测器SSD。4.根据权利要求1所述的系统，其中，所述对象检测模块依次包括：五个卷积层；检测层；以及非极大值抑制NMS层。5.根据权利要求4所述的系统，其中，针对512
×
512分辨率的图像，所述神经网络主干向所述检测层卷积地添加64
×
64信息和32
×
32信息，所述五个卷积层分别向所述检测层添加16
×
16信息、8
×
8信息、4
×
4信息、2
×
2信息和1
×
1信息。6.根据权利要求1所述的系统，其中，所述语义分割模块是金字塔池化模块。7.根据权利要求1所述的系统，其中，所述语义分割模块依次包括：池化模块，所述池化模块池化所述特征图以获得不同大小的池化特征；多个卷积层，每个卷积层对所述不同大小的池化特征中的一个池化特征进行卷积，以获得不同大小的卷积特征；上采样模块，所述上采样模块接收所述不同大小的卷积特征以获得上采样特征；拼接层，所述拼接层接收所述上采样特征和来自所述神经网络主干的特征以获得拼接特征；以及卷积层，所述卷积层对所述拼接特征进行卷积以获得作为所述语义分割结果的逐像素预测。8.根据权利要求7所述的系统，其中，所述池化特征的大小为1
×
1、2
×
2、3
×
3和6
×
6。9.根据权利要求1所述的系统，其中，所述计算机可执行代码还被配置为基于所述对象检测结果和所述语义分割结果控制所述场景中的操作设备。10.一种对象检测和语义分割方法，包括：通过计算设备接收场景的图像；通过所述计算设备使用神经网络主干处理所述图像，以获得特征图；通过所述计算设备使用对象检测模块处理所述特征图，以获得所述图像的对象检测结果；以及
通过所述计算设备使用语义分割模块处理所述特征图，以获得所述图像的语义分割结果，其中，使用同一损失函数对所述对象检测模块和所述语义分割模块进行训练，所述损失函数包括对象检测组件和语义分割组件；以及其中，所述神经网络...
【专利技术属性】
技术研发人员：毛红达，项伟，吕楚梦，张伟东，
申请(专利权)人：京东美国科技公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。