语义分割方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种语义分割方法、装置、电子设备及存储介质，包括根据目标图像中各检测点的位置信息和目标图像的位姿信息执行预测，获得各检测点的中间特征、颜色特征和目标图像的三维场景的密度特征；利用各检测点的颜色特征和目标图像的三维场景的密度特征，优化各检测点的中间特征，获得各检测点的优化特征；根据各检测点的优化特征，对目标图像执行语义分割，获得目标图像的语义分割结果。借此，本申请可有效提高语义分割结果的准确性。可有效提高语义分割结果的准确性。可有效提高语义分割结果的准确性。

【技术实现步骤摘要】
语义分割方法、装置、电子设备及存储介质


[0001]本申请实施例涉及图像处理
，尤其涉及一种语义分割方法、装置、电子设备及存储介质。

技术介绍

[0002]语义分割是自动驾驶领域中一项非常重要的机器感知任务。在自动驾驶应用中，许多具有显式语义信息的下游任务能够显著提高目标检测任务的性能。但与目标检测任务不同，语义分割以目标物体的轮廓为边界，从而识别图像或视频中存在的物体及其位置。
[0003]当前的语义分割算法，大多依赖于海量的精确像素级标注的训练图像，其通常需要耗费大量的人力标注时间成本。此外，虽然这些网络架构可融合多个层级的信息，从而同时保留高级语义信息和低级高频细节，但是这种融合机制在解决层级处理过程中的歧义性方面，并非是最佳方案。例如，针对图像中由于两个或多个物体共址而导致的遮挡区域，如果早期层级的特征中混入了所有共址物体的信息，那么这些歧义性可能会在整个层级中传播，从而导致错误边界，并导致语义分割准确性的下降。
[0004]有鉴于此，亟需一种可提高准确性的语义分割处理技术。
专利技术内容
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义分割方法，其特征在于，包括：根据目标图像中各检测点的位置信息和所述目标图像的位姿信息执行预测，获得各检测点的中间特征、颜色特征和所述目标图像对应的三维场景的密度特征；利用各检测点的颜色特征和所述密度特征，优化各检测点的中间特征，获得各检测点的优化特征；根据各检测点的优化特征，对所述目标图像执行语义分割，获得所述目标图像的语义分割结果。2.根据权利要求1所述的方法，其特征在于，所述根据目标图像中各检测点的位置信息和所述目标图像的位姿信息执行预测，获得各检测点的中间特征、颜色特征和所述目标图像对应的三维场景的密度特征，包括：根据所述目标图像中各检测点的位置信息，执行基础语义推理和密度推理，获得所述目标图像中各检测点的中间特征和所述目标图像对应的三维场景的密度特征；根据所述目标图像中各检测点的中间特征和所述目标图像的位姿信息，执行颜色推理，获得所述目标图像中各检测点的颜色特征。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：通过将所述目标图像中各检测点的三维坐标参数和用于捕获所述目标图像的拍摄设备的位姿参数，映射至高维的正弦余弦空间，获得所述目标图像中各检测点的位置信息以及所述目标图像的位姿信息。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法包括：利用语义推理模型，根据目标图像中各检测点的位置信息和所述目标图像的位姿信息执行预测，获得各检测点的中间特征、颜色特征和所述目标图像对应的三维场景的密度特征，并利用各检测点的颜色特征和所述密度特征，优化各检测点的中间特征，获得各检测点的优化特征，其中，所述语义推理模型包括语义神经辐射场。5.根据权利要求4所述的方法，其特征在于，所述语义推理模型通过以下方式训练：预测步骤，利用待训练的语义推理模型，对样本图像的各目标采样点执行颜色预测和语义预测，获得各目标采样点的颜色预测输出和语义预测输出；损失计算步骤，根据各目标采样点的颜色标签信息和颜色预测输出，获得所述待训练的语义推理模型的颜色预测损失值，并根据各目标采样点的语义标签信息和语义预测输出，获得所述待训练的语义推理模型的语义预测损失值；基于由所述颜色预测损失值和所述语义预测损失值所确定的模型损失值，重复执行所述预测步骤，直至所述模型损失值满足预设收敛条件，以获得所述语义推理模型。6.根据权利要求5所述的方法，其特征在于，所述预测步骤包括：确定用于捕获所述样本图像的捕获设备的设备中心点；根据由所述设备中心点向所述样本图像的各像素点投射的各投射光线，确定每一...

【专利技术属性】
技术研发人员：李军，王瑞博，黄琴，王彤，张松，严玮，
申请(专利权)人：零束科技有限公司，
类型：发明
国别省市：