语义分割方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了语义分割方法、装置、电子设备及存储介质方法，该方法包括：提取视频的多帧中的每一帧的原始特征，多帧包括：当前帧、至少一个先前帧，先前帧位于当前帧之前；将每一帧的原始特征输入到语义分割模型中，得到当前帧的语义分割结果，语义分割模型被配置为：基于每一帧的原始特征，确定每一帧的用于对齐的特征；对于每一个先前帧，基于该先前帧的用于对齐的特征与当前帧的用于对齐的特征，对该先前帧的用于对齐的特征进行可变形卷积，得到该先前帧的对齐空间特征，基于当前帧的用于对齐的特征、每一先前帧的对齐空间特征，得到当前帧的对齐运动特征；基于该对齐运动特征，预测当前帧的语义分割结果。预测当前帧的语义分割结果。预测当前帧的语义分割结果。

【技术实现步骤摘要】
语义分割方法、装置、电子设备及存储介质


[0001]本申请涉及计算机视觉领域，具体涉及语义分割方法、装置、电子设备及存储介质。

技术介绍

[0002]语义分割是确定图像中的每一个像素的语义类别例如车辆类别、行人类别的计算机视觉技术，被广泛应用于车辆的视觉感知、构建高精地图等。当对当前帧进行语义分割时，为了提升当前帧的语义分割结果与当前帧之前的先前帧的语义分割结果的一致性，需要进行当前帧与先前帧之间的特征对齐，得到当前帧的对齐运动特征。然后，根据当前帧的对齐运动特征，得到语义分割结果。
[0003]目前，通常是计算当前帧与每一个先前帧之间的光流，根据当前帧与每一个先前帧之间的光流、每一个先前帧的特征、当前帧的特征，得到当前帧的对齐特征。一方面，计算当前帧与先前帧之间的光流需要计算任意两个像素点之间的光流，该两个像素点中的一个像素点一个来自当前帧，另一个来自先前帧，导致得到当前帧的对齐运动特征的过程消耗的计算资源多，语义分割消耗的计算资源多。另一方面，当前帧和/或先前帧中的诸如车辆、行人的目标被部分遮挡、采集当前帧和先前帧的相机在采集当前帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义分割方法，其特征在于，所述方法包括：提取视频的多帧中的每一帧的原始特征，其中，所述每一帧在所述视频中的位置连续，所述多帧包括：当前帧、至少一个先前帧，先前帧位于当前帧之前；将所述每一帧的原始特征输入到语义分割模型中，得到所述当前帧的语义分割结果，所述语义分割模型被配置为：基于所述每一帧的原始特征，确定所述每一帧的用于对齐的特征；对于每一个先前帧，基于所述先前帧的用于对齐的特征与当前帧的用于对齐的特征，对所述先前帧的用于对齐的特征进行可变形卷积，得到所述先前帧的对齐空间特征，以及基于当前帧的用于对齐的特征、每一先前帧的对齐空间特征，得到所述当前帧的对齐运动特征；基于所述对齐运动特征，预测当前帧的语义分割结果，所述语义分割结果包括：当前帧中的每一个当前帧像素的语义类别。2.根据权利要求1所述的方法，其特征在于，基于所述每一帧的原始特征，确定所述每一帧的用于对齐的特征包括：将所述当前帧的原始特征输入到当前帧对应的多头注意力模块中，得到当前帧对应的多头注意力模块输出的当前帧的用于对齐的特征；对于每一先前帧，利用所述先前帧对应的多头注意力模块基于所述先前帧的原始特征，得到所述先前帧的用于对齐的特征。3.根据权利要求2所述的方法，其特征在于，利用所述先前帧对应的多头注意力模块基于所述先前帧的原始特征，得到所述先前帧的用于对齐的特征包括：对所述先前帧的原始特征进行进行下采样，得到所述先前帧的下采样特征；将所述先前帧的下采样特征输入到所述先前帧对应的多头注意力模块中，得到所述先前帧对应的多头注意力模块输出的对应于所述先前帧的特征；对所述对应于所述先前帧的特征进行上采样，得到所述先前帧的用于对齐的特征。4.根据权利要求1所述的方法，其特征在于，所述每一帧的原始特征分别通过特征提取网络提取，所述特征提取网络包括：多个特征提取单元，所述原始特征由所述特征提取网络中的最后一个所述特征提取单元输出；以及基于所述对齐运动特征，预测当前帧的语义分割结果包括：将所述对齐运动特征、每一个所述特征提取单元输出的对应于当前帧的特征输入到用于得到状态特征的多头注意力模块中，得到用于得到状态特征的多头注意力模块输出的所述当前帧的状态特征，所述状态特征包括：所述每一个当前帧像素的状态子特征，其中，所述特征提取单元输出的对应于当前帧的特征为当将当前帧输入到特征提取网络中时，所述特征提取单元输出的特征；基于所述状态特征，预测所述当前帧的语义分割结果。5.根据权利要求4所述的方法，其特征在于，所述对齐运动特征包括：所述每一个当前帧像素的对齐运动子特征；所述方法还包括：将所述对齐运动特征输入到第一逻辑回归层中，得到每一个当前帧像素的概率信息，其中，所述当前帧像素的概率信息包括：所述当前帧像素在每一个预设语义类别上的概率；基于每一个当前帧像素的概率信息，确定每一个语义区域，其中，所述语义区域包括：
所述语义区域的每一个相关当前帧像素占据的区域，所述每一个相关当前帧像素对应的预设语义类别相同，所述相关当前帧像素对应的预设语义类别为所述相关当前帧像素的概率信息中的最大的概率对应的预设语义类别；对于每一个语义区域，基于所述语义区域的每一个相关当前帧像素的对齐运动子特征和所述每一个相关当前帧像素在相关当前帧像素对应的预设语义类别上的概率，确定所述语义区域的特征；以及基于所述状态特征，预测所述当前帧的语义分割结果包括：对于每一个当前帧像素，基于所述当前帧像素的状态子特征与每一个所述语义区域的特征，确定所述当前帧像素的语义类别。6.根据权利要求5所述的方法，其特征在于，基于...

【专利技术属性】
技术研发人员：苏金明，张帅宾，罗钧峰，陈兴岳，邱禹瑞，张珂，魏晓林，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：