全景分割方法、装置和系统及存储介质制造方法及图纸

本发明专利技术实施例提供一种全景分割方法、装置和系统以及存储介质。该方法包括：获取待处理图像；将待处理图像输入全景分割网络的共享特征提取模块进行特征提取，以获得共享特征图；将共享特征图分别输入全景分割网络的语义分割分支和实例分割分支，以分别获得语义分割结果和实例分割结果；以及将语义分割结果和实例分割结果融合，以获得全景分割结果。根据本发明专利技术实施例的全景分割方法、装置、系统及存储介质，通过使语义分割和实例分割两个子任务共享基础模型的参数，可以有效降低网络的参数量，从而减小计算量，加快网络处理速度。

Panoramic Segmentation Method, Device and System and Storage Media

【技术实现步骤摘要】
全景分割方法、装置和系统及存储介质
本专利技术涉及计算机领域，更具体地涉及一种全景分割方法、装置和系统以及存储介质。
技术介绍
全景分割是计算机视觉技术中提出的一个新的任务。全景分割相对于语义分割，增加了实例信息，相对于实例分割，增加了无定形区域的分割。因此，全景分割是语义分割和实例分割的集成，但是又引入了新的算法挑战，例如，现有的全景分割技术采用两种独立的网络分别处理语义分割任务和实例分割任务，这种方式参数量大，网络性能不够好。
技术实现思路
考虑到上述问题而提出了本专利技术。本专利技术提供了一种全景分割方法、装置和系统以及存储介质。根据本专利技术一方面，提供了一种全景分割方法。该方法包括：获取待处理图像；将待处理图像输入全景分割网络的共享特征提取模块进行特征提取，以获得共享特征图；将共享特征图分别输入全景分割网络的语义分割分支和实例分割分支，以分别获得语义分割结果和实例分割结果；以及将语义分割结果和实例分割结果融合，以获得全景分割结果。示例性地，实例分割结果包括与至少两个实例框分别相关的实例信息，将语义分割结果和实例分割结果融合，以获得全景分割结果包括：对于待融合实例集合中的任一待融合实例框，计算该待融合实例框与相关实例集合中的任一相关实例框之间的重叠面积与该待融合实例框所占面积之比，以获得该待融合实例框与该相关实例框之间的重叠比率，其中，待融合实例集合包括至少两个实例框中的至少一个实例框，相关实例集合包括至少两个实例框中除该待融合实例框之外的至少一个实例框；根据该待融合实例框与相关实例集合中的所有相关实例框之间的重叠比率，确定该待融合实例框的层级；至少基于待融合实例集合中的所有待融合实例框的层级，确定至少两个实例框中的每个实例框在融合过程中的覆盖优先级。示例性地，根据该待融合实例框与相关实例集合中的所有相关实例框之间的重叠比率，确定该待融合实例框的层级包括：如果在该待融合实例框与相关实例集合中的所有相关实例框之间的重叠比率中，存在预设数目的重叠比率大于预设阈值，则确定该待融合实例框的层级为高，否则，确定该待融合实例框的层级为低，其中，层级高的实例框具有覆盖层级低的实例框的资格。示例性地，预设数目为1和/或预设阈值为0.5。示例性地，实例信息包括置信度，至少基于待融合实例集合中的所有待融合实例框的层级，确定至少两个实例框中的每个实例框在融合过程中的覆盖优先级包括：至少基于待融合实例集合中的所有待融合实例框的层级和置信度，确定至少两个实例框中的每个实例框在融合过程中的覆盖优先级。示例性地，实例信息包括类别信息和实例标识信息，至少基于待融合实例集合中的所有待融合实例框的层级和置信度，确定至少两个实例框中的每个实例框在融合过程中的覆盖优先级包括：对于待融合实例集合中存在重叠的第一实例框和第二实例框，如果第一实例框和第二实例框的层级不同，则确定在第一实例框和第二实例框的重叠区域中，将第一实例框和第二实例框之中层级高的实例框的类别信息和实例标识信息分配给重叠区域的像素；如果第一实例框和第二实例框的层级相同，则确定在重叠区域中，将第一实例框和第二实例框之中置信度高的实例框的类别信息和实例标识信息分配给重叠区域的像素。示例性地，语义分割结果包括与待处理图像上的至少部分像素分别相关的材料类别信息，材料类别信息用于指示对应像素所属的材料类别，将语义分割结果和实例分割结果融合，以获得全景分割结果包括：将语义分割结果中的材料类别信息映射到全景分割结果图像上；根据至少两个实例框在融合过程中的覆盖优先级将至少两个实例框映射到全景分割结果图像上，以获得全景分割结果，其中，如果在映射到全景分割结果图像的任一像素上时，实例分割结果中与该像素相对应的实例信息和语义分割结果中与该像素相对应的材料类别信息存在冲突，则将实例分割结果中与该像素相对应的实例信息分配给该像素。示例性地，在待融合实例集合由至少两个实例框中的与其他实例框存在重叠的实例框组成的情况下，至少基于待融合实例集合中的所有待融合实例框的层级，确定至少两个实例框中的每个实例框在融合过程中的覆盖优先级包括：对于至少两个实例框中除待融合实例集合以外的任一实例框，确定该实例框在融合过程中的覆盖优先级为预设的优先级。示例性地，待融合实例集合由至少两个实例框中的与其他实例框存在重叠的实例框组成；或者，待融合实例集合由至少两个实例框组成。示例性地，相关实例集合由待融合实例集合中除该待融合实例框之外的实例框组成；或者，相关实例集合由至少两个实例框中与该待融合实例框存在重叠的实例框组成；或者，相关实例集合由至少两个实例框中除该待融合实例框之外的实例框组成。示例性地，共享特征提取模块包括第一卷积模块、第二卷积模块和第三卷积模块，语义分割分支包括第四卷积模块和第五卷积模块，实例分割分支包括第六卷积模块和第七卷积模块，其中，第四卷积模块的空洞卷积扩张参数为2，步长参数为1；第五卷积模块的空洞卷积扩张参数为4，步长参数为1；第六卷积模块的空洞卷积扩张参数为1，步长参数为2；第七卷积模块的空洞卷积扩张参数为1，步长参数为2。示例性地，第四卷积模块和第六卷积模块采用相同的卷积核权重，第五卷积模块和第七卷积模块采用相同的卷积核权重。根据本专利技术另一方面，提供了一种全景分割装置，包括：获取模块，用于获取待处理图像；第一输入模块，用于将所述待处理图像输入全景分割网络的共享特征提取模块进行特征提取，以获得共享特征图；第二输入模块，用于将所述共享特征图分别输入所述全景分割网络的语义分割分支和实例分割分支，以分别获得语义分割结果和实例分割结果；以及融合模块，用于将所述语义分割结果和所述实例分割结果融合，以获得全景分割结果。根据本专利技术另一方面，提供了一种全景分割系统，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行上述全景分割方法。根据本专利技术另一方面，提供了一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行上述全景分割方法。根据本专利技术实施例的全景分割方法、装置、系统及存储介质，通过使语义分割和实例分割两个子任务共享基础模型的参数，可以有效降低网络的参数量，从而减小计算量，加快网络处理速度。附图说明通过结合附图对本专利技术实施例进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与本专利技术实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1示出用于实现根据本专利技术实施例的全景分割方法和装置的示例电子设备的示意性框图；图2示出根据本专利技术一个实施例的全景分割方法的示意性流程图；图3示出根据本专利技术一个实施例的全景分割方法所涉及的算法模块的示意图；图4示出根据本专利技术一个实施例的全景分割装置的示意性框图；以及图5示出根据本专利技术一个实施例的全景分割系统的示意性框图。具体实施方式为了使得本专利技术的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本专利技术的示例实施例。显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是本专利技术的全部实施例，应理解，本专利技术不受这里描述的示例实施例的限制。基于本专利技术中描述的本专利技术实施例，本领域技术人员在没有本文档来自技高网...

【技术保护点】
1.一种全景分割方法，包括：获取待处理图像；将所述待处理图像输入全景分割网络的共享特征提取模块进行特征提取，以获得共享特征图；将所述共享特征图分别输入所述全景分割网络的语义分割分支和实例分割分支，以分别获得语义分割结果和实例分割结果；以及将所述语义分割结果和所述实例分割结果融合，以获得全景分割结果。

【技术特征摘要】
1.一种全景分割方法，包括：获取待处理图像；将所述待处理图像输入全景分割网络的共享特征提取模块进行特征提取，以获得共享特征图；将所述共享特征图分别输入所述全景分割网络的语义分割分支和实例分割分支，以分别获得语义分割结果和实例分割结果；以及将所述语义分割结果和所述实例分割结果融合，以获得全景分割结果。2.如权利要求1所述的方法，其中，所述实例分割结果包括与至少两个实例框分别相关的实例信息，所述将所述语义分割结果和所述实例分割结果融合，以获得全景分割结果包括：对于待融合实例集合中的任一待融合实例框，计算该待融合实例框与相关实例集合中的任一相关实例框之间的重叠面积与该待融合实例框所占面积之比，以获得该待融合实例框与该相关实例框之间的重叠比率，其中，所述待融合实例集合包括所述至少两个实例框中的至少一个实例框，所述相关实例集合包括所述至少两个实例框中除该待融合实例框之外的至少一个实例框；根据该待融合实例框与所述相关实例集合中的所有相关实例框之间的重叠比率，确定该待融合实例框的层级；至少基于所述待融合实例集合中的所有待融合实例框的层级，确定所述至少两个实例框中的每个实例框在融合过程中的覆盖优先级。3.如权利要求2所述的方法，其中，所述根据该待融合实例框与所述相关实例集合中的所有相关实例框之间的重叠比率，确定该待融合实例框的层级包括：如果在该待融合实例框与所述相关实例集合中的所有相关实例框之间的重叠比率中，存在预设数目的重叠比率大于预设阈值，则确定该待融合实例框的层级为高，否则，确定该待融合实例框的层级为低，其中，层级高的实例框具有覆盖层级低的实例框的资格。4.如权利要求3所述的方法，其中，所述预设数目为1和/或所述预设阈值为0.5。5.如权利要求2至4任一项所述的方法，其中，所述实例信息包括置信度，所述至少基于所述待融合实例集合中的所有待融合实例框的层级，确定所述至少两个实例框中的每个实例框在融合过程中的覆盖优先级包括：至少基于所述待融合实例集合中的所有待融合实例框的层级和置信度，确定所述至少两个实例框中的每个实例框在融合过程中的覆盖优先级。6.如权利要求5所述的方法，其中，所述实例信息包括类别信息和实例标识信息，所述至少基于所述待融合实例集合中的所有待融合实例框的层级和置信度，确定所述至少两个实例框中的每个实例框在融合过程中的覆盖优先级包括：对于所述待融合实例集合中存在重叠的第一实例框和第二实例框，如果所述第一实例框和所述第二实例框的层级不同，则确定在所述第一实例框和所述第二实例框的重叠区域中，将所述第一实例框和所述第二实例框之中层级高的实例框的类别信息和实例标识信息分配给所述重叠区域的像素；如果所述第一实例框和所述第二实例框的层级相同，则确定在所述重叠区域中，将所述第一实例框和所述第二实例框之中置信度高的实例框的类别信息和实例标识信息分配给所述重叠区域的像素。7.如权利要求2所述的方法，其中，所述语义分割结果包括与所述待处理图像上的至少部分像素分别相关的材料类别信息，所述材料类别信息用于指示...

【专利技术属性】
技术研发人员：刘环宇，彭超，俞刚，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京,11