本发明专利技术实施例公开了一种实例分割方法和装置、电子设备、程序和介质，其中，方法包括：通过神经网络对图像进行特征提取，输出至少两个不同层级的特征；从所述至少两个不同层级的特征中抽取所述图像中至少一实例候选区域对应的区域特征、并对同一实例候选区域对应的区域特征进行融合，得到各实例候选区域的第一融合特征；基于各第一融合特征进行实例分割，获得相应实例候选区域的实例分割结果和/或所述图像的实例分割结果。本发明专利技术实施例设计了基于深度学习的框架解决实例分割的问题，可以获得更准确的实例分割结果。
【技术实现步骤摘要】
实例分割方法和装置、电子设备、程序和介质
本专利技术涉及计算机视觉技术，尤其是一种实例分割方法和装置、电子设备、程序和介质。
技术介绍
实例分割是计算机视觉领域非常重要的方向，此任务结合了语义分割和物体检测的特点，对于输入图像中的每一个物体，都会为他们生成一个独立的像素级别的掩膜(mask)，并且预测其对应的类别。实例分割在无人驾驶、家居机器人等领域有着非常广阔的应用。
技术实现思路
本专利技术实施例提供一种实例分割方案。根据本专利技术实施例的一个方面，提供的一种实例分割方法，包括：通过神经网络对图像进行特征提取，输出至少两个不同层级的特征；从所述至少两个不同层级的特征中抽取所述图像中至少一实例候选区域对应的区域特征、并对同一实例候选区域对应的区域特征进行融合，得到各实例候选区域的第一融合特征；基于各第一融合特征进行实例分割，获得相应实例候选区域的实例分割结果和/或所述图像的实例分割结果。在基于本专利技术上述各方法实施例的另一个实施例中，所述通过神经网络对图像进行特征提取，输出至少两个不同层级的特征，包括：通过所述神经网络对所述图像进行特征提取，经所述神经网络中至少两个不同网络深度的网络层输出至少两个不同层级的特征。在基于本专利技术上述各方法实施例的另一个实施例中，所述输出至少两个不同层级的特征之后，还包括：将所述至少两个不同层级的特征进行至少一次折回融合，得到第二融合特征；其中，一次所述折回融合包括：基于所述神经网络的网络深度方向，对分别由不同网络深度的网络层输出的不同层级的特征，依次按照两个不同的层级方向进行融合；从所述至少两个不同层级的特征中抽取所述图像中至少一实例候选区域对应的区域特征，包括：从所述第二融合特征中抽取所述至少一实例候选区域对应的区域特征。在基于本专利技术上述各方法实施例的另一个实施例中，所述两个不同的层级方向，包括：从高层级特征到低层级特征的方向、和从低层级特征到高层级特征的方向。在基于本专利技术上述各方法实施例的另一个实施例中，所述依次按照两个不同的层级方向，包括：依次沿从高层级特征到低层级特征的方向和从低层级特征到高层级特征的方向；或者依次沿从低层级特征到高层级特征的方向和从高层级特征到低层级特征的方向。在基于本专利技术上述各方法实施例的另一个实施例中，对分别由不同网络深度的网络层输出的不同层级的特征，依次沿从高层级特征到低层级特征的方向和从低层级特征到高层级特征的方向进行融合，包括：沿所述神经网络的网络深度从深到浅的方向，依次将所述神经网络中，经网络深度较深的网络层输出的较高层级的特征上采样后，与经网络深度较浅的网络层输出的较低层级的特征进行融合，获得第三融合特征；沿从低层级特征到高层级特征的方向，依次将较低层级的融合特征降采样后，与所述第三融合特征中较高层级的融合特征进行融合。在基于本专利技术上述各方法实施例的另一个实施例中，所述较高层级的特征，包括：经所述神经网络中所述网络深度较深的网络层输出的特征、或者对所述网络深度较深的网络层输出的特征进行至少一次特征提取得到的特征。在基于本专利技术上述各方法实施例的另一个实施例中，所述依次将所述神经网络中，经网络深度较深的网络层输出的较高层级的特征上采样后，与经网络深度较浅的网络层输出的较低层级的特征进行融合，包括：依次将所述神经网络中，经网络深度较深的网络层输出的较高层级的特征上采样后，与相邻的、经网络深度较浅的网络层输出的较低层级的特征进行融合。在基于本专利技术上述各方法实施例的另一个实施例中，所述依次将较低层级的融合特征降采样后，与所述第三融合特征中较高层级的融合特征进行融合，包括：依次将较低层级的融合特征降采样后，与相邻的、所述第三融合特征中较高层级的融合特征进行融合。在基于本专利技术上述各方法实施例的另一个实施例中，对分别由不同网络深度的网络层输出的不同层级的特征，依次沿从低层级特征到高层级特征的方向和从高层级特征到低层级特征的方向进行融合，包括：沿所述神经网络的网络深度从浅到深的方向，依次将所述神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与经网络深度较深的网络层输出的较高层级的特征进行融合，获得第四融合特征；沿从高层级特征到低层级特征的方向，依次将较高层级的融合特征上采样后，与所述第四融合特征中较低层级的融合特征进行融合。在基于本专利技术上述各方法实施例的另一个实施例中，所述较低层级的特征，包括：经所述神经网络中所述网络深度较浅的网络层输出的特征、或者对所述网络深度较浅的网络层输出的特征进行至少一次特征提取得到的特征。在基于本专利技术上述各方法实施例的另一个实施例中，所述依次将所述神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与经网络深度较深的网络层输出的较高层级的特征进行融合，包括：依次将所述神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与相邻的、经网络深度较深的网络层输出的较高层级的特征进行融合。在基于本专利技术上述各方法实施例的另一个实施例中，所述依次将较高层级的融合特征上采样后，与所述第四融合特征中较低层级的融合特征进行融合，包括：依次将较高层级的融合特征上采样后，与相邻的、所述第四融合特征中较低层级的融合特征进行融合。在基于本专利技术上述各方法实施例的另一个实施例中，所述对同一实例候选区域对应的区域特征进行融合，包括：分别对同一实例候选区域对应的多个区域特征进行像素级别的融合。在基于本专利技术上述各方法实施例的另一个实施例中，所述对同一实例候选区域对应的多个区域特征进行像素级别的融合，包括：分别对同一实例候选区域对应的多个区域特征基于各像素取最大值；或者分别对同一实例候选区域对应的多个区域特征基于各像素取平均值；或者分别对同一实例候选区域对应的多个区域特征基于各像素取求和。在基于本专利技术上述各方法实施例的另一个实施例中，所述基于各第一融合特征进行实例分割，获得相应实例候选区域的实例分割结果和/或所述图像的实例分割结果，包括：基于一第一融合特征，对所述一第一融合特征对应的实例候选区域进行实例分割，获得所述对应的实例候选区域的实例分割结果；和/或，基于各第一融合特征对所述图像进行实例分割，获得所述图像的实例分割结果。在基于本专利技术上述各方法实施例的另一个实施例中，基于各第一融合特征进行实例分割，获得所述图像的实例分割结果，包括：分别基于各第一融合特征，对所述各第一融合特征各自对应的实例候选区域进行实例分割，获得各实例候选区域的实例分割结果；基于所述各实例候选区域的实例分割结果获取所述图像的实例分割结果。在基于本专利技术上述各方法实施例的另一个实施例中，所述基于一第一融合特征，对所述一第一融合特征对应的实例候选区域进行实例分割，获得所述对应的实例候选区域的实例分割结果，包括：基于所述一第一融合特征，进行像素级别的实例类别预测，获得所述一第一融合特征对应的实例候选区的实例类别预测结果；基于所述一第一融合特征进行像素级别的前背景预测，获得所述一第一融合特征对应的实例候选区域的前背景预测结果；基于所述实例类别预测结果和所述前背景预测结果，获取所述一第一融合特征对应的实例物体候选区域的实例分割结果。在基于本专利技术上述各方法实施例的另一个实施例中，基于所述一第一融合特征进行像素级别的前背景预测，包括：基于所述一第一融合特征，预测所述一本文档来自技高网...
【技术保护点】
1.一种实例分割方法，其特征在于，包括：通过神经网络对图像进行特征提取，输出至少两个不同层级的特征；从所述至少两个不同层级的特征中抽取所述图像中至少一实例候选区域对应的区域特征、并对同一实例候选区域对应的区域特征进行融合，得到各实例候选区域的第一融合特征；基于各第一融合特征进行实例分割，获得相应实例候选区域的实例分割结果和/或所述图像的实例分割结果。
【技术特征摘要】
1.一种实例分割方法，其特征在于，包括：通过神经网络对图像进行特征提取，输出至少两个不同层级的特征；从所述至少两个不同层级的特征中抽取所述图像中至少一实例候选区域对应的区域特征、并对同一实例候选区域对应的区域特征进行融合，得到各实例候选区域的第一融合特征；基于各第一融合特征进行实例分割，获得相应实例候选区域的实例分割结果和/或所述图像的实例分割结果。2.根据权利要求1所述的方法，其特征在于，所述通过神经网络对图像进行特征提取，输出至少两个不同层级的特征，包括：通过所述神经网络对所述图像进行特征提取，经所述神经网络中至少两个不同网络深度的网络层输出至少两个不同层级的特征。3.根据权利要求1或2所述的方法，其特征在于，所述输出至少两个不同层级的特征之后，还包括：将所述至少两个不同层级的特征进行至少一次折回融合，得到第二融合特征；其中，一次所述折回融合包括：基于所述神经网络的网络深度方向，对分别由不同网络深度的网络层输出的不同层级的特征，依次按照两个不同的层级方向进行融合；从所述至少两个不同层级的特征中抽取所述图像中至少一实例候选区域对应的区域特征，包括：从所述第二融合特征中抽取所述至少一实例候选区域对应的区域特征。4.根据权利要求3所述的方法，其特征在于，所述两个不同的层级方向，包括：从高层级特征到低层级特征的方向、和从低层级特征到高层级特征的方向。5.根据权利要求4所述的方法，其特征在于，所述依次按照两个不同的层级方向，包括：依次沿从高层级特征到低层级特征的方向和从低层级特征到高层级特征的方向；或者依次沿从低层级特征到高层级特征的...
【专利技术属性】
技术研发人员：刘枢，亓鲁，秦海芳，石建萍，贾佳亚，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。