图像数据处理方法、装置、设备以及介质制造方法及图纸

本申请实施例提供了一种图像数据处理方法、装置、设备以及介质，该方法具体涉及图像实例分割，可以应用在计算机视觉任务中。该方法包括：在源图像中获取具有不同尺寸的M个对象特征图，获取每个对象特征图中的像素点所对应的分类置信度，M为正整数；获取每个对象特征图中的像素点所对应的初始预测极径，根据初始预测极径在每个对象特征图中获取轮廓采样点，将轮廓采样点的极径偏差和初始预测极径之和，确定为每个对象特征图中的像素点所对应的目标预测极径；根据每个对象特征图中的像素点所对应的分类置信度和目标预测极径，在源图像中确定用于表征目标对象的轮廓的对象边缘形状。采用本申请实施例，可以提高图像的分割准确性。可以提高图像的分割准确性。可以提高图像的分割准确性。

【技术实现步骤摘要】
图像数据处理方法、装置、设备以及介质


[0001]本申请涉及人工智能
，尤其涉及一种图像数据处理方法、装置、设备以及介质。

技术介绍

[0002]实例分割是指给定一张图像或者视频帧，找出该图像或者视频帧中所包含的所有实例并进行识别和分割。实例分割作为视频理解、自动驾驶等计算机视觉任务的基础，已成为计算机视觉领域的热点问题。
[0003]目前，可以采用基于轮廓的实例分割方法对图像进行处理，通过对图像中所包含的实例轮廓进行建模，预测得到该图像中的实例所对应的边缘像素点坐标，进而可以根据边缘像素点坐标确定图像中的实例轮廓。然而，当图像中的实例存在遮挡时，通过边缘像素点坐标预测得到的实例轮廓与图像中的真实实例轮廓之间存在误差，导致图像的分割准确性过低。

技术实现思路

[0004]本申请实施例提供一种图像数据处理方法、装置、设备以及介质，可以提高图像的分割准确性。
[0005]本申请实施例一方面提供了一种图像数据处理方法，包括：
[0006]获取与源图像所包含的目标对象相关联的M个对象特征图，根据M个对象特征图，获取每个对象特征图中的像素点所对应的分类置信度；M个对象特征图为具有不同尺寸的图像特征，分类置信度用于表征每个对象特征图中的像素点与目标对象之间的关联程度，M为正整数；
[0007]根据M个对象特征图，获取每个对象特征图中的像素点所对应的初始预测极径，根据初始预测极径，在每个对象特征图中分别获取目标对象对应的轮廓采样点；轮廓采样点所构成的轮廓与目标对象的轮廓相关联；
[0008]获取每个对象特征图中的轮廓采样点所对应的极径偏差，将极径偏差和初始预测极径之和，确定为每个对象特征图中的像素点所对应的目标预测极径；
[0009]根据每个对象特征图中的像素点所对应的目标预测极径，在源图像中确定每个对象特征图分别关联的候选边缘形状，将每个对象特征图分别关联的候选边缘形状均添加至候选边缘形状集合，根据每个对象特征图中的像素点所对应的分类置信度，在候选边缘形状集合中确定用于表征目标对象的轮廓的对象边缘形状。
[0010]本申请实施例一方面提供了一种图像数据处理方法，包括：
[0011]获取包含样本对象的样本图像，将样本图像输入至初始图像分割模型，通过初始图像分割模型中的残差组件和特征融合组件，输出与样本对象相关联的M个样本特征图；样本图像携带样本对象对应的标签信息，M个样本特征图为具有不同尺寸的图像特征，M为正整数；
[0012]通过初始图像分割模型中的分类组件，输出每个样本特征图中的像素点所对应的样本分类置信度；样本分类置信度用于表征每个样本特征图中的像素点与样本对象之间的关联程度；
[0013]在初始图像分割模型的回归组件中，获取每个样本特征图中的像素点所对应的初始样本极径，根据初始样本极径，在每个样本特征图中分别获取样本对象对应的样本轮廓采样点；样本轮廓采样点所构成的轮廓与样本对象的轮廓相关联；
[0014]获取每个样本特征图中的样本轮廓采样点所对应的样本极径偏差，将样本极径偏差和初始样本极径之和，确定为每个样本特征图中的像素点所对应的目标样本极径；
[0015]根据样本分类置信度、初始样本极径、目标样本极径以及标签信息，对初始图像分割模型的网络参数进行修正，将参数修正后的初始图像分割模型确定为目标图像分割模型；目标图像分割模型用于定位并识别源图像中的目标对象。
[0016]本申请实施例一方面提供了一种图像数据处理装置，包括：
[0017]第一获取模块，用于获取与源图像所包含的目标对象相关联的M个对象特征图，根据M个对象特征图，获取每个对象特征图中的像素点所对应的分类置信度；M个对象特征图为具有不同尺寸的图像特征，分类置信度用于表征每个对象特征图中的像素点与目标对象之间的关联程度，M为正整数；
[0018]第一预测模块，用于根据M个对象特征图，获取每个对象特征图中的像素点所对应的初始预测极径，根据初始预测极径，在每个对象特征图中分别获取目标对象对应的轮廓采样点；轮廓采样点所构成的轮廓与目标对象的轮廓相关联；
[0019]第二预测模块，用于获取每个对象特征图中的轮廓采样点所对应的极径偏差，将极径偏差和初始预测极径之和，确定为每个对象特征图中的像素点所对应的目标预测极径；
[0020]边缘确定模块，用于根据每个对象特征图中的像素点所对应的目标预测极径，在源图像中确定每个对象特征图分别关联的候选边缘形状，将每个对象特征图分别关联的候选边缘形状均添加至候选边缘形状集合，根据每个对象特征图中的像素点所对应的分类置信度，在候选边缘形状集合中确定用于表征目标对象的轮廓的对象边缘形状。
[0021]其中，第一获取模块包括：
[0022]特征提取单元，用于获取包含目标对象的源图像，将源图像输入至目标图像分割模型，根据目标图像分割模型中的残差组件，在源图像中获取与目标对象相关联的N个残差特征图；N个残差特征图为残差组件中的不同网络层所输出的特征，N为正整数；
[0023]特征融合单元，用于在目标图像分割模型的特征融合组件中，对N个残差特征图进行特征融合，得到目标对象对应的M个对象特征图。
[0024]其中，N个残差特征图包括第一残差特征图和第二残差特征图，第二残差特征图的尺寸小于第一残差特征图的尺寸；
[0025]特征融合单元包括：
[0026]卷积子单元，用于在目标图像分割模型的特征融合组件中，分别对第一残差特征图和第二残差特征图进行卷积操作，得到第一残差特征图对应的第一卷积特征图，以及第二残差特征图对应的第二卷积特征图；
[0027]上采样子单元，用于对第二卷积特征图进行上采样操作，得到上采样特征图，将第
一卷积特征图和上采样特征图之和确定为融合特征图；
[0028]下采样子单元，用于对第二卷积特征图进行下采样操作，得到下采样特征图，根据融合特征图、第二卷积特征图以及下采样特征图，确定目标对象对应的M个对象特征图。
[0029]其中，分类置信度包括类别置信度和中心置信度；
[0030]第一获取模块包括：
[0031]分类特征获取单元，用于获取M个对象特征图中的对象特征图P
i
，在目标图像分割模型的分类组件中，获取对象特征图P
i
对应的对象分类特征图；i为小于或等于M的正整数；
[0032]类别预测单元，用于根据分类组件中的类别预测子组件，对对象分类特征图进行像素类别分类，得到对象特征图P
i
中的像素点分别属于L个类别的类别置信度；目标图像分割模型用于识别L个类别所对应的对象，L为正整数；
[0033]中心预测单元，用于根据分类组件中的中心预测子组件，对对象分类特征图进行像素中心分类，得到对象特征图P
i
中的像素点，在目标对象所处的图像区域中的中心置信度。
[0034]其中，第一预测模块包括：
[0035]距离特征获取单元，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像数据处理方法，其特征在于，包括：获取与源图像所包含的目标对象相关联的M个对象特征图，根据所述M个对象特征图，获取每个对象特征图中的像素点所对应的分类置信度；所述M个对象特征图为具有不同尺寸的图像特征，所述分类置信度用于表征所述每个对象特征图中的像素点与所述目标对象之间的关联程度，所述M为正整数；根据所述M个对象特征图，获取所述每个对象特征图中的像素点所对应的初始预测极径，根据所述初始预测极径，在所述每个对象特征图中分别获取所述目标对象对应的轮廓采样点；所述轮廓采样点所构成的轮廓与所述目标对象的轮廓相关联；获取所述每个对象特征图中的轮廓采样点所对应的极径偏差，将所述极径偏差和所述初始预测极径之和，确定为所述每个对象特征图中的像素点所对应的目标预测极径；根据所述每个对象特征图中的像素点所对应的所述目标预测极径，在所述源图像中确定所述每个对象特征图分别关联的候选边缘形状，将所述每个对象特征图分别关联的候选边缘形状均添加至候选边缘形状集合，根据所述每个对象特征图中的像素点所对应的所述分类置信度，在所述候选边缘形状集合中确定用于表征所述目标对象的轮廓的对象边缘形状。2.根据权利要求1所述的方法，其特征在于，所述获取与源图像所包含的目标对象相关联的M个对象特征图，包括：获取包含所述目标对象的所述源图像，将所述源图像输入至目标图像分割模型，根据所述目标图像分割模型中的残差组件，在所述源图像中获取与所述目标对象相关联的N个残差特征图；所述N个残差特征图为所述残差组件中的不同网络层所输出的特征，所述N为正整数；在所述目标图像分割模型的特征融合组件中，对所述N个残差特征图进行特征融合，得到所述目标对象对应的所述M个对象特征图。3.根据权利要求2所述的方法，其特征在于，所述N个残差特征图包括第一残差特征图和第二残差特征图，所述第二残差特征图的尺寸小于所述第一残差特征图的尺寸；所述在所述目标图像分割模型的特征融合组件中，对所述N个残差特征图进行特征融合，得到所述目标对象对应的所述M个对象特征图，包括：在所述目标图像分割模型的特征融合组件中，分别对所述第一残差特征图和第二残差特征图进行卷积操作，得到所述第一残差特征图对应的第一卷积特征图，以及所述第二残差特征图对应的第二卷积特征图；对所述第二卷积特征图进行上采样操作，得到上采样特征图，将所述第一卷积特征图和所述上采样特征图之和确定为融合特征图；对所述第二卷积特征图进行下采样操作，得到下采样特征图，根据所述融合特征图、所述第二卷积特征图以及所述下采样特征图，确定所述目标对象对应的所述M个对象特征图。4.根据权利要求1所述的方法，其特征在于，所述分类置信度包括类别置信度和中心置信度；所述根据所述M个对象特征图，获取每个对象特征图中的像素点所对应的分类置信度，包括：获取所述M个对象特征图中的对象特征图P
i
，在目标图像分割模型的分类组件中，获取
所述对象特征图P
i
对应的对象分类特征图；所述i为小于或等于所述M的正整数；根据所述分类组件中的类别预测子组件，对所述对象分类特征图进行像素类别分类，得到所述对象特征图P
i
中的像素点分别属于L个类别的类别置信度；所述目标图像分割模型用于识别所述L个类别所对应的对象，所述L为正整数；根据所述分类组件中的中心预测子组件，对所述对象分类特征图进行像素中心分类，得到所述对象特征图P
i
中的像素点，在所述目标对象所处的图像区域中的中心置信度。5.根据权利要求1所述的方法，其特征在于，所述根据所述M个对象特征图，获取所述每个对象特征图中的像素点所对应的初始预测极径，根据所述初始预测极径，在所述每个对象特征图中分别获取所述目标对象对应的轮廓采样点，包括：获取所述M个对象特征图中的对象特征图P
i
，在目标图像分割模型的回归组件中，对所述对象特征图P
i
进行卷积操作，得到所述对象特征图P
i
对应的距离预测特征图；将所述距离预测特征图中的像素点确定为候选中心，根据所述距离预测特征图获取所述候选中心对应的初始预测极径；根据所述初始预测极径和所述对象特征图P
i
中的像素点，确定采样特征坐标，在所述对象特征图P
i
中获取与所述采样特征坐标相匹配的轮廓采样点。6.根据权利要求5所述的方法，其特征在于，所述对象特征图P
i
中所包含的轮廓采样点的数量为K个，所述K为正整数；所述获取所述每个对象特征图中的轮廓采样点所对应的极径偏差，包括：获取所述对象特征图P
i
中的K个轮廓采样点分别对应的采样特征向量，对K个采样特征向量进行叠加操作，得到所述目标对象对应的轮廓特征向量；根据K个分组卷积对所述轮廓特征向量进行卷积操作，得到所述K个轮廓采样点分别对应的极径偏差。7.根据权利要求1所述的方法，其特征在于，所述根据所述每个对象特征图中的像素点所对应的所述目标预测极径，在所述源图像中确定所述每个对象特征图分别关联的候选边缘形状，将所述每个对象特征图分别关联的候选边缘形状均添加至候选边缘形状集合，包括：获取所述M个对象特征图中的对象特征图P
i
，在所述对象特征图P
i
中获取像素点S
j
；所述i为小于或等于所述M的正整数，所述j为小于或等于所述对象特征图P
i
所包含的像素数量的正整数；在所述源图像中对所述像素点S
j
对应的目标预测极径的端点进行连接，生成以所述像素点S
j
为中心的候选边缘形状B
j
；将所述每个对象特征图中的像素点所关联的候选边缘形状，均添加至所述目标对象对应的候选边缘形状集合。8.根据权利要求7所述的方法，其特征在于，所述分类置信度包括类别置信度和中心置信度；所述根据所述每个对象特征图中的像素点所对应的所述分类置信度，在所述候选边缘形状集合中确定用于表征所述目标对象的轮廓的对象边缘形状，包括：在所述源图像中，获取所述候选边缘形状集合中的所述候选边缘形状B
j
所覆盖的候选像素点；
根据所述候选像素点对应的类别置信度，与所述候选像素点对应的中心置信度之间的乘积，确定所述候选边缘形状B
j
对应的分割置信度；根据所述...

【专利技术属性】
技术研发人员：高斌斌，罗凤，
申请(专利权)人：腾讯云计算北京有限责任公司，
类型：发明
国别省市：