图像的目标对象分割及训练方法和装置、设备、介质、产品制造方法及图纸

本申请实施例公开了一种图像的目标对象分割及训练方法和装置、设备、介质、产品，其中，图像的目标对象分割方法包括：基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息，所述处理块包括至少一个处理单元；将所述多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息；基于所述目标图像特征信息，确定所述图像的目标对象分割结果。基于本申请上述实施例，通过相邻图像特征信息的至少两级融合，获得了更多信息，有利于对图像中的目标对象进行较为准确的分割。

【技术实现步骤摘要】
图像的目标对象分割及训练方法和装置、设备、介质、产品
本申请涉及图像处理技术，尤其是一种图像的目标对象分割及训练方法和装置、设备、介质、产品。
技术介绍
随着遥感卫星的快速发展，遥感影像也开始为各个领域所应用。由于卫星遥感影像的场景较大，而且没有清晰的边界，没有一个准确的结构信息，遥感影像与传统的图像分割场景不同，导致在使用传统神经网络在分割上存在一些困难，效果较差且难以提升。对于土地覆盖类型分类，遥感影像所覆盖的场景较大，景象受到分辨率的约束和影响，同时由标注带来的噪声都会给图像的分割带来很大的影响。
技术实现思路
本申请实施例提供的一种图像的目标对象分割及土地分割神经网络的训练技术。根据本申请实施例的一个方面，提供的一种图像的目标对象分割方法，包括：基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息，所述处理块包括至少一个处理单元；将所述多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息；基于所述目标图像特征信息，确定所述图像的目标对象分割结果。可选地，所述将所述多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息，包括：将每对所述相邻处理块输出的图像特征信息进行第一级融合处理，得到第一融合特征信息；将至少一对相邻的所述第一融合特征信息进行第二级融合处理，得到至少一个第二融合特征信息；基于所述至少一个第二融合特征信息，确定所述目标图像特征信息。可选地，所述基于所述至少一个第二融合特征信息，确定所述目标图像特征信息，包括：对所述至少一个第二融合特征信息进行后续特征融合处理，直到所述后续融合处理得到的后续融合特征信息的数量为一个；将所述数量为一个的后续融合特征信息作为所述目标图像特征信息。可选地，所述将所述相邻处理块输出的图像特征信息进行融合，包括：将所述相邻两个处理块输出的图像特征信息逐元素相加。可选地，所述多个处理块之间顺序连接。可选地，所述处理单元包括至少一个特征提取层和一个特征调整层；所述基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息，包括：基于所述处理单元中的所述至少一个特征提取层对输入信息进行特征提取处理，得到第一特征信息；基于所述处理单元中的所述特征调整层对所述第一特征信息进行调整处理，得到所述图像特征信息，其中，每对所述相邻处理块输出的图像特征信息具有相同的大小和相同的通道数。可选地，所述将所述多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息之前，还包括：对所述多个处理块中的处理块M1输出的图像特征信息进行特征缩减处理；对所述多个处理块中的处理块M2输出的图像特征信息进行特征扩展处理；其中，所述处理块M2的输入端与所述处理块M1的输出端直接或间接连接。可选地，所述基于多个处理块对所述图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息，包括：利用所述多个处理块中的处理块N1对输入信息进行特征提取处理，得到所述处理块N1对应的第一图像特征信息，其中，所述处理块N1的输入信息包括图像和/或位于所述处理块N1之前的至少一个处理块输出的图像特征信息，N1为大于或等于1的整数；将所述第一图像特征信息输入到所述处理块N1的下一处理块进行特征提取处理，得到所述下一处理块输出的第二图像特征信息。可选地，所述将所述第一图像特征信息输入到所述处理块N1的下一处理块进行处理，得到所述下一处理块输出的第二图像特征信息，包括：将所述图像和/或至少一个处理块N2输出的图像特征信息以及所述第一图像特征信息输入到所述处理块N1的下一处理块进行特征提取处理，得到所述下一处理块输出的第二图像特征信息，其中，所述处理块N1的输入端与所述处理块N2的输出端直接或间接连接。可选地，所述将所述图像和/或至少一个处理块N2输出的图像特征信息以及所述第一图像特征信息输入到所述处理块N1的下一处理块进行特征提取处理之前，还包括：将所述至少一个处理块N2输出的图像特征信息进行融合处理，并将融合处理得到的图像特征信息输入所述处理块N1的下一处理块。可选地，所述基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息之前，还包括：通过一个卷积层对所述图像进行特征提取处理，得到所述图像对应的特征，将所述图像对应的特征输入所述多个处理块。可选地，所述图像为遥感图像，所述目标对象为土地。可选地，所述方法利用分割神经网络实现，所述图像为具有标注信息的样本图像；所述方法还包括：基于所述样本图像的目标对象分割结果和所述样本图像的标注信息，训练所述分割神经网络。可选地，所述样本图像为土地样本图像；所述方法还包括：利用所述分割神经网络对道路样本图像进行处理，得到所述道路样本图像的分割结果，所述道路样本图像具有标注信息；所述基于所述样本图像的目标对象分割结果和所述样本图像的标注信息，训练所述分割神经网络，包括：基于所述土地样本图像的目标对象预测结果和所述土地样本图像的标注信息，以及所述道路样本图像的分割结果和所述道路样本图像的标注信息，调整所述分割神经网络的参数。可选地，所述目标图像特征信息是基于所述分割神经网络对所述土地样本图像和所述道路样本图像进行批量处理得到的混合图像特征信息得到的。可选地，所述基于所述土地样本图像的目标对象预测结果和所述土地样本图像的标注信息，以及所述道路样本图像的分割结果和所述道路样本图像的标注信息，调整所述分割神经网络的参数，包括：基于所述土地样本图像的目标对象预测结果和所述土地样本图像的标注信息获得第一损失；基于所述道路样本图像的分割结果和所述道路样本图像的标注信息获得第二损失；基于所述第一损失和所述第二损失调整所述分割神经网络的参数。可选地，所述基于所述第一损失和所述第二损失调整所述分割神经网络的参数，包括：将所述第一损失和所述第二损失加权求和，得到总损失；基于所述总损失，调整所述分割神经网络的参数。可选地，所述基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息之前，还包括：基于设定大小的剪裁框对所述样本图像进行剪裁，获得至少一个剪裁图像；所述基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息，包括：基于多个处理块对所述裁剪图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息。可选地，所述基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息之前，还包括：通过设定参数对所述样本图像进行以下至少一种增强处理：调整所述样本图像的大小、旋转所述样本图像的角度、改变所述样本图像的亮度；所述基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息，包括：基于多个处理块对所述至少一种增强处理后的图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息。根据本申请实施例的另一个方面，提供的一种图像的目标对象分割装置，其特征在于，包括：图像处理模块，用于基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出本文档来自技高网...

【技术保护点】
1.一种图像的目标对象分割方法，其特征在于，包括：基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息，所述处理块包括至少一个处理单元；将所述多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息；基于所述目标图像特征信息，确定所述图像的目标对象分割结果。

【技术特征摘要】
1.一种图像的目标对象分割方法，其特征在于，包括：基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息，所述处理块包括至少一个处理单元；将所述多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息；基于所述目标图像特征信息，确定所述图像的目标对象分割结果。2.根据权利要求1所述的方法，其特征在于，所述将所述多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息，包括：将每对所述相邻处理块输出的图像特征信息进行第一级融合处理，得到第一融合特征信息；将至少一对相邻的所述第一融合特征信息进行第二级融合处理，得到至少一个第二融合特征信息；基于所述至少一个第二融合特征信息，确定所述目标图像特征信息。3.根据权利要求2所述的方法，其特征在于，所述基于所述至少一个第二融合特征信息，确定所述目标图像特征信息，包括：对所述至少一个第二融合特征信息进行后续特征融合处理，直到所述后续融合处理得到的后续融合特征信息的数量为一个；将所述数量为一个的后续融合特征信息作为所述目标图像特征信息。4.一种图像的目标对象分割装置，其特征在于，包括：图像处理模块，用于基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息，所述处理块包括至少一个处理单元；融合模块，用于将所述多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息；分割模块，用于基于所述目标图像特征信息，确定所述图像的目标对象分割结果。5.一种土地分割神经网络的训练方法，其特征在于，包括：将至少一个土地样本图像和至...

【专利技术属性】
技术研发人员：田超，李聪，石建萍，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11