数据处理方法、装置、设备、计算机可读存储介质及产品制造方法及图纸

本公开实施例提供一种数据处理方法、装置、设备、计算机可读存储介质及产品，方法包括：获取第一图像和第二图像，所述第二图像为对所述第一图像进行处理后获得；将所述第一图像和第二图像输入至原始模型，获得不同尺度的结果，其中，所述不同尺度的结果包括与所述第一图像对应的第一结果以及与所述第二图像对应的第二结果；根据所述不同尺度的结果计算所述原始模型对应的目标损失值；根据所述目标损失值对所述原始模型进行调节，获得图像分割模型。从而能够对原始模型输出的多个尺度结果进行稳定性的监督，有助于更好地提升语义分割的时序稳定性，使得训练后的图像分割模型对视频序列的分割效果更加稳定、自然。自然。自然。

【技术实现步骤摘要】
数据处理方法、装置、设备、计算机可读存储介质及产品


[0001]本公开实施例涉及人工智能
，尤其涉及一种数据处理方法、装置、设备、计算机可读存储介质及产品。

技术介绍

[0002]在目前移动端业务上，视频分割任务在算法层采用的方案大都为逐帧分割的方案。而深度模型对于输入的微小变化可能会导致较大的输出差异，即视频相邻帧的微小变化可能会导致分割模型输出的相邻帧蒙版边缘有较为明显的抖动，影响特效观感。
[0003]因此，如何提高视频分割的稳定性成为了亟待解决的问题。

技术实现思路

[0004]本公开实施例提供一种数据处理方法、装置、设备、计算机可读存储介质及产品，用于解决现有的视频分割稳定性不高的技术问题。
[0005]第一方面，本公开实施例提供一种数据处理方法，包括：
[0006]获取第一图像和第二图像，其中，所述第二图像为对所述第一图像进行处理后获得；
[0007]将所述第一图像和第二图像输入至原始模型，获得不同尺度的结果，其中，所述不同尺度的结果包括与所述第一图像对应的第一结果以及与所述第二图像对应的第二结果；
[0008]根据所述不同尺度的结果计算所述原始模型对应的目标损失值；
[0009]根据所述目标损失值对所述原始模型进行调节，获得图像分割模型。
[0010]第二方面，本公开实施例提供一种数据处理方法，包括：
[0011]获取待分割视频；
[0012]获取所述待分割视频对应的至少一个待分割视频帧；
[0013]将所述待分割视频帧输入至预设的图像分割模型中进行图像分割操作，获得图像分割结果；
[0014]其中，所述图像分割模型是通过将第一图像和第二图像输入至预设的原始模型中，根据所述原始模型输出的不同尺度的结果计算所述原始模型对应的目标损失值，根据所述目标损失值对所述原始模型的模型参数进行调节后获得的。
[0015]第三方面，本公开实施例提供一种数据处理装置，包括：
[0016]获取模块，用于获取第一图像和第二图像，其中，所述第二图像为对所述第一图像进行处理后获得；
[0017]处理模块，用于将所述第一图像和第二图像输入至原始模型，获得不同尺度的结果，其中，所述不同尺度的结果包括与所述第一图像对应的第一结果以及与所述第二图像对应的第二结果；
[0018]计算模块，用于根据所述不同尺度的结果计算所述原始模型对应的目标损失值；
[0019]训练模块，用于根据所述目标损失值对所述原始模型进行调节，获得图像分割模
型。
[0020]第四方面，本公开实施例提供一种数据处理装置，包括：
[0021]数据获取模块，用于获取待分割视频；
[0022]抽帧模块，用于获取所述待分割视频对应的至少一个待分割视频帧；
[0023]分割模块，用于将所述待分割视频帧输入至预设的图像分割模型中进行图像分割操作，获得图像分割结果；
[0024]其中，所述图像分割模型是通过将第一图像和第二图像输入至预设的原始模型中，根据所述原始模型输出的不同尺度的结果计算所述原始模型对应的目标损失值，根据所述目标损失值对所述原始模型的模型参数进行调节后获得的。
[0025]第五方面，本公开实施例提供一种电子设备，包括：至少一个处理器和存储器；
[0026]所述存储器存储计算机执行指令；
[0027]所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器实现如上第一方面以及第一方面各种可能的设计或第二方面以及第二方面各种可能的设计所述的数据处理方法。
[0028]第六方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计或第二方面以及第二方面各种可能的设计所述的数据处理方法。
[0029]第七方面，本公开实施例提供一种计算机程序产品，包括计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计或第二方面以及第二方面各种可能的设计所述的数据处理方法。
[0030]本实施例提供的数据处理方法、装置、设备、计算机可读存储介质及产品，通过在获取到多组第一图像和第二图像之后，将第一图像和第二图像输入至预设的原始模型中，获得原始模型输出的不同尺度的结果。根据原始模型输出的每一尺度对应的结果对原始模型进行分割稳定性的提升操作。从而能够对原始模型输出的多个尺度结果进行稳定性的监督，有助于更好地提升语义分割的时序稳定性，使得训练后的图像分割模型对视频序列的分割效果更加稳定、自然。
附图说明
[0031]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0032]图1为本公开所基于的系统架构图；
[0033]图2为本公开实施例提供的数据处理方法的流程示意图；
[0034]图3为本公开又一实施例提供的数据处理方法的流程示意图；
[0035]图4为本公开又一实施例提供的数据处理方法的流程示意图；
[0036]图5为本公开实施例提供的一种原始模型的结构示意图；
[0037]图6为本公开又一实施例提供的数据处理方法的流程示意图；
[0038]图7为本公开实施例提供的数据处理装置的结构示意图；
[0039]图8为本公开实施例提供的数据处理装置的结构示意图；
[0040]图9为本公开实施例提供的电子设备的结构示意图。
具体实施方式
[0041]为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0042]针对上述提及的现有的视频分割稳定性不高的技术问题，本公开提供了一种数据处理方法、装置、设备、计算机可读存储介质及产品。
[0043]需要说明的是，本公开提供的数据处理方法、装置、设备、计算机可读存储介质及产品可运用在任意一种需要增强稳定性的模型训练的场景中。
[0044]视频分割算法一般都是对目标视频中的每一视频帧进行图像分割操作。但是，由于不同帧的视频帧之间可能存在微小差异，而在模型分割过程中，微小差异可能导致模型的分割结果出现明显的抖动。现有的模型稳定性提升方案一般都是通过数据增强一致性损失函数对模型进行调节操作，但是，采用上述方法进行稳定性提升往往效果不佳，无法取出分割结果中的明显抖动。
[0045]在解决上述技术问题的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取第一图像和第二图像，其中，所述第二图像为对所述第一图像进行处理后获得；将所述第一图像和所述第二图像输入至原始模型，获得不同尺度的结果，其中，所述不同尺度的结果包括与所述第一图像对应的第一结果以及与所述第二图像对应的第二结果；根据所述不同尺度的结果计算所述原始模型对应的目标损失值；根据所述目标损失值对所述原始模型进行调节，获得图像分割模型。2.根据权利要求1所述的方法，其特征在于，所述获取第一图像和第二图像，包括：获取至少一张第一图像；针对所述第一图像，对所述第一图像进行数据增强操作，获得所述第二图像，其中，所述数据增强操作包括平移操作、缩放操作、旋转操作、色彩调整操作中的一项或多项。3.根据权利要求2所述的方法，其特征在于，所述对所述第一图像进行数据增强操作，包括：确定目标视频中相邻视频帧对应的图像变化特征；根据所述图像变化特征对所述第一图像进行数据增强操作。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，不同尺度对应有不同的第一损失函数；所述根据所述不同尺度的结果计算所述原始模型对应的目标损失值，包括：分别采用不同尺度对应的第一损失函数对不同尺度对应的结果进行数据处理，获得所述原始模型不同尺度对应的损失值；根据所述尺度对应的损失值计算所述原始模型对应的目标损失值。5.根据权利要求4所述的方法，其特征在于，所述根据所述尺度对应的损失值计算所述原始模型对应的目标损失值，包括：分别确定各尺度对应的权重信息；根据所述各尺度对应的权重信息、所述各尺度对应的损失值计算所述原始模型对应的目标损失值。6.根据权利要求4所述的方法，其特征在于，所述分别采用不同尺度对应的第一损失函数对不同尺度对应的结果进行数据处理，获得所述原始模型不同尺度对应的损失值，包括：针对不同尺度对应的结果，将所述结果中的第一结果以及第二结果分别采样至与所述第一图像以及第二图像相同的尺度，获得处理后的结果；分别采用不同尺度对应的第一损失函数对不同尺度对应的处理后的结果进行数据处理，获得所述原始模型各尺度对应的损失值。7.根据权利要求4所述的方法，其特征在于，所述分别采用不同尺度对应的第一损失函数对不同尺度对应的结果进行数据处理，获得所述原始模型不同尺度对应的损失值，包括：针对不同尺度，对所述尺度对应的结果中的第一结果进行数据增强操作，获得第三结果；根据所述尺度对应的第一损失函数以及所述第二结果与第三结果确定所述尺度对应的损失值。8.根据权利要求1
‑
3任一项所述的方法，其特征在于，不同尺度对应有不同的第一损失函数；所述将所述第一图像和第二图像输入至原始模型，获得不同尺度的结果之后，还包括：
针对各尺度，采用所述尺度对应的第一损失函数以及所述尺度对应的结果计算所述尺度对应的损失值；根据各尺度对应的损失值对各尺度对应的下采样层进行参数调整，直至所述原始模型的全部下采样层达到预设的第一收...

【专利技术属性】
技术研发人员：吴紫阳，张才荣，赵航，王一同，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：