模型训练、样本生成方法、电子设备及存储介质技术

本申请实施例提供一种模型训练、样本生成方法、电子设备及存储介质。本申请实施例提供的模型训练方法中，基于对数量较少的目标图像样本和背景图像样本做图像合成处理，可得到数量较多的训练样本。在这种实施方式中，不同的目标图像样本可以和不同的背景图像样本进行合成，增加了获取样本的灵活度，有效扩充了训练样本的样本容量，有利于提升图像分割模型的泛化性能。

【技术实现步骤摘要】
模型训练、样本生成方法、电子设备及存储介质
本申请涉及图像处理
，尤其涉及一种模型训练、样本生成方法、电子设备及存储介质。
技术介绍
在一些图像处理的应用场景中，存在图像分割的需求。该需求通常指示将图像中的某一图像区域从整幅图像中分割出来，以基于该分割得到的图像区域执行其他的图像处理操作。现有技术中，常采用图像分割模型实现图像分割。训练图像分割模型之前，往往需要预先准备大量的训练训练样本。但是，现有的获取训练训练样本的方式不够灵活，使得容量有限的训练样本无法覆盖尽可能多的图像分割场景。因此，有待提出一种新的解决方案。
技术实现思路
本申请的多个方面提供一种模型训练、样本生成方法、电子设备及存储介质，用以提供一种灵活地获取训练样本的方式，以有效扩充样本容量。本申请实施例提供一种模型训练方法，包括：响应训练图像分割模型的请求，根据第一数量的目标图像样本和第二数量的背景图像样本进行图像合成处理，得到第三数量的训练样本；其中，第三数量大于第一数量和第二数量之和；根据所述第三数量的训练样本，训练所述图像分割模型。本申请实施例还提供一种样本生成方法，包括：获取第一数量的目标图像样本以及第二数量的背景图像样本；将所述第一数量的目标图像样本分别和所述第二数量的背景图像样本进行图像合成处理，得到第三数量的训练样本；其中，第三数量大于第一数量和第二数量之和。本申请实施例还提供一种样本生成方法，包括：获取第一数量的目标图像样本，以及按照背景图像的读取概率从背景图像样本数据库中读取第二数量的背景图像样本；其中，所述读取概率与结果样本的分布特征适配；对所述第一数量的目标图像样本和所述第二数量的背景图像样本进行图像合成，得到第三数量的所述结果样本。本申请实施例还提供一种样本生成方法，包括：获取第一数量的目标音频样本，以及按照背景音频样本的读取概率从背景音频样本数据库中读取第二数量的背景音频样本；其中，所述读取概率与结果样本的分布特征适配；对所述第一数量的目标音频样本和所述第二数量的背景音频样本进行音频合成，得到第三数量的结果样本。本申请实施例还提供一种模型训练方法，包括：确定神经网络模型，并将训练样本输入所述神经网络模型；在所述神经网络模型的输出层输出对训练样本进行分割得到的预测分割结果；所述预测分割结果包括所述训练样本上的像素的预测概率，以及所述训练样本上的目标图像和背景图像的预测边界的分布特征；在所述神经网络模型的损失层根据所述预测概率以及所述预测概率和损失函数计算权重的负相关关系，计算第一损失函数，以及，根据所述预测边界的分布特征计算第二损失函数；并根据所述第一损失函数和所述第二损失函数，计算所述图像分割模型的混合损失函数，以根据所述混合损失函数对所述图像分割模型进行迭代训练。本申请实施例还提供一种模型训练设备，包括：存储器和处理器；所述存储器用于存储一条或多条计算机指令；所述处理器用于执行所述一条或多条计算机指令以用于执行本申请实施例提供的各方法中的步骤。本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现本申请实施例提供的各方法中的步骤。本申请实施例提供的模型训练方法中，基于对数量较少的目标图像样本和背景图像样本做图像合成处理，可得到数量较多的训练样本。在这种实施方式中，不同的目标图像样本可以和不同的背景图像样本进行合成，增加了获取样本的灵活度，有效扩充了训练样本的样本容量，有利于提升图像分割模型的泛化性能。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本申请一示例性实施例提供的模型训练方法的流程示意图；图2a为本申请另一示例性实施例提供的模型训练方法的流程示意图；图2b为本申请一示例性实施例提供的多线程并行处理的示意图；图3为本申请又一示例性实施例提供的模型训练方法的流程示意图；图4a为本申请一示例性实施例提供的样本生成方法的流程示意图；图4b为本申请一示例性实施例提供的样本生成方法的流程示意图；图4c为本申请一示例性实施例提供的样本生成方法的流程示意图；图5为本申请一示例性实施例提供的模型训练方法的流程示意图；图6是本申请一示例性实施例提供的电子设备的结构示意图；图7是本申请另一示例性实施例提供的电子设备的结构示意图；图8是本申请又一示例性实施例提供的电子设备的结构示意图；图9是本申请又一示例性实施例提供的电子设备的结构示意图；图10是本申请又一示例性实施例提供的电子设备的结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。基于视觉显著性的图像分割，指的是通过智能算法模拟人眼的视觉特点，将图像中的显著区域提取出来。其中，显著区域指的是图像中人类感兴趣区域。例如，在一些典型的应用场景中，商家可将商品海报中的商品主体提取出来，用于制作其他商品宣传图。现有技术中，通常采用图像分割模型实现图像分割，例如基于神经网络的图像语义识别模型。训练图像分割模型之前，往往需要预先准备大量的训练训练样本。但是，现有的获取训练训练样本的方式不够灵活，使得容量有限的训练样本无法覆盖尽可能多的图像分割场景。针对该缺陷，在本申请一些实施例中，提供了一种解决方案，以下结合附图，详细说明本申请各实施例提供的技术方案。图1为本申请一示例性实施例提供的模型训练方法的流程示意图，如图1所示，该方法包括：步骤101、根据第一数量的目标图像样本和第二数量的背景图像样本进行图像合成处理，得到第三数量的训练样本；其中，第三数量大于第一数量和第二数量之和。步骤102、根据该第三数量的训练样本，训练图像分割模型。在本实施例中，图像分割模型，用于实现基于视觉显著性的图像分割操作。目标图像，指的是采集到的目标物的像。其中，目标物包含但不限于人、动物、植物、商品、建筑物、道路、桥梁及生活中常见的其他类型的物体。在一张待处理图像上，通常会包含目标物和目标物所处的环境。根据人类的视觉特征，目标物构成了待处理图像中的视觉显著区域。在基于视觉显著性的图像分割操作中，用户可通过图像分割模型从待处理图像中提取出其感兴趣的目标图像。例如，从商品海报上，提取出商品所在的图像区域；又例如，从监控图像中，提取出人物所在的图像区域；再例如，从道路航拍图像中，提取出道路所在的图像区域。基于上述，可采用包含目标图像的训练样本训练图像分割模型，以使其学习如何从待处理图像上提取目标图像。本实施例中，目标图像样本用于模拟图像分割场景中可能会遇到的目标图像。本文档来自技高网...

【技术保护点】
1.一种模型训练方法，其特征在于，包括：/n根据第一数量的目标图像样本和第二数量的背景图像样本进行图像合成处理，得到第三数量的训练样本；其中，第三数量大于第一数量和第二数量之和；/n根据所述第三数量的训练样本，训练图像分割模型。/n

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：
根据第一数量的目标图像样本和第二数量的背景图像样本进行图像合成处理，得到第三数量的训练样本；其中，第三数量大于第一数量和第二数量之和；
根据所述第三数量的训练样本，训练图像分割模型。


2.根据权利要求1所述的方法，其特征在于，响应训练图像分割模型的请求，根据第一数量的目标图像样本和第二数量的背景图像样本进行图像合成处理，得到第三数量的训练样本，包括：
响应所述训练图像分割模型的请求，基于第一线程对所述第一数量的目标图像样本和所述第二数量的背景图像样本进行图像合成处理，得到所述第三数量的训练样本，并将所述第三数量的训练样本存储至样本队列；
根据所述第三数量的训练样本，训练所述图像分割模型，包括：
基于第二线程从所述样本队列中读取至少一张训练样本，并根据所述至少一张训练样本训练所述图像分割模型。


3.根据权利要求2所述的方法，其特征在于，基于第一线程对所述第一数量的目标图像样本和所述第二数量的背景图像样本进行图像合成处理，包括：
基于所述第一线程从目标图像样本数据库中读取所述第一数量的目标图像样本；以及，按照背景图像样本对应的读取概率，从所述背景图像样本数据库中读取所述第二数量的背景图像样本；
将所述第一数量的目标图像样本中的每张目标图像样本分别与所述第二数量的背景图像样本进行图像合成处理。


4.根据权利要求3所述的方法，其特征在于，还包括：
获取训练样本的分布特征；
根据所述训练样本的分布特征，确定所述背景图像样本数据库中的背景图像样本对应的读取概率。


5.根据权利要求4所述的方法，其特征在于，根据所述训练样本的分布特征，确定所述背景图像样本数据库中的背景图像样本对应的读取概率，包括：
根据所述训练样本的分布特征，增加与指定背景匹配的背景图像样本的读取概率；和/或，增加复杂度大于设定的复杂度阈值的背景图像样本的读取概率。


6.根据权利要求1所述的方法，其特征在于，根据第一数量的目标图像样本和第二数量的背景图像样本进行图像合成处理，得到第三数量的训练样本之后，还包括：
对所述第三数量的训练样本进行图像增强处理，以优化所述第三数量的训练样本。


7.根据权利要求6所述的方法，其特征在于，对所述第三数量的训练样本进行图像增强处理，包括：
对所述第三数量的训练样本进行以下至少一种颜色优化处理：亮度均衡处理、对比度均衡处理、边缘模糊处理以及色彩变换处理；
和/或，
对所述第三数量的训练样本进行以下至少一种空间变换处理：镜像翻转处理、旋转处理以及局部缩放处理。


8.根据权利要求2所述的方法，其特征在于，基于第二线程从所述样本队列中读取至少一张训练样本，并根据所述至少一张训练样本训练所述图像分割模型，包括：
基于所述第二线程，从所述样本队列中读取至少一张训练样本；
将所述至少一张训练样本输入神经网络模型，以使所述神经网络模型的输出层输出所述至少一张训练样本的预测分割结果；
在所述神经网络模型的损失层根据所述预测分割结果中，所述至少一张训练样本上的像素的预测概率以及所述预测概率和损失函数计算权重的负相关关系，计算第一损失函数；以及，根据所述预测分...

【专利技术属性】
技术研发人员：詹鹏鑫，杨昌源，刘奎龙，李为，陈国君，王利华，戚亚骏，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY