模型训练的方法技术

本公开的实施例提供模型训练的方法

【技术实现步骤摘要】
模型训练的方法、装置、设备和可读介质


[0001]本公开的示例实施例总体涉及计算机
，并且更具体地，涉及模型训练的方法
、
装置
、
设备和计算机可读存储介质
。

技术介绍

[0002]随着机器学习技术的发展，已经可以利用机器学习模型来执行多种应用环境中的任务
。
指代文本定位是一种根据一句具有指向性的文本定位出图像中符合文本描述的对象的技术
。
针对跨模态智能分析任务，尤其是指代表达式分割
(RES)
任务，可以利用机器学习模型来实现指代文本定位
。
机器学习模型可以基于输入的指代文本，从图像中识别出指代文本所指示的对象，并输出与任务相匹配的可以指示该对象的分割掩码
。

技术实现思路

[0003]在本公开的第一方面，提供一种模型训练的方法
。
该方法包括：针对指代表达式分割任务，利用第一样本集对目标模型执行第一阶段训练，第一样本集包括第一样本图像以及对应的第一标签，第一标签指示第一样本图像中的对象的分割掩码；利用第一阶段训练后的目标模型对第二样本集中的各个第二样本图像执行指代表达式分割任务，得到各个第二样本图像中对象的预测分割掩码，每个第二样本图像具有对应的第二标签，第二标签指示第二样本图像中的对象的边界框；基于各个第二样本图像的第二标签来修改各个第二样本图像的预测分割掩码，以得到更新后的第二样本集，更新后的第二样本集包括第二样本图像以及对应的第三标签，第三标签指示第二样本图像中的对象的分割掩码；以及至少利用更新后的第二样本集对目标模型执行第二阶段训练，第二阶段训练后的目标模型被应用于对目标图像执行指代表达式分割任务
。
[0004]在本公开的第二方面，提供一种用于模型训练的装置
。
该装置包括：第一训练模块，被配置为针对指代表达式分割指代表达式分割任务，利用第一样本集对目标模型执行第一阶段训练，第一样本集包括第一样本图像以及对应的第一标签，第一标签指示第一样本图像中的对象的分割掩码；任务执行模块，被配置为利用第一阶段训练后的目标模型对第二样本集中的各个第二样本图像执行指代表达式分割任务，得到各个第二样本图像中对象的预测分割掩码，每个第二样本图像具有对应的第二标签，第二标签指示第二样本图像中的对象的边界框；掩码修改模块，被配置为基于各个第二样本图像的第二标签来修改各个第二样本图像的预测分割掩码，以得到更新后的第二样本集，更新后的第二样本集包括第二样本图像以及对应的第三标签，第三标签指示第二样本图像中的对象的分割掩码；以及第二训练模块，被配置为至少利用更新后的第二样本集对目标模型执行第二阶段训练，第二阶段训练后的目标模型被应用于对目标图像执行指代表达式分割任务
。
[0005]在本公开的第三方面，提供了一种电子设备
。
该电子设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令，指令在由至少一个处理单元执行时使电子设备执行本公开第一方
面的方法
。
[0006]在本公开的第四方面，提供了一种计算机可读存储介质
。
该计算机可读存储介质上存储有计算机程序，其可由处理器执行以执行根据本公开的第一方面的方法
。
[0007]应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围
。
本公开的其它特征将通过以下的描述而变得容易理解
。
附图说明
[0008]在下文中，结合附图并参考以下详细说明，本公开各实现方式的上述和其他特征
、
优点及方面将变得更加明显
。
在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
[0009]图1示出了本公开的实施例能够在其中实现的示例环境的示意图；
[0010]图2示出了根据本公开的一些实施例的用于训练模型的架构的示意图；
[0011]图
3A
示出了根据本公开的一些实施例的模型训练的过程的框图；
[0012]图
3B
示出了根据本公开的一些实施例的更新第二样本集的过程的框图；
[0013]图4示出了根据本公开的一些实施例的修改预测分割掩码的示例的示意图；
[0014]图5示出了根据本公开的一些实施例的模型训练的示意图；
[0015]图6示出了根据本公开的一些实施例的模型训练的过程的流程图；
[0016]图7示出了根据本公开一些实施例的用于模型训练的装置的框图；以及
[0017]图8示出了其中可以实施本公开的一个或多个实施例的电子设备的框图
。
具体实施方式
[0018]下面将参照附图更详细地描述本公开的实施例
。
虽然附图中示出了本公开的一些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开
。
应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围
。
[0019]在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。
术语“基于”应当理解为“至少部分地基于”。
术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。
术语“一些实施例”应当理解为“至少一些实施例”。
下文还可能包括其它明确的和隐含的定义
。
[0020]如本文中所使用的，术语“模型”可以从训练数据中学习到相应的输入与输出之间的关联，从而在训练完成后可以针对给定的输入，生成对应的输出
。
模型的生成可以基于机器学习技术
。
深度学习是一种机器学习算法，通过使用多层处理单元来处理输入和提供相应输出
。
在本文中，“模型”也可以被称为“机器学习模型”、“机器学习网络”、“神经网络”或“网络”，这些术语在本文中可互换地使用
。
[0021]“神经网络”是一种基于深度学习的机器学习网络
。
神经网络能够处理输入并且提供相应输出，其通常包括输入层和输出层以及在输入层与输出层之间的一个或多个隐藏层
。
在深度学习应用中使用的神经网络通常包括许多隐藏层，从而增加网络的深度
。
神经网络的各个层按顺序相连，从而前一层的输出被提供作为后一层的输入，其中输入层接收神
经网络的输入，而输出层的输出作为神经网络的最终输出
。
神经网络的每个层包括一个或多个节点
(
也称为处理节点或神经元
)
，每个节点处理来自上一层的输入
。
[0022]通常本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种模型训练方法，包括：针对指代表达式分割任务，利用第一样本集对目标模型执行第一阶段训练，所述第一样本集包括第一样本图像以及对应的第一标签，所述第一标签指示第一样本图像中的对象的分割掩码；利用所述第一阶段训练后的所述目标模型对第二样本集中的各个第二样本图像执行所述指代表达式分割任务，得到各个第二样本图像中对象的预测分割掩码，每个第二样本图像具有对应的第二标签，所述第二标签指示第二样本图像中的对象的边界框；基于各个第二样本图像的所述第二标签来修改各个第二样本图像的所述预测分割掩码，以得到更新后的第二样本集，所述更新后的第二样本集包括第二样本图像以及对应的第三标签，所述第三标签指示第二样本图像中的对象的分割掩码；以及至少利用所述更新后的第二样本集对所述目标模型执行第二阶段训练，所述第二阶段训练后的所述目标模型被应用于对目标图像执行所述指代表达式分割任务
。2.
根据权利要求1所述的方法，还包括：在所述第一阶段训练之前，针对参考表达式理解任务，至少利用所述第二样本集中的各个第二样本图像和对应的所述第二标签来对初始模型进行预训练，以得到所述目标模型用于所述第一阶段训练
。3.
根据权利要求1所述的方法，其中基于各个第二样本图像的所述第二标签来修改各个第二样本图像的所述预测分割掩码包括：基于各个第二样本图像的所述第二标签所指示的对象的所述边界框与所述预测分割掩码之间的匹配结果，来修改各个第二样本图像的所述预测分割掩码
。4.
根据权利要求3所述的方法，其中对于每个第二样本图像，所述匹配结果通过以下来确定：确定所述第二标签所指示的对象的所述边界框与所述预测分割掩码之间的相似度；如果所述相似度未达到预设阈值，确定所述第二样本图像的所述第二标签所指示的对象的所述边界框与所述预测分割掩码之间不匹配；以及如果所述相似度达到所述预设阈值，确定所述第二样本图像的所述第二标签所指示的对象的所述边界框与所述预测分割掩码之间匹配
。5.
根据权利要求4所述的方法，其中对于每个第二样本图像，确定所述第二标签所指示的对象的所述边界框与所述预测分割掩码之间的相似度包括：确定所述预测分割掩码在对应的第二样本图像的坐标系中的第一坐标轴上的第一投影距离和第二坐标轴上的第二投影距离；基于所述第一投影距离和所述第二投影距离来确定所述预测分割掩码对应的预测边界框；以及基于所述第二标签所指示的对象的所述边界框与所述预测边界框之间的重合度来确定所述相似度
。6.
根据权利要求3所述的方法，还包括：对于每个第二样本图像，如果所述匹配结果指示所述第二样本图像的所述第二标签所指示的对象的所述边界框与所述预测分割掩码之间不匹配，从所述第二样本集中删除该第二样本图像；以及如果所述匹配结果指示所述第二样本图像的所述第二标签所指示的对象的所述边界框与所述预测分割掩码之间匹配，基于该第二样本图像的所述边界框来修改该第二样本图
像的所述预测分割掩码
。7.
根据权利要求6所述的方法，其中每个第二样本图像的所述预测分割掩码包括对象轮廓的多个采样点，并且基于所边界框来修改第二...

【专利技术属性】
技术研发人员：刘武，梅涛，瞿梦雪，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：