【技术实现步骤摘要】
对象表征模型训练方法、对象表征方法和装置
[0001]本申请涉及图像处理
，特别是涉及一种对象表征模型训练方法、对象表征方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
[0002]随着计算机技术的发展，图像在生活、工作中的应用越来越广泛，例如，图像检索、视频检索、视频排重等。在图像的应用过程中，通过都需要提取图像的特征，通过图像特征来表征图像包含的信息。
[0003]传统技术中，针对包含对象的图像，通常是将图像输入模型进行对象特征提取，得到图像对应的对象特征。然而，单纯基于对象特征来表征图像中的对象，表征效果不够准确，无法有效区分虽然相似但实际不一样的图像。
技术实现思路
[0004]基于此，有必要针对上述技术问题，提供一种能够提高特征对于对象的表征准确性的对象表征模型训练方法、对象表征方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]本申请提供了一种对象表征模型训练方法。所述方法包括：
[0006]获取第一训练图像集，将所述第一训练图像集输...
【技术保护点】
【技术特征摘要】
1.一种对象表征模型训练方法，其特征在于，所述方法包括：获取第一训练图像集，将所述第一训练图像集输入初始对象表征模型；所述第一训练图像集包括多个训练图像组，所述训练图像组包括多个相互对照的训练图像，各个训练图像中的对象存在对应的对象标签和对象关联标签；对训练图像进行对象关联特征提取，得到各个训练图像分别对应的对象关联特征，对训练图像进行对象特征提取，得到各个训练图像分别对应的对象特征，融合同一训练图像对应的对象特征和对象关联特征，得到各个训练图像分别对应的对象融合特征；基于同一训练图像对应的对象关联特征和对象关联标签，得到对象关联分类损失，基于同一训练图像对应的对象特征和对象标签，得到对象分类损失，基于同一训练图像组对应的各个对象融合特征，得到融合损失；基于所述对象关联分类损失、所述对象分类损失和所述融合损失，调整所述初始对象表征模型的模型参数，得到中间对象表征模型，将中间对象表征模型作为初始对象表征模型，返回所述获取第一训练图像集，将所述第一训练图像集输入初始对象表征模型的步骤执行，直至满足第一收敛条件，得到目标对象表征模型；所述目标对象表征模型用于提取输入图像对应的对象融合特征。2.根据权利要求1所述的方法，其特征在于，所述获取第一训练图像集，包括：获取多个训练对象轨迹分别对应的目标对象子图序列；所述训练对象轨迹是从包含对象的训练视频中挖掘得到的，所述目标对象子图序列中的对象子图是对训练对象轨迹所属训练视频中对应的视频帧进行对象检测得到的；分别对各个目标对象子图序列进行采样，得到多个正样本图像对；从除当前正样本图像对之外的其他正样本图像对中，获取当前正样本图像对所对应的负样本图像；基于正样本图像对和对应的负样本图像组成训练图像组；基于各个训练图像组得到所述第一训练图像集。3.根据权利要求2所述的方法，其特征在于，所述获取多个训练对象轨迹分别对应的目标对象子图序列，包括：获取多个训练视频帧序列；同一训练视频帧序列中的视频帧属于同一训练视频；对所述训练视频帧序列中的视频帧进行对象检测，得到视频帧中的对象子图，将对象子图输入初始对象表征模型，得到对象子图对应的对象融合特征；基于相邻视频帧中各个对象子图和对应的对象融合特征，对同一训练视频帧序列中的相邻视频帧进行对象匹配，得到各组相邻视频帧分别对应的对象匹配结果；基于同一训练视频帧序列中各组相邻视频帧的对象匹配结果进行轨迹聚合，得到多个训练对象轨迹分别对应的目标对象子图序列。4.根据权利要求3所述的方法，其特征在于，所述基于相邻视频帧中各个对象子图和对应的对象融合特征，对同一训练视频帧序列中的相邻视频帧进行对象匹配，得到各组相邻视频帧分别对应的对象匹配结果，包括：从当前视频帧序列中确定目标视频帧；将目标视频帧对应的各个对象子图依次作为目标对象子图；基于目标对象子图对应的对象融合特征分别和目标后向视频帧中的各个对象子图对
应的对象融合特征之间的特征距离，从所述目标后向视频帧对应的各个对象子图中确定目标对象子图对应的候选对象子图，将与目标对象子图的位置距离小于距离阈值的候选对象子图作为目标对象子图对应的后向匹配对象子图；所述目标后向视频帧为目标视频帧的相邻后向视频帧；基于各个目标对象子图和对应的后向匹配对象子图得到目标视频帧和目标后向视频帧之间的对象匹配结果；从所述当前视频帧序列中获取下一视频帧作为目标视频帧，返回所述将目标视频帧对应的各个对象子图依次作为目标对象子图的步骤执行，直至得到所述当前视频帧序列中各组相邻视频帧分别对应的对象匹配结果。5.根据权利要求4所述的方法，其特征在于，所述对象匹配结果包括由目标对象子图和对应的后向匹配对象子图组成的对象子图对、以及对象子图对所对应的轨迹标识，存在重合对象子图的不同对象子图对所对应的轨迹标识相同；所述基于同一训练视频帧序列中各组相邻视频帧的对象匹配结果进行轨迹聚合，得到多个训练对象轨迹分别对应的目标对象子图序列，包括：从当前视频帧序列的各组相邻视频帧对应的对象匹配结果中，获取当前轨迹标识对应的对象子图对组成所述当前轨迹标识对应的当前对象子图对集合；将所述当前对象子图对集合中的各个对象子图按照对应视频帧的视频帧顺序进行排序，得到所述当前轨迹标识对应的当前初始对象子图序列；对所述当前初始对象子图序列对应的各个对象融合特征进行统计，得到当前对象中心特征；基于所述当前初始对象子图序列对应的各个对象融合特征分别和所述当前对象中心特征之间的特征距离，从所述当前初始对象子图序列中，按照特征距离从大到小删除第一预设数量的对象子图，得到所述当前轨迹标识对应的目标对象子图序列。6.根据权利要求1所述的方法，其特征在于，在当前特征为对象关联特征时，当前标签为对象关联标签，当前分类损失为对象关联分类损失；在当前特征为对象特征时，当前标签为对象标签，当前分类损失为对象分类损失；所述当前分类损失的计算过程包括以下步骤：获取各种当前标签分别对应的原型对象特征集；所述原型对象特征集包括同一种当前标签对应的多个原型对象特征，所述原型对象特征是在当前特征库中，从当前标签对应的各个当前特征中获取与当前标签对应的聚类中心特征距离最近的当前特征得到的，所述聚类中心特征是对当前特征库中同一种当前标签对应的各个当前特征进行聚类得到的；从各个原型对象特征集中，获取与当前训练图像对应的当前特征的特征距离最小的原型对象特征作为当前训练图像对应的参考对象特征；基于同一训练图像对应的当前特征和参考对象特征之间的差异，得到当前分类损失。7.根据权利要求6所述的方法，其特征在于，所述当前特征和所述参考对象特征为预设长度的特征向量；所述基于同一训练图像对应的当前特征和参考对象特征之间的差异，得到当前分类损失，包括：获取长度为所述预设长度的随机特征向量，将所述随机特征向量中数值大于或等于预
设阈值的数据对应的向量位置作为保留位置；基于同一训练图像对应的当前特征和参考对象特征在同一保留位置上的数据差异，得到所述当前分类损失。8.根据权利要求1所述的方法，其特征在于，所述初始对象表征模型包括对象关联分类网络、对象分类网络和特征融合网络，所述对象关联分类网络用于得到对象关联特征，所述对象分类网络用于得到对象特征，所述特征融合网络用于得到对象融合特征；所述基于所述对象关联分类损失、所述对象分类损失和所述融合损失，调整所述初始对象表征模型的模型参数，得到中间对象表征模型，包括：基于所述对象关联分类损失按照第一学习率调整所述对象关联分类网络的网络参数，基于所述对象分类损失按照第二学习率调整所述对象分类网络的网络参数，基于所述融合损失按照第三学习率调整所述对象关联分类网络、所述对象分类网络和所述特征融合网络的网络参数，得到中间对象表征模型；其中，所述第一学习率、所述第二学习率均大于所述第三学习率。9.根据权利要求1所述的方法，其特征在于，所述获取第一训练图像集之前，所述方法还包括：获取第二训练图像集，将第二训练图像集输入待训练的基础对象表征模型，得到所述第二训练图像集中各个训练图像分别对应的初始对象特征；所述基础对象表征模型包括特征提取层和全连接层；基于所述第二训练图像集中同一训练图像组对应的各个初始对象特征，得到初始损失；基于所述初始损失调整所述基础对象表征模型的模型参数，直至满足第二收敛条件，得到训练完成的基础对象表征模型；基于所述训练完成的基础对象表征模型中的特征提取层，对候选对象表征模型中的特征提取层进行初始化，基于所述训练完成的基础对象表征模型中的全连接层，对候选对象表征模型中的全连接层进行初始化，得到初始对象表征模型。10.根据权利要求9所述的方法，其特征在于，所述基于所述训练完成的基础对象表征模型中的特征提取层，对候选对象表征模型中的特征提取层进行初始化，基于所述训练...
【专利技术属性】
技术研发人员：郭卉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。