机器学习模型训练、视频处理方法、装置、设备及介质制造方法及图纸

本公开涉及一种机器学习模型训练、视频处理方法、装置、设备及介质。本公开通过对待训练的机器学习模型进行无监督训练，从而无需对样本视频中的每帧图像进行标注，使得更多未被标注的视频资源可以参与到该无监督训练过程中，提高了视频资源的利用率。另外，本实施例根据当前图像中至少一个目标对象分别对应的标识、以及当前图像之前的至少一个历史图像中目标对象对应的标识，确定当前图像中每个目标对象的历史运动轨迹，并根据当前图像中每个目标对象的历史运动轨迹，确定当前图像的映射图像，使得映射图像能够反映出目标对象的真实运动，使用高质量的映射图像进行训练，可提高机器学习模型的精准度。习模型的精准度。习模型的精准度。

【技术实现步骤摘要】
机器学习模型训练、视频处理方法、装置、设备及介质


[0001]本公开涉及信息
，尤其涉及一种机器学习模型训练、视频处理方法、装置、设备及介质。

技术介绍

[0002]随着拍摄设备的不断发展，通过拍摄设备可以随时采集图像或视频。由于视频呈现的是动态的画面，因此，对于同一视频而言，从第一帧图像到最后一帧图像，每帧图像所呈现的内容相比于前一帧图像所呈现的内容是不断变化的。例如，每帧图像所呈现的目标对象可能不同，同一目标对象在不同图像中所处的位置不同，等等。
[0003]为了实现对同一目标对象在连续多帧图像中进行跟踪，现有技术采用了有监督学习算法对机器学习模型进行训练，然后采用训练后的机器学习模型实现跟踪。但是，对于有监督学习算法而言，需要人工标注不同目标对象在视频每一帧图像中所在的位置，导致大量未被标注的视频资源无法得到充分利用。另外，由于人工标注的图像是有限的，因此，采用有监督学习算法训练后的机器学习模型可能会出现过拟合，从而导致机器学习模型的精度较低。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器学习模型训练方法，其中，所述方法包括：针对样本视频中的每帧图像，通过待训练的机器学习模型对所述图像中的至少一个目标区域分别进行编码，得到所述图像中至少一个目标对象分别对应的表示向量，所述目标区域包括一个或多个目标对象；根据所述图像中至少一个目标对象分别对应的表示向量，确定所述图像中至少一个目标对象分别对应的标识；从所述样本视频中选取当前图像，根据所述当前图像中至少一个目标对象分别对应的标识、以及所述当前图像之前的至少一个历史图像中目标对象对应的标识，确定所述当前图像中每个目标对象的历史运动轨迹，并根据所述当前图像中每个目标对象的历史运动轨迹，确定所述当前图像的映射图像，所述当前图像的映射图像包括所述当前图像中每个目标对象分别对应的第一正样本和第一负样本；遍历所述当前图像中的每个目标对象，至少根据所述目标对象和所述第一正样本之间的相似度、以及所述目标对象和所述第一负样本之间的相似度，对所述待训练的机器学习模型进行无监督训练。2.根据权利要求1所述的方法，其中，根据所述图像中至少一个目标对象分别对应的表示向量，确定所述图像中至少一个目标对象分别对应的标识，包括：若所述图像不是所述样本视频中第一个出现目标对象的图像，则根据所述图像中至少一个目标对象分别对应的表示向量、以及所述图像之前的历史图像中至少一个目标对象分别对应的标识，确定所述图像中至少一个目标对象分别对应的标识；根据所述图像中至少一个目标对象分别对应的标识、以及所述图像之前的历史图像中至少一个目标对象分别对应的标识，计算所述图像中每个目标对象对应标识的不确定度，所述不确定度与相同标识的目标对象之间的相似度相关、以及与不同标识的目标对象之间的相似度相关；纠正所述图像中不确定度大于或等于预设阈值的标识。3.根据权利要求2所述的方法，其中，根据所述图像中至少一个目标对象分别对应的标识、以及所述图像之前的历史图像中至少一个目标对象分别对应的标识，计算所述图像中每个目标对象对应标识的不确定度，包括：根据所述图像中任一目标对象对应的标识，确定所述图像之前的历史图像中与所述任一目标对象对应相同标识的一个目标对象、以及所述历史图像中与所述任一目标对象对应不同标识的多个目标对象；根据所述一个目标对象和所述任一目标对象的相似度、以及所述多个目标对象分别和所述任一目标对象的相似度中的最大值，计算所述任一目标对象对应标识的不确定度。4.根据权利要求1所述的方法，其中，根据所述当前图像中每个目标对象的历史运动轨迹，确定所述当前图像的映射图像，包括：根据所述当前图像中每个目标对象的历史运动轨迹，从所述当前图像中确定出满足预设条件的目标对象，所述满足预设条件的目标对象在其历史运动轨迹中对应同一标识的概率最大；根据所述满足预设条件的目标对象在所述至少一个历史图像中对应标识的不确定度，从所述至少一个历史图像中确定出目标历史图像，所述满足预设条件的目标对象在所述目
标历史图像中对应标识的不确定度最大；根据所述当前图像和所述目标历史图像，确定所述当前图像的映射图像。5.根据权利要求4所述的方法，其中，根据所述当前图像和所述目标历史图像，确定所述当前图像的映射图像，包括：根据所述满足预设条件的目标对象在所述当前图像中的位置信息、以及所述满足预设条件的目标对象在所述目标历史图像中的位置信息，确定所述当前图像和所述目标历史图像之间的映射关系；根据所述映射关系，对所述当前图像进行映射，得到所述当前图像的映射图像。6.根据权利要求4所述的方法，其中，至少根据所述目标对象和所述第一正样本之间的相似度、以及所述目标对象和所述第一负样本之间的相似度，对所述待训练的机器学习模型进行无监督训练，包括：确定所述目标对象对应的第二正样本和第二负样本，所述第二正样本是所述目标历史图像中与所述目标对象对应相同标识的目标对象，或者所述第二正样本是从第一集合中随机选取的一个目标对象，所述第一集合包括所述至少一个历史图像中与所述目标对象对应相同标识的目标对象，所述第二负样本是所述目标历史图像中与所述目标对象对应不同标识的目标对象；至少根据所述目标对象和所述第一正样本之间的相似度、所述目标对象和所述第二正样本之间的相似度、所述目标对象和所述第一负样本之间的相似度、所述目标对象和所述第二负样本之间的相似度，构建损失函数；根据所述损失函数，对所述待训练的机器学习模型进行无监督训练。7.根据权利要求6所述的方法，其中，确定所述目标对象对应的第二正样本和第二负样本之后，所述方法还包括：确定所述目标对象对应的第三负样本，所述第三负样本是第二集合中的至少一个目标对象，所述第二集合包括如下至少一种：所述至少一个历史图像中除所述目标历史图像之外的历史图像中与所述目标对象对应不同标识的目标对象、所述至少一个历史图像分别对应的映射图像中与所述目标对象对...

【专利技术属性】
技术研发人员：刘凯，付志航，陈泽，陶明渊，叶杰平，
申请(专利权)人：阿里巴巴达摩院杭州科技有限公司，
类型：发明
国别省市：