用于处理图像的方法和装置制造方法及图纸

本申请实施例公开了用于处理图像的方法和装置。该方法的一具体实施方式包括：从目标视频中选择目标图像帧，其中，目标图像帧包括至少一个目标对象图像；将目标图像帧输入预先训练的目标检测模型，得到至少一个目标位置信息，其中，目标位置信息用于表征目标对象图像在目标图像帧中的位置；将至少一个目标位置信息和目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和预测位置信息对应的跟踪对象标识信息，其中，预测位置信息用于表征跟踪对象映射在目标图像帧中的位置，跟踪对象标识信息用于标识跟踪对象。该实施方式提高了预测跟踪对象的位置的准确性，以及丰富了预测跟踪对象的位置的手段。

【技术实现步骤摘要】
用于处理图像的方法和装置
本申请实施例涉及计算机
，具体涉及用于处理图像的方法和装置。
技术介绍
目前，在视频监控的场景中，为了识别出监控画面中的人物，通常通过对视频画面中的人脸、穿着等外貌特征对人物进行跟踪。在有些情况下，人物图像会由于遮挡、画面模糊等因素导致无法识别出人物图像在视频画面中的位置，此时，往往需要通过人工的方式确定画面中人物图像可能出现的位置。
技术实现思路
本申请实施例提出了用于处理图像的方法和装置。第一方面，本申请实施例提供了一种用于处理图像的方法，该方法包括：从目标视频中选择目标图像帧，其中，目标图像帧包括至少一个目标对象图像；将目标图像帧输入预先训练的目标检测模型，得到至少一个目标位置信息，其中，目标位置信息用于表征目标对象图像在目标图像帧中的位置；将至少一个目标位置信息和目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和预测位置信息对应的跟踪对象标识信息，其中，预测位置信息用于表征跟踪对象映射在目标图像帧中的位置，跟踪对象标识信息用于标识跟踪对象。在一些实施例中，目标跟踪模型包括卷积神经网络和循环神经网络；以及将至少一个目标位置信息和目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和预测位置信息对应的跟踪对象标识信息，包括：将至少一个目标位置信息和目标图像帧输入卷积神经网络，得到与目标位置信息对应的图像特征信息，其中，图像特征信息用于表征目标位置信息对应的目标对象图像的特征；将至少一个目标位置信息和所得到的图像特征信息输入循环神经网络，得到预测位置信息和预测位置信息对应的跟踪对象标识信息。在一些实施例中，在将至少一个目标位置信息和目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和预测位置信息对应的跟踪对象标识信息之后，该方法还包括：获取预先存储的跟踪对象图像的历史相关信息，其中，跟踪对象图像是跟踪对象标识信息指示的跟踪对象的图像，历史相关信息是与跟踪对象图像相关的、从目标视频包括的、位于目标图像帧之前的图像帧中提取的信息；基于历史相关信息确定目标图像帧中是否包括跟踪对象图像；响应于确定包括，将预测位置信息更新为跟踪对象图像对应的目标位置信息；基于更新后的预测位置信息和跟踪对象标识信息，生成用于在目标图像帧上显示的位置标记。在一些实施例中，在基于历史相关信息确定目标图像帧中是否包括跟踪对象图像之后，方法还包括：响应于确定不包括，基于输出的预测位置信息和跟踪对象标识信息，生成用于在目标图像帧上显示的位置标记。在一些实施例中，目标跟踪模型通过如下步骤训练得到：获取训练样本集合，其中，训练样本包括样本图像和样本图像对应的标注预测位置信息、标注跟踪对象标识信息，样本图像包括样本跟踪对象图像和至少一个样本目标对象图像，标注预测位置信息用于表征样本跟踪对象图像在样本图像中的位置，标注跟踪对象标识信息用于标识样本跟踪对象图像；利用机器学习方法，将训练样本集合中的训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息和标注跟踪对象标识信息作为期望输出，训练得到目标跟踪模型。在一些实施例中，将训练样本集合中的训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息作为期望输出，训练得到目标跟踪模型，包括：从训练样本集合中选取训练样本，执行以下训练步骤：将选取的训练样本包括的样本图像输入初始模型，得到预测位置信息和跟踪对象标识信息，其中，预测位置信息用于表征样本跟踪对象图像在样本图像中的位置；将所得到的预测位置信息和跟踪对象标识信息分别与对应的标注预测位置信息和标注跟踪对象标识信息进行比较，根据比较结果确定初始模型是否训练完成；响应于确定训练完成，将初始模型确定为目标跟踪模型。在一些实施例中，将训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息作为期望输出，训练得到目标跟踪模型，还包括：响应于确定初始模型未训练完成，调整初始模型中的相关参数，以及从训练样本集合中的、未被选取的训练样本中，选取训练样本，利用参数调整后的初始模型，继续执行训练步骤。第二方面，本申请实施例提供了一种用于处理图像的装置，该装置包括：选择单元，被配置成从目标视频中选择目标图像帧，其中，目标图像帧包括至少一个目标对象图像；检测单元，被配置成将目标图像帧输入预先训练的目标检测模型，得到至少一个目标位置信息，其中，目标位置信息用于表征目标对象图像在目标图像帧中的位置；跟踪单元，被配置成将至少一个目标位置信息和目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和预测位置信息对应的跟踪对象标识信息，其中，预测位置信息用于表征跟踪对象映射在目标图像帧中的位置，跟踪对象标识信息用于标识跟踪对象。在一些实施例中，目标跟踪模型包括卷积神经网络和循环神经网络；以及跟踪单元包括：第一识别模块，被配置成将至少一个目标位置信息和目标图像帧输入卷积神经网络，得到与目标位置信息对应的图像特征信息，其中，图像特征信息用于表征目标位置信息对应的目标对象图像的特征；第二识别模块，被配置成将至少一个目标位置信息和所得到的图像特征信息输入循环神经网络，得到预测位置信息和预测位置信息对应的跟踪对象标识信息。在一些实施例中，该装置还包括：获取单元，被配置成获取预先存储的跟踪对象图像的历史相关信息，其中，跟踪对象图像是跟踪对象标识信息指示的跟踪对象的图像，历史相关信息是与跟踪对象图像相关的、从目标视频包括的、位于目标图像帧之前的图像帧中提取的信息；确定单元，被配置成基于历史相关信息确定目标图像帧中是否包括跟踪对象图像；更新单元，被配置成响应于确定包括，将预测位置信息更新为跟踪对象图像对应的目标位置信息；第一生成单元，被配置成基于更新后的预测位置信息和跟踪对象标识信息，生成用于在目标图像帧上显示的位置标记。在一些实施例中，该装置还包括：第二生成单元，被配置成响应于确定目标图像帧中不包括跟踪对象图像，基于输出的预测位置信息和跟踪对象标识信息，生成用于在目标图像帧上显示的位置标记。在一些实施例中，目标跟踪模型通过如下步骤训练得到：获取训练样本集合，其中，训练样本包括样本图像和样本图像对应的标注预测位置信息、标注跟踪对象标识信息，样本图像包括样本跟踪对象图像和至少一个样本目标对象图像，标注预测位置信息用于表征样本跟踪对象图像在样本图像中的位置，标注跟踪对象标识信息用于标识样本跟踪对象图像；利用机器学习方法，将训练样本集合中的训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息和标注跟踪对象标识信息作为期望输出，训练得到目标跟踪模型。在一些实施例中，将训练样本集合中的训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息作为期望输出，训练得到目标跟踪模型，包括：从训练样本集合中选取训练样本，执行以下训练步骤：将选取的训练样本包括的样本图像输入初始模型，得到预测位置信息和跟踪对象标识信息，其中，预测位置信息用于表征样本跟踪对象图像在样本图像中的位置；将所得到的预测位置信息和跟踪对象标识信息分别与对应的标注预测位置信息和标注跟踪对象标识信息进行比较，根据比较结果确定初始模型是否训练完成；响应于确定训练完成，将初始模型确定为目标跟踪模型。在一些实施例中，将本文档来自技高网...

【技术保护点】
1.一种用于处理图像的方法，包括：从目标视频中选择目标图像帧，其中，所述目标图像帧包括至少一个目标对象图像；将所述目标图像帧输入预先训练的目标检测模型，得到至少一个目标位置信息，其中，目标位置信息用于表征目标对象图像在所述目标图像帧中的位置；将所述至少一个目标位置信息和所述目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和所述预测位置信息对应的跟踪对象标识信息，其中，所述预测位置信息用于表征跟踪对象映射在所述目标图像帧中的位置，跟踪对象标识信息用于标识跟踪对象。

【技术特征摘要】
1.一种用于处理图像的方法，包括：从目标视频中选择目标图像帧，其中，所述目标图像帧包括至少一个目标对象图像；将所述目标图像帧输入预先训练的目标检测模型，得到至少一个目标位置信息，其中，目标位置信息用于表征目标对象图像在所述目标图像帧中的位置；将所述至少一个目标位置信息和所述目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和所述预测位置信息对应的跟踪对象标识信息，其中，所述预测位置信息用于表征跟踪对象映射在所述目标图像帧中的位置，跟踪对象标识信息用于标识跟踪对象。2.根据权利要求1所述的方法，其中，所述目标跟踪模型包括卷积神经网络和循环神经网络；以及所述将所述至少一个目标位置信息和所述目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和所述预测位置信息对应的跟踪对象标识信息，包括：将所述至少一个目标位置信息和所述目标图像帧输入所述卷积神经网络，得到与目标位置信息对应的图像特征信息，其中，图像特征信息用于表征目标位置信息对应的目标对象图像的特征；将所述至少一个目标位置信息和所得到的图像特征信息输入所述循环神经网络，得到预测位置信息和所述预测位置信息对应的跟踪对象标识信息。3.根据权利要求1所述的方法，其中，在所述将所述至少一个目标位置信息和所述目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和所述预测位置信息对应的跟踪对象标识信息之后，所述方法还包括：获取预先存储的跟踪对象图像的历史相关信息，其中，所述跟踪对象图像是所述跟踪对象标识信息指示的跟踪对象的图像，所述历史相关信息是与所述跟踪对象图像相关的、从所述目标视频包括的、位于所述目标图像帧之前的图像帧中提取的信息；基于所述历史相关信息确定所述目标图像帧中是否包括所述跟踪对象图像；响应于确定包括，将所述预测位置信息更新为所述跟踪对象图像对应的目标位置信息；基于更新后的预测位置信息和跟踪对象标识信息，生成用于在所述目标图像帧上显示的位置标记。4.根据权利要求3所述的方法，其中，在所述基于所述历史相关信息确定所述目标图像帧中是否包括所述跟踪对象图像之后，所述方法还包括：响应于确定不包括，基于输出的预测位置信息和跟踪对象标识信息，生成用于在所述目标图像帧上显示的位置标记。5.根据权利要求1-4之一所述的方法，其中，所述目标跟踪模型通过如下步骤训练得到：获取训练样本集合，其中，训练样本包括样本图像和样本图像对应的标注预测位置信息、标注跟踪对象标识信息，样本图像包括样本跟踪对象图像和至少一个样本目标对象图像，标注预测位置信息用于表征样本跟踪对象图像在样本图像中的位置，标注跟踪对象标识信息用于标识样本跟踪对象图像；利用机器学习方法，将所述训练样本集合中的训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息和标注跟踪对象标识信息作为期望输出，训练得到目标跟踪模型。6.根据权利要求5所述的方法，其中，所述将所述训练样本集合中的训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息作为期望输出，训练得到目标跟踪模型，包括：从所述训练样本集合中选取训练样本，执行以下训练步骤：将选取的训练样本包括的样本图像输入初始模型，得到预测位置信息和跟踪对象标识信息，其中，预测位置信息用于表征样本跟踪对象图像在样本图像中的位置；将所得到的预测位置信息和跟踪对象标识信息分别与对应的标注预测位置信息和标注跟踪对象标识信息进行比较，根据比较结果确定初始模型是否训练完成；响应于确定训练完成，将初始模型确定为目标跟踪模型。7.根据权利要求6所述的方法，其中，所述将所述训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息作为期望输出，训练得到目标跟踪模型，还包括：响应于确定所述初始模型未训练完成，调整初始模型中的相关参数，以及从所述训练样本集合中的、未被选取的训练样本中，选取训练样本，利用参数调整后的初始模型，继续执行所述训练步骤。8.一种用于处理图像的装置，包括：选择单元，被配置成从目标视频中选择目标图像帧，其中，所述目标图像帧包括至...

【专利技术属性】
技术研发人员：朱延东，许世坤，王长虎，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京,11