生成标记数据用于深度对象跟踪制造技术

用于生成注释数据集以训练深度跟踪神经网络，以及使用所述注释数据集训练所述神经网络的方法和系统。对于数据集的每个帧中的每个对象，计算一个或多个似然函数，以将所述对象的特征分数与相应特征分数关联，每个特征分数与选定帧范围中一个或多个先前分配的目标标识符(identifier，简称ID)关联。通过分配先前分配的目标ID(与计算出的最高似然值关联)或分配新的目标ID，为所述对象分配目标ID。根据预定义的跟踪管理方案执行跟踪管理，为所述对象分配跟踪类型。对所述数据集的所有帧中的所有对象执行此操作。所述生成的注释数据集包含分配给所有帧中所有对象的目标ID和跟踪类型。

Generate tag data for depth object tracking

【技术实现步骤摘要】
【国外来华专利技术】生成标记数据用于深度对象跟踪相关申请案交叉申请本专利技术要求2017年8月14日递交的专利技术名称为“生成标记数据用于深度对象跟踪”的第15/676,682号美国专利申请案的在先申请优先权，该在先申请的内容以引入的方式并入本文中。
本专利技术涉及神经网络中的目标跟踪。特别地，本专利技术描述了用于对神经网络训练数据进行注释以跟踪多个目标的方法和系统。
技术介绍
通过深度神经网络(deepneuralnetwork，简称DNN)进行跟踪是一种机器学习(machinelearning，简称ML)，比使用经典卡尔曼滤波器及其已知扩展等其它跟踪方法具有优势。通常，使用DNN进行跟踪(也称为深度跟踪神经网络或简单深度跟踪)需要根据训练数据集对所述DNN进行训练。这些数据集可以进行注释以包含对象标签，偶尔也可以手动进行注释以将跟踪标识符(identifier，简称ID)应用到跟踪对象。但是，通常不会对数据集注释所述对象的任何其它时间特征。如果训练所述DNN缺少具有此类注释的大量数据集，很可能意味着所产生的深度跟踪算法在实际应用(例如在一种自动驾驶车辆中)中不会执行得很好，在这种情况下，使用不同的运动模型跟踪多个对象是非常重要的。大多数DNN跟踪算法的训练方式通常缺少对所述数据集中的所述对象的时间行为进行全面观察，而且通常在具有跟踪相关注释的数据集的数量上也受到限制。手动对数据加上高度详细(例如，包括目标ID和跟踪类型)的注释的成本很高，而且人类通常难以遵循不同的跟踪管理规则。
技术实现思路
r>本文所述的示例方法和系统可以自动对数据集加上注释，包括对若干帧数据上的目标ID和跟踪类型等时间特征加上注释。在帧序列中检测到的对象可以进行关联(例如，使用似然函数)，以便在对象上自动标注所述帧上的相应目标ID，并自动确定这些帧上所述对象的跟踪类型。本专利技术的示例使不同的跟踪管理方案能够自动应用于对数据集进行注释。所生成的注释数据集可用于训练DNN跟踪算法。在一些方面/实施例中，本专利技术描述了一种用于生成注释数据集以训练深度跟踪神经网络的方法。对于感兴趣帧中的感兴趣对象，在数据集的多个帧中，所述方法包括计算一个或多个似然函数，以将所述感兴趣对象的特征分数与相应特征分数关联，每个特征分数与选定帧范围中一个或多个先前分配的目标标识符(identifier，简称ID)关联。所述方法还包括通过以下方式将目标ID分配给所述感兴趣对象：识别与计算出的最高似然值关联的先前分配的目标ID，并将所述识别的目标ID分配给所述感兴趣对象；或在所述先前分配的目标ID都未与计算出的满足预定阈值的似然值关联时，发起新目标ID，并将所述发起的新目标ID分配给所述感兴趣对象。所述方法还包括根据预定义的跟踪管理方案执行跟踪管理，为所述感兴趣对象分配跟踪类型。所述方法包括对所述数据集的所有帧中的所有对象迭代所述计算、分配和执行；输出所述注释数据集，其中所述注释数据集包含分配给所有帧中所有对象的目标ID和跟踪类型。在上述任一方面/实施例中，所述方法可以包括对于所述多个帧中的第一帧，发起新目标ID并分配给所述第一帧中识别的每个对象。在上述任何方面/实施例中，所述方法可以包括获取所述数据集的所述所有帧中所有对象的对象标签。在上述任何方面/实施例中，获取对象标签可以包括应用对象检测算法。在上述任何方面/实施例中，所述方法可以包括获取所述数据集的所述所有帧中所有对象的特征分数。在上述任何方面/实施例中，获取特征分数可以包括计算每个对象的特征映射函数。在上述任何方面/实施例中，所述方法可包括使用不同的跟踪管理方案，对所述注释数据集再次执行跟踪管理，以获取不同的注释数据集，其中包含以不同方式分配给所有帧中的所有对象的跟踪类型。在一些方面/实施例中，本专利技术描述了一种系统，所述系统包括：处理器和耦合到所述处理器的存储器。所述存储器存储计算机执行指令，所述计算机执行指令在由所述处理器执行时使所述系统执行以下操作：对于感兴趣帧中的感兴趣对象，在数据集的多个帧中：计算一个或多个似然函数，以将所述感兴趣对象的特征分数与相应特征分数关联，每个特征分数与选定帧范围中一个或多个先前分配的目标标识符(identifier，简称ID)关联。所述指令还使所述系统通过以下方式将目标ID分配给所述感兴趣对象：识别与计算出的最高似然值关联的先前分配的目标ID，并将所述识别的目标ID分配给所述感兴趣对象；或在所述先前分配的目标ID都未与计算出的满足预定阈值的似然值关联时，发起新目标ID，并将所述发起的新目标ID分配给所述感兴趣对象。所述指令还使所述系统根据预定义的跟踪管理方案执行跟踪管理，为所述感兴趣对象分配跟踪类型。所述指令还使所述系统对所述数据集的所有帧中的所有对象迭代所述计算、分配和执行；输出所述注释数据集，其中所述注释数据集包含分配给所有帧中所有对象的目标ID和跟踪类型。在上述任一方面/实施例中，所述指令在由所述处理器执行时还可以使所述系统对于所述多个帧中的第一帧，发起新目标ID并分配给所述第一帧中识别的每个对象。在上述任一方面/实施例中，所述指令在由所述处理器执行时还可以使所述系统获取所述数据集的所述所有帧中所有对象的对象标签。在上述任何方面/实施例中，获取对象标签可以包括应用对象检测算法。在上述任一方面/实施例中，所述指令在由所述处理器执行时还可以使所述系统获取所述数据集的所述所有帧中所有对象的特征分数。在上述任何方面/实施例中，获取特征分数可以包括计算每个对象的特征映射函数。在上述任何方面/实施例中，所述指令在由所述处理器执行时还可以使所述系统使用不同的跟踪管理方案，对所述注释数据集再次执行跟踪管理，以获取不同的注释数据集，其中包含以不同方式分配给所有帧中的所有对象的跟踪类型。在一些方面，本专利技术描述了一种训练深度跟踪神经网络的方法。所述方法包括将训练数据集输入所述深度跟踪神经网络的输入层。所述方法还包括生成第一误差向量，将所述深度跟踪神经网络的输出与第一注释数据集进行比较，所述第一注释数据集包含所述训练数据集的时间信息。所述时间信息包括分配给所述训练数据集的每个帧中每个对象的目标标识(identifier，简称ID)和跟踪类型。所述方法还包括调整所述深度跟踪神经网络的权重以减少所述第一误差矢量。在上述任一方面/实施例中，所述第一注释数据集可以包含根据第一跟踪管理方案分配的时间信息。所述方法可以包括根据第二跟踪管理方案对所述深度跟踪神经网络进行以下训练：提供第二注释数据集，其中包含根据所述第二跟踪管理方案分配的所述训练数据集的时间信息；生成第二误差向量，将所述深度跟踪神经网络的输出与所述第二注释数据集进行比较；调整所述深度跟踪神经网络的权重以减少所述第二误差矢量。附图说明现在将通过示例参考示出本申请的示例实施例的附图，其中：图1是示出了缺少时间特征注释的示例数据集的示图；图2是示出了示例跟踪管理方案的示图；图3是示出了应用用于注释数据集的示例方法的示本文档来自技高网...

【技术保护点】
1.一种用于生成注释数据集以训练深度跟踪神经网络的方法，其特征在于，所述方法包括：/n对于感兴趣帧中的感兴趣对象，在数据集的多个帧中：/n计算一个或多个似然函数，以将所述感兴趣对象的特征分数与相应特征分数关联，每个特征分数与选定帧范围中一个或多个先前分配的目标标识(identifier，简称ID)关联；/n通过以下方式将目标ID分配给所述感兴趣对象：/n识别与计算出的最高似然值关联的先前分配的目标ID，并将所述识别的目标ID分配给所述感兴趣对象；或/n在所述先前分配的目标ID都未与计算出的满足预定阈值的似然值关联时，发起新目标ID，并将所述发起的新目标ID分配给所述感兴趣对象；/n根据预定义的跟踪管理方案执行跟踪管理，为所述感兴趣对象分配跟踪类型；/n对所述数据集的所有帧中的所有对象迭代所述计算、分配和执行；/n输出所述注释数据集，其中所述注释数据集包含分配给所有帧中所有对象的目标ID和跟踪类型。/n

【技术特征摘要】
【国外来华专利技术】20170814 US 15/676,6821.一种用于生成注释数据集以训练深度跟踪神经网络的方法，其特征在于，所述方法包括：
对于感兴趣帧中的感兴趣对象，在数据集的多个帧中：
计算一个或多个似然函数，以将所述感兴趣对象的特征分数与相应特征分数关联，每个特征分数与选定帧范围中一个或多个先前分配的目标标识(identifier，简称ID)关联；
通过以下方式将目标ID分配给所述感兴趣对象：
识别与计算出的最高似然值关联的先前分配的目标ID，并将所述识别的目标ID分配给所述感兴趣对象；或
在所述先前分配的目标ID都未与计算出的满足预定阈值的似然值关联时，发起新目标ID，并将所述发起的新目标ID分配给所述感兴趣对象；
根据预定义的跟踪管理方案执行跟踪管理，为所述感兴趣对象分配跟踪类型；
对所述数据集的所有帧中的所有对象迭代所述计算、分配和执行；
输出所述注释数据集，其中所述注释数据集包含分配给所有帧中所有对象的目标ID和跟踪类型。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对于所述多个帧中的第一帧：
发起新目标ID并分配给所述第一帧中识别的每个对象。


3.根据权利要求1或权利要求2所述的方法，其特征在于，还包括：
获取所述数据集的所述所有帧中所有对象的对象标签。


4.根据权利要求3所述的方法，其特征在于，获取对象标签包括应用对象检测算法。


5.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：
获取所述数据集的所述所有帧中所有对象的特征分数。


6.根据权利要求5所述的方法，其特征在于，获取特征分数包括计算每个对象的特征映射函数。


7.根据权利要求1至6中任一项所述的方法，其特征在于，还包括：
使用不同的跟踪管理方案，对所述注释数据集再次执行跟踪管理，以获取不同的注释数据集，其中包含以不同方式分配给所有帧中的所有对象的跟踪类型。


8.一种系统，其特征在于，包括：
处理器；
一种耦合到所述处理器的存储器，所述存储器存储计算机执行指令，所述计算机执行指令在由所述处理器执行时使所述系统执行以下操作：
对于感兴趣帧中的感兴趣对象，在数据集的多个帧中：
计算一个或多个似然函数，以将所述感兴趣对象的特征分数与相应特征分数关联，每个特征分数与选定帧范围中一个或多个先前分配的目标标识符(identifier，简称ID)关联；
通过以下方式将目标ID分配给所述感兴趣对象：
识别与计算出的最高似然值关联的先前分配的目标ID，并将所述识...

【专利技术属性】
技术研发人员：伊赫桑·塔哈维，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44