使用神经网络关联帧之间的对象检测的装置和方法制造方法及图纸

公开使用神经网络关联帧之间的对象检测的装置和方法。卷积神经网络确定与对应于第一帧中的对象检测的识别区域相关联的两个或更多个特征向量的参考集以及与对应于第二帧中的对象检测的识别区域中的相应一个识别区域相关联的特征向量的候选集。最接近特征向量集被确定为在特征向量空间中候选集的与参考集的每个特征向量具有最小距离的预定数量的特征向量。对于每个候选集，与特征向量参考集的接近度度量被确定为属于该候选集的最接近特征向量集的比例。对于第二帧中的每个对象检测，基于对应于该对象检测的每个候选集的与特征向量参考集的所确定的接近度度量来确定相应权重。基于分配的权重将第一帧中的对象检测与第二帧中的对象检测中的一个关联。与第二帧中的对象检测中的一个关联。与第二帧中的对象检测中的一个关联。

【技术实现步骤摘要】
使用神经网络关联帧之间的对象检测的装置和方法


[0001]本专利技术涉及跟踪视频中的对象，并且具体地涉及使用卷积神经网络将第一帧中的对象检测与第二帧中的对象检测相关联。

技术介绍

[0002]当跟踪视频中的多个对象时，可以使用卡尔曼滤波器或类似方法。在这样的方法中，基于帧中的对象检测，多个对象的跟踪逐帧被顺序地更新。为了更新跟踪，当前帧中的对象检测首先与先前帧中的现有跟踪相关联。当关联已经被执行时，基于当前帧中的关联的对象检测的位置更新先前帧的跟踪。
[0003]关联可以基于表示先前帧中的现有跟踪和当前帧中的对象检测是同一对象的可能性的概率来进行。这些概率可以基于卡尔曼滤波器状态变量。例如，卡尔曼滤波器状态变量可用于预测当前帧中的被跟踪对象的位置、速度等。然后，可以将被跟踪对象的预测位置、速度等与当前帧中的检测到的对象的位置、速度等进行比较，以查看被跟踪对象和检测到的对象中的每一个是同一对象的可能性。
[0004]在这样的方法中，关联有时会失败并且跟踪丢失。因此，跟踪中可能存在身份转换，使得跟踪首先跟随一个对象，并且然后错误地继续跟随另一对象。

技术实现思路

[0005]本专利技术的目的是促进第一帧中的对象检测与第二帧中的对象检测的增强关联，以降低错误关联的风险。
[0006]根据第一方面，提供了一种使用卷积神经网络将第一帧中的对象检测与第二帧中的对象检测相关联的方法。卷积神经网络已经被训练以确定特征向量，使得与单独对象相关的对象检测的特征向量被排列在特征向量空间中的单独簇中。在该方法中，接收第一帧的与第一帧中的对象检测相对应的区域，并且通过训练的卷积神经网络确定与第一帧中的区域相关联的包括两个或更多个特征向量的特征向量集，从而确定包括两个或更多个特征向量的特征向量参考集。进一步接收第二帧的与第二帧中的多个对象检测中的相应对象检测相对应的多个区域。对于第二帧中的多个区域中的每一个，通过训练的卷积神经网络确定与第二帧中的该区域相关联的特征向量集，从而确定多个特征向量候选集。对于特征向量参考集的每个特征向量，在多个特征向量候选集的特征向量当中，识别在特征向量空间中与特征向量参考集的该特征向量具有最小距离的预定数量的特征向量，从而识别最接近特征向量集。对于多个特征向量候选集中的每个特征向量候选集，与特征向量参考集的接近度的度量被确定为属于该特征向量候选集的最接近特征向量集的比例。对于第二帧中的多个对象检测中的每一个，基于与该对象检测相对应的特征向量候选集的与特征向量参考集的所确定的接近度的度量来分配权重。基于分配的权重将第一帧中的对象检测与第二帧中的多个对象检测中的一个对象检测相关联。
[0007]如本文中所使用的，同一对象指代对象的相同实例(即同一物理对象)。
[0008]与单独对象相关的对象检测是指与对象的相同实例不相关的对象检测(即与不同的物理对象相关的对象检测)。例如，它可以是与同一对象类型的不同实例相关的对象检测。在存在多种不同对象类型的对象的情况下，也可以是与不同类型的对象相关的对象检测。
[0009]与单独对象相关的对象检测的特征向量被排列在特征向量空间中的单独簇中是指同一对象的特征向量之间的特征向量空间中的内部距离通常小于不同对象的特征向量之间的特征向量空间中的距离。然而，可能出现异常值，也就是说，对象的特征向量在向量空间中与对象的其他特征向量的距离可能比对象的其他特征向量之间的内部距离大得多。在这样的情况下，该特征向量与其他对象的一个或多个特征向量的距离可能小于到与其相关的对象的其他特征向量的距离。
[0010]根据第一方面的方法，通过确定每个候选集的接近度的度量，并且然后基于与相应对象检测相对应的候选集的所确定的接近度的度量为每个对象检测分配相应权重，实现了设置权重的有效方式，该权重指示第二帧中的每个对象检测与第一帧中的对象检测之间的相似性。这样的权重可以例如用于添加相对于与将第一帧中的对象检测与第二帧中的多个对象检测中的一个相关联的对象外观的属性相似性，并且因此增强算法，其中这样的关联是在另一个基础上(例如，基于第二帧中对象的预测状态)进行的。此外，由于权重基于接近度的度量，而接近度的度量又考虑了第一帧中的对象检测的所有特征向量，因此在分配的权重中考虑了第一帧中的对象检测的特征向量的空间变化。
[0011]通过选择在特征向量空间中具有最小距离的更高预定数量的特征向量，将减少对候选集的少数异常值的接近度的度量的影响，使得接近度的度量将在更大程度上取决于每个候选集的位于特征向量空间中更靠近该候选集中心的特征向量。另一方面，在特征向量空间中具有最小距离的特征向量的预定数目不应变得太高使得接近它变得接近所有候选集的特征向量的总数。
[0012]分配的权重可以使得对于第二帧中的多个对象检测中具有相同接近度的度量的任何两个对象检测，两个对象检测的所分配的权重相同，并且对于第二帧中的多个对象检测的具有比第二帧中的多个对象检测的另一对象检测更高的接近度的度量的任何对象检测，所述任何对象检测的所分配的权重高于所述另一对象检测的所分配的权重。这样，当接近度的度量不同时，权重会影响关联，而当接近度的度量相同时，权重不会影响关联。这是有利的，例如，当权重用于调整算法时，在另一个基础上(例如，基于第二帧中的对象的预测状态)进行关联。然后可以应用权重，使得它们将添加关联中对象外观的属性相似性，使得当权重指示第二帧中的对象检测具有更高的接近度的度量时，更有可能与该对象进行关联。另一方面，当两个不同对象的权重相同时，权重不会影响关联，并且关联将仅基于另一个基础(例如，基于预测状态)。
[0013]分配的权重可以使得对于第二帧中的多个对象检测中的每一个，所分配的权重与对应于该对象检测的特征向量候选集的与特征向量参考集的所确定的接近度的度量成比例。这是有利的，例如，当权重用于调整算法时，在另一个基础上(例如，基于第二帧中的对象的预测状态)进行关联。然后可以应用权重，使得它们将添加关联中对象外观的属性相似性，使得权重将按其尺寸成比例地影响关联。
[0014]分配的权重可以使得对于第二帧中的多个对象检测中的每一个，所分配的权重是
1加上该对象检测的接近度的度量与第二帧中多个对象检测的除该对象检测之外的对象检测的平均的接近度的度量之间的差。
[0015]对于第二帧中的多个对象检测中的每个对象检测，可以基于该对象检测的权重来计算关联分数，该关联分数指示第二帧中的对象检测与第一帧中的对象检测相关联的概率。
[0016]关联分数可以进一步基于第一帧中的对象检测的在第二帧中的预测状态。
[0017]预测状态可以包括预测尺寸、预测形状、预测位置、预测速度和预测加速度中的一个或多个。
[0018]可以将第一帧中的对象检测与第二帧中的多个对象检测中的具有最高关联分数的对象检测相关联。
[0019]第一帧中的对象检测可以与跟踪相关联，并且可以基于与第一帧中的对象检测相关联的第二帧中的对象检测来更新跟踪。通过将第一帧中的对象检测与第二帧中的多个对象检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种使用经过训练以确定特征向量的卷积神经网络将第一帧中的对象检测与第二帧中的对象检测相关联使得与单独对象相关的对象检测的特征向量被排列在特征向量空间中的单独簇中的方法，所述方法包括：接收所述第一帧的与所述第一帧中的所述对象检测相对应的区域；通过所训练的卷积神经网络确定与所述第一帧中的所述区域相关联的包括两个或更多个特征向量的特征向量集，从而确定包括两个或更多个特征向量的特征向量参考集；接收所述第二帧的与所述第二帧中的多个对象检测中的相应对象检测相对应的多个区域；对于所述第二帧中的所述多个区域中的每一个，通过所训练的卷积神经网络确定与所述第二帧中的该区域相关联的特征向量集，从而确定多个特征向量候选集；对于所述特征向量参考集的每个特征向量，在所述多个特征向量候选集的特征向量当中，识别在所述特征向量空间中与所述特征向量参考集的该特征向量具有最小距离的预定数量的特征向量，从而识别最接近特征向量集；以及对于所述多个特征向量候选集中的每个特征向量候选集，将与所述特征向量参考集的接近度的度量确定为属于该特征向量候选集的所述最接近特征向量集的比例；对于所述第二帧中的所述多个对象检测中的每一个，基于与该对象检测相对应的所述特征向量候选集的与所述特征向量参考集的所确定的接近度的度量来分配权重；以及基于所分配的权重将所述第一帧中的所述对象检测与所述第二帧中的所述多个对象检测中的一个对象检测相关联。2.根据权利要求1所述的方法，其中：对于所述第二帧中的所述多个对象检测中具有相同接近度的度量的任何两个对象检测，所述两个对象检测的所分配的权重相同；以及对于所述第二帧中的所述多个对象检测的具有比所述第二帧中的所述多个对象检测的另一对象检测更高的接近度的度量的任何对象检测，所述任何对象检测的所分配的权重高于所述另一对象检测的所分配的权重。3.根据权利要求1所述的方法，其中：对于所述第二帧中的所述多个对象检测中的每一个，所分配的权重与对应于该对象检测的所述特征向量候选集的与所述特征向量参考集的所确定的接近度的度量成比例。4.根据权利要求1所述的方法，其中：对于所述第二帧中的所述多个对象检测中的每一个，所分配的权重是1加上该对象检测的接近度的度量与所述第二帧中所述多个对象检测的除该对象检测之外的所述对象检测的所述平均的接近度的度量之间的差。5.根据权利要求1所述的方法，进一步包括：对于所述第二帧中的所述多个对象检测中的每个对象检测，基于该对象检测的所述权重来计算指示所述第二帧中的该对象检测与所述第一帧中的所述对象检测相关联的概率的关联分数。6.根据权利要求5所述的方法，其中，所述关联分数进一步基于所述第一帧中的所述对象检测的在所述第二帧中的预测状态。7.根据权利要求6所述的方法，其中，所述预测状态包括预测尺寸、预测形状、预测位
置、预测速度和加速度中的一个或多个。8.根据权利要求1所述的方法，其中，所述第一帧中的所述对象检测与所述第二帧中的所述多个对象检测中的具有所述最高关联分数的对象检测相关联。9.根据权利要求1所述的方法，其中，所述第一帧中的所述对象检测与跟踪相关联，进一步包括：基于与所述第一帧中的所述对象检测相关联的所述第二帧中的所述对象检测来更新所述跟踪。10.根据权利要求1所述...

【专利技术属性】
技术研发人员：尼克拉，
申请(专利权)人：安讯士有限公司，
类型：发明
国别省市：