用于借助神经网络来探测和再识别对象的方法、神经网络和控制方法技术

本发明专利技术涉及一种用于借助神经网络来探测和再识别对象的方法，所述方法包括以下步骤：从图像中提取(S10)特征(F)，其中，所述特征(F)包括关于所述图像中的至少一个对象的信息；基于所提取的特征(F)，借助基于锚的对象探测来探测(S20)所述图像中的所述至少一个对象，其中，为了借助至少一个锚来探测所述对象，通过分类来确定分类数据并且通过回归来确定回归数据；基于所提取的特征(F)，通过确定嵌入数据来再识别(S30)所述至少一个对象，其中，用于所述图像的至少一个所述特征(F)的所述嵌入数据映射对象描述。本发明专利技术还涉及一种神经网络、一种用于至少部分自主的机器人的控制方法、和一种机器可读的存储介质。种机器可读的存储介质。种机器可读的存储介质。

【技术实现步骤摘要】
用于借助神经网络来探测和再识别对象的方法、神经网络和控制方法


[0001]本专利技术涉及一种用于借助神经网络来探测和再识别对象的方法、一种神经网络、一种控制方法、一种计算机程序和一种机器可读的存储介质。

技术介绍

[0002]在使用外部跟踪算法来探测和再识别对象时，该外部跟踪算法必须在彼此相继的图像(所谓的帧)中重新找到具有相同对象的框(Box)。为此存在不同的方案，这些方案例如将框的内容相互比较或共同考虑位置、大小和长宽比。如果对象彼此靠近在一起或对象在一段时间内被部分或完全遮盖，则这些方法是易于出错的。
[0003]因此，可以期望一种用于借助神经网络来探测和再识别对象的经改善的方法。

技术实现思路

[0004]本专利技术的目的在于，提出一种用于借助神经网络来探测和再识别对象的方法、一种神经网络、一种控制方法、一种计算机程序和一种机器可读的存储介质。
[0005]优选的实施方式是扩展方案的主题。
[0006]本专利技术的实施方式从根据本专利技术的技术方案中得出。本专利技术的符合目的的扩展方案从本专利技术的优选实施方式、说明书以及附图中得出。
[0007]根据本专利技术的一个方面，用于借助神经网络来探测和再识别对象的方法包括以下步骤。从图像中提取特征，其中，这些特征包括关于图像中的至少一个对象的信息。基于所提取的特征，借助基于锚的对象探测来探测图像中的至少一个对象，其中，为了借助至少一个锚来探测对象，通过分类来确定分类数据并且通过回归来确定回归数据。基于所提取的特征，通过确定嵌入数据来再识别至少一个对象，其中，用于图像的至少一个特征的嵌入数据映射(abbilden)对象描述(Objektbeschreibung)。
[0008]此处使用的术语“特征”包括神经网络中全部操作的结果，在此基础上确定回归数据、分类数据和嵌入数据。这些操作得到图像的确定像素或确定区域作为输入，其中，整个神经网络包含至少一个图像作为输入。
[0009]此处使用的术语“分类”包括对类别从属关系的预测，换句话说，图像中的对象是否位于锚内，如果是，该对象属于哪个类别。
[0010]此处使用的术语“回归”包括对锚坐标的细化，换句话说，锚的哪些移动和缩放是必需的，使得锚的锚框(Anchor-Box)恰好匹配图像中的对象。
[0011]此处使用的术语“嵌入数据”包括这样的数据：这些数据表示针对图像的确定像素或区域进行的描述。嵌入数据尤其包括至少一个嵌入向量。这种描述对于像素或区域的给定内容是尽可能明确(eindeutig)的。因此可以基于嵌入数据进行与其他像素或区域的相似性比较。嵌入数据也称为嵌入。在借助嵌入进行对象再识别时，教导(beibringen)神经网络针对像素或区域输出特定的嵌入数据，例如输出特定的嵌入向量。因此，由于嵌入数据
(即该嵌入数据映射的内容)的相似性，即使跨越多个摄像机视图，也能够在不同的帧上再识别对象。
[0012]此处使用的术语“对象再识别”表示在不同的摄像机或帧上再识别对象。在借助嵌入进行对象再识别时，教导神经网络针对确定的像素或区域输出描述。该描述对于给定的内容是尽可能明确的，并且能够基于这些数据而用作与另一像素或区域的相似性比较。通过不同的嵌入之间的相似性可以确定与相同对象的从属关系。
[0013]优选地，基于所确定的分类数据、所确定的回归数据和所确定的嵌入数据，跟踪彼此相继的图像中的至少一个对象。
[0014]此处使用的术语“跟踪”包括除对象探测以外还附加地使用算法和/或系统，该算法和/或系统尤其连接在对象探测器后面，并且该算法和/或系统对相继跟随的图像(也称为帧)上的探测进行处理。例如，跟踪和对象探测彼此独立。设置为用于实施跟踪的跟踪器不仅可以借助经典算法而且可以借助基于深度学习的算法来工作。
[0015]优选地，针对每个锚训练分类、回归和确定嵌入。
[0016]以这种方式能够再识别不同图像上的对象。
[0017]优选地，再识别不同摄像机视图上的至少一个对象。
[0018]优选地，嵌入数据包括至少一个嵌入向量。优选地，所有嵌入向量的长度是相同的。嵌入向量的长度优选为可变的。
[0019]优选地，将图像虚拟地划分为单元，并且为每个单元分派至少一个锚。锚尤其是用于所探测的框的原型，换句话说，转换后的锚最终形成神经网络的输出。
[0020]每个锚包括神经网络中的至少两组神经元。一个神经元训练成用于执行分类，在分类时预测对象的类别从属关系。换句话说，确定图像中的对象是否位于锚内，如果是，则确定该对象是否属于在训练中定义的对象类别之一。例如，一个类别标记为“人”。一个训练神经元训练成用于执行回归，在回归时细化锚的坐标。细化尤其包括关于以下内容的信息：锚的哪些移动和缩放是必要的，使得锚(或者换句话说，锚框)恰好匹配于图像中的对象。
[0021]优选地，对象描述对于对象的内容是尽可能明确的。
[0022]因此消除以下限制：跟踪算法或者仅能访问对象的非常简单的特性并且因此在很大程度上必须基于框的特性执行新的辨识，或者尤其是，跟踪算法本身必须从图像中提取特征以便确定更复杂的对象特性，这将伴随着资源开销和计算开销。
[0023]因此存在再识别不同摄像机上的相同对象的可能性。
[0024]以这种方式，将嵌入和基于锚的对象探测方法结合，其目的是再识别不同图像上的对象。
[0025]因此简化了跟踪任务，因为嵌入提供关于对象身份的直接信息。
[0026]以这种方式，通过嵌入来判别性地描述对象。因此，该嵌入还能够用于再识别在跟踪之外的对象。再识别导致计算开销的降低。例如，在重新辨识人的情况下能够节省计算开销，在重新辨识人时必须在不同时刻在不同的摄像机中再识别人。
[0027]以这种方式，提供一种用于借助神经网络来探测和再识别对象的经改善的方法。
[0028]在一种优选的实施方式中，该方法包括以下步骤：基于所确定的分类数据、所确定的回归数据和所确定的嵌入数据，跟踪彼此相继的图像中的至少一个对象。
[0029]优选地，在不同的摄像机视图上再识别至少一个对象。
[0030]以这种方式，提供一种经改善的用于借助神经网络来探测和再识别对象的方法。
[0031]在一种优选的实施方式中，基于相同的特征并借助同一神经网络同时执行至少一个对象的探测和嵌入数据的确定。
[0032]以这种方式，将嵌入和基于锚的对象探测方法结合，其目的是再识别不同图像上的对象。
[0033]在一种优选的实施方式中，通过嵌入层确定嵌入数据，其中，借助损失函数来学习该嵌入层。
[0034]优选地，损失函数包括添加损失。
[0035]锚优选为阳性锚或阴性锚。
[0036]阳性锚表示以下锚：该锚与图像中的对象的相对重叠大于先前确定的阈值。由于存在图像中具有相同位置但具有不同大小的锚，因此，只要阈值条件分别适用于每个锚，就可能会发生一个对象具有多于一个阳性锚的情况。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于借助神经网络来探测和再识别对象的方法，所述方法包括以下步骤：从图像中提取(S10)特征(F)，其中，所述特征(F)包括关于所述图像中的至少一个对象的信息；基于所提取的特征(F)，借助基于锚的对象探测来探测(S20)所述图像中的所述至少一个对象，其中，为了借助至少一个锚来探测所述对象，通过分类来确定分类数据并且通过回归来确定回归数据；基于所提取的特征(F)，通过确定嵌入数据来再识别(S30)所述至少一个对象，其中，用于所述图像的至少一个所述特征(F)的所述嵌入数据映射对象描述。2.根据权利要求1所述的方法，所述方法包括以下步骤：基于所确定的分类数据、所确定的回归数据和所确定的嵌入数据，跟踪彼此相继的图像中的所述至少一个对象。3.根据权利要求1或2所述的方法，其中，基于相同的特征(F)并且借助同一神经网络，同时探测所述至少一个对象并确定所述嵌入数据。4.根据以上权利要求中任一项所述的方法，其中，通过嵌入层确定所述嵌入数据，其中，借助损失函数来学习所述嵌入层。5.根据权利要求4所述的方法，其中，所述损失函数包括度量，其中，所述度量包括L2范数或余弦距离。6.根据权利要求4或5所述的方法，其中，借助对象再识别来学习所述嵌入层，其中，使用所探测的对象的所述嵌入数据之间的距离。7.根据以上权利要求中任一项所述的方法，其中，借助时间探测来学习所述嵌入层...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：罗伯特，
类型：发明
国别省市：