使用深度传感器的实时对象检测制造技术

公开了基于深度的对象检测卷积神经网络。本文描述的基于深度的对象检测卷积神经网络并入基础网络和附加结构。基础网络被配置为接收被格式化为RGB图像数据的深度图像作为输入，并且计算指示RGB图像数据中的对象的至少一个特征的输出数据。附加结构被配置为接收基础网络的输出数据作为输入，并且计算所接收的深度图像中包括所述对象的区域的位置的预测和所述对象的类的预测作为输出。并入基于深度的对象检测卷积神经网络的对象检测设备可使用嵌入式GPU实时操作。

【技术实现步骤摘要】
【国外来华专利技术】使用深度传感器的实时对象检测本申请要求2018年2月21日提交的序列号为62/633,202的美国临时申请的优先权权益，所述美国临时申请的公开内容通过引用在其整体上并入本文。
本文档中公开的方法和系统涉及使用人工神经网络的对象检测，并且更特别地，涉及评估深度传感器数据的卷积神经网络。
技术介绍
除非本文中另有指示，否则本部分中描述的材料不是本申请中权利要求的现有技术，并且不因包含在本部分中而被承认为现有技术。对象检测是计算机视觉中的基本问题。与涉及将图像作为一个整体进行分类的图像分类不同，对象检测是一项更具挑战性的任务，其涉及标识和定位图像内的对象。用于该问题的传统计算机视觉方案一般检测图像中预定与对象相对应的特征（诸如特定的颜色、形状、直方图、梯度、颜色向量等），并且基于这样的检测将图像的区域标识为对象。然而，现代技术一般利用机器学习，以便在没有用于标识特定对象的特征的先验知识的情况下标识和定位对象。由于分类图像的大数据集和强大的计算基础设施的可用性，卷积神经网络（CNN）已经在该问题上实现了最先进的结果。CNN自动从训练图像中提取辨别特征，并组合地使用它们来标识对象。这使得CNN在大规模数据集（诸如图像网（ImageNet））上表现得显著优于传统的计算机视觉方案，这是因为后者通常依赖于启发式特征。若干种现代对象检测技术利用至少部分被训练用于图像分类并且之后被微调用于检测对象的CNN。这样的技术一般需要大量的计算能力，既用于训练CNN，也用于使用经训练的CNN评估输入图像。此外，可以降低所需计算能力的权衡一般严重影响检测的准确性。结果，可以“实时”运行（即每秒能够评估多个图像帧）的对象检测技术一般归因于所需的计算能力而成本过高，太不准确而不能提供有意义的结果，或者二者兼有。为了增加基于CNN的对象检测技术的准确性，已经做出了相当大的努力。在一个示例中，CNN是利用数据集训练的，该数据集包括与深度图像成对的传统红绿蓝（RGB）图像。深度图像是其中每个像素的强度表示从深度传感器到被检测表面的距离的图像。这里，“对”意味着从相同角度来看相同目标的RGB图像和深度图像，使得深度图像的每个像素位置直接对应于成对的RGB图像的像素位置。当训练CNN时，深度图像充当附加的数据通道，并且使一般在RGB图像中存在的像素噪声平滑。虽然像素噪声的该平滑可以增加对象检测的准确性，但这样的CNN仍然需要相当大的计算能力来操作。此外，对包括RGB图像和深度图像对的训练数据的要求显著增加了构建该类型的CNN的难度和费用。因此，可以实时操作的对象检测技术将是有益的。展现出降低的计算能力需求的技术也将是有益的。不需要复杂训练数据的技术也将是有益的。
技术实现思路
一种用于构建基于深度的对象检测卷积神经网络的方法包括：在存储器中存储对应于卷积神经网络的数据和程序指令。数据和程序指令包括基础网络和附加结构。基础网络被配置为接收RGB图像数据作为输入，并且计算指示所接收的RGB图像数据中的对象的至少一个特征的输出数据，基础网络预先训练为使用RGB图像数据集计算特征检测。附加结构被配置为接收基础网络的输出数据作为输入，并且计算所接收的RGB图像中包括所述对象的区域的位置的预测和所述对象的类的预测，使得对象检测卷积神经网络被配置为接收RGB测试图像数据作为输入，并且计算所述预测作为输出。所述方法还包括在存储器中存储训练深度图像的数据集。深度图像中的每个包括至少一个注释，所述至少一个注释将相应深度图像的区域定位为包含训练对象并标识训练对象的类。所述方法还包括通过将训练深度图像的数据集中的每个图像重新格式化为RGB图像来生成用于对象检测卷积神经网络的训练数据集。所述方法还包括利用处理器使用训练数据集训练对象检测卷积神经网络，以形成基于深度的对象检测卷积神经网络，所述基于深度的对象检测卷积神经网络被配置为接收格式化为RGB图像数据的深度图像作为输入，并且计算所接收的深度图像中包括测试对象的区域的位置的预测和测试对象的类的预测作为输出。在一些实施例中，存储器包括训练深度图像的数据集中每个图像的复杂性度量，所述复杂性度量指示相应图像的特征复杂性。处理器被配置为根据通过递增复杂性度量对训练数据集内的图像进行排序的课程，将训练数据集引入对象检测卷积神经网络。在一些实施例中，训练数据集被分割成第一批次和第二批次，使得第一批次具有高于第二批次的复杂性度量的复杂性度量。课程包括使用训练数据集的第一批次来训练对象检测卷积神经网络，并且然后使用训练数据集的第一批次和第二批次来训练对象检测卷积神经网络。在一些实施例中，对象检测卷积神经网络包括贯穿层序列分布的多个卷积滤波器。所述多个卷积滤波器中的每个卷积滤波器被配置为接收输入数据，并通过在输入数据之上卷积相应的权重矩阵来计算卷积输出数据。层序列中的每层被配置为接收输入数据并计算由层中每个滤波器的输出数据的组合形成的输出数据。基础网络包括层序列的第一子集，并且附加结构包括层序列的第二子集。在一些实施例中，层序列的第二部分包括多个特征图层。每个特征图层具有不同的维度，并且被配置为检测特征图层的输入数据中对应于特征图层的相应维度的标度的特征。所述多个特征图层以降维的顺序布置在层序列内。在一些实施例中，附加结构还包括后处理块。后处理块被配置为从每个特征图层接收输出数据，从由多个特征图层检测到的特征当中选择与特定分类的对象具有相对最高对应性的特定特征，基于所述特征的位置计算所述对象的位置，并输出所述对象的位置和分类。在一些实施例中，所述方法还包括，在训练对象检测卷积神经网络之后，标识所述多个卷积滤波器中的至少一个卷积滤波器，所述至少一个滤波器是以下情况中的至少一个：（i）至少部分冗余于所述多个卷积滤波器中的另一个，和（ii）对对象检测卷积神经网络的输出具有低于预定阈值的影响。所述方法还包括修改对应于基于深度的对象检测卷积神经网络的数据和程序指令，以从基于深度的对象检测卷积神经网络中消除所标识的至少一个滤波器。在一些实施例中，所述方法还包括，在从基于深度的对象检测卷积神经网络中消除所标识的至少一个滤波器之后，利用处理器，使用训练数据集来训练基于深度的对象检测卷积神经网络。在一些实施例中，当训练对象检测卷积神经网络时，基础网络中的层序列的第一部分内的滤波器的权重矩阵被冻结，并且当训练基于深度的对象检测卷积神经网络时，基于深度的对象检测卷积神经网络内的所有滤波器的权重矩阵被解冻。一种用于构建基于深度的对象检测卷积神经网络的系统包括：数据存储设备和可操作地连接到数据存储设备的至少一个处理器。数据存储设备被配置为存储训练深度图像的数据集，以及对应于对象检测卷积神经网络的数据和程序指令，所述对象检测卷积神经网络包括基础网络和附加结构。基础网络被配置为接收RGB图像数据作为输入，并且计算指示所接收的RGB图像数据中的对象的至少一个特征的输出数据，基础网络预先训练为使用RGB图像数据集计算特征检测。附加结构被配置为接收基础网络的输出数据作为输入，并且计算本文档来自技高网...

【技术保护点】
1.一种构建基于深度的对象检测卷积神经网络的方法，包括：/n在存储器中存储对应于卷积神经网络的数据和程序指令，包括：/n基础网络，被配置为接收RGB图像数据作为输入，并且计算指示所接收的RGB图像数据中的对象的至少一个特征的输出数据，基础网络预先训练为使用RGB图像数据集计算特征检测；和/n附加结构，被配置为接收基础网络的输出数据作为输入，并且计算所接收的RGB图像中包括所述对象的区域的位置的预测和所述对象的类的预测，使得对象检测卷积神经网络被配置为接收RGB测试图像数据作为输入，并且计算所述预测作为输出；/n在存储器中存储训练深度图像的数据集，每个训练深度图像包括至少一个注释，所述至少一个注释将相应深度图像的区域定位为包含训练对象并标识训练对象的类；/n通过将训练深度图像的数据集中的每个图像重新格式化为RGB图像来生成用于对象检测卷积神经网络的训练数据集；以及/n利用处理器使用训练数据集训练对象检测卷积神经网络，以形成基于深度的对象检测卷积神经网络，所述基于深度的对象检测卷积神经网络被配置为接收格式化为RGB图像数据的深度图像作为输入，并且计算所接收的深度图像中包括测试对象的区域的位置的预测和测试对象的类的预测作为输出。/n...

【技术特征摘要】
【国外来华专利技术】20180221 US 62/6332021.一种构建基于深度的对象检测卷积神经网络的方法，包括：
在存储器中存储对应于卷积神经网络的数据和程序指令，包括：
基础网络，被配置为接收RGB图像数据作为输入，并且计算指示所接收的RGB图像数据中的对象的至少一个特征的输出数据，基础网络预先训练为使用RGB图像数据集计算特征检测；和
附加结构，被配置为接收基础网络的输出数据作为输入，并且计算所接收的RGB图像中包括所述对象的区域的位置的预测和所述对象的类的预测，使得对象检测卷积神经网络被配置为接收RGB测试图像数据作为输入，并且计算所述预测作为输出；
在存储器中存储训练深度图像的数据集，每个训练深度图像包括至少一个注释，所述至少一个注释将相应深度图像的区域定位为包含训练对象并标识训练对象的类；
通过将训练深度图像的数据集中的每个图像重新格式化为RGB图像来生成用于对象检测卷积神经网络的训练数据集；以及
利用处理器使用训练数据集训练对象检测卷积神经网络，以形成基于深度的对象检测卷积神经网络，所述基于深度的对象检测卷积神经网络被配置为接收格式化为RGB图像数据的深度图像作为输入，并且计算所接收的深度图像中包括测试对象的区域的位置的预测和测试对象的类的预测作为输出。


2.根据权利要求1所述的方法，其中：
存储器包括训练深度图像的数据集中每个图像的复杂性度量，所述复杂性度量指示相应图像的特征复杂性；并且
处理器被配置为根据通过递增复杂性度量对训练数据集内的图像进行排序的课程，将训练数据集引入对象检测卷积神经网络。


3.根据权利要求2所述的方法，其中：
训练数据集被分割成第一批次和第二批次，使得第一批次具有高于第二批次的复杂性度量的复杂性度量；并且
课程包括使用训练数据集的第一批次来训练对象检测卷积神经网络，并且然后使用训练数据集的第一批次和第二批次来训练对象检测卷积神经网络。


4.根据权利要求1所述的方法，其中：
对象检测卷积神经网络包括贯穿层序列分布的多个卷积滤波器；
所述多个卷积滤波器中的每个卷积滤波器被配置为接收输入数据，并通过在输入数据之上卷积相应的权重矩阵来计算卷积输出数据；
层序列中的每层被配置为接收输入数据并计算由层中每个滤波器的输出数据的组合形成的输出数据；
基础网络包括层序列的第一子集；并且
附加结构包括层序列的第二子集。


5.根据权利要求4所述的方法，其中：
层序列的第二部分包括多个特征图层；
每个特征图层具有不同的维度，并且被配置为检测特征图层的输入数据中对应于特征图层的相应维度的标度的特征；并且
多个特征图层以降维的顺序布置在层序列内。


6.根据权利要求5所述的方法，其中附加结构还包括后处理块，所述后处理块被配置为：
从每个特征图层接收输出数据；
从由多个特征图层检测到的特征当中选择与特定分类的对象具有相对最高对应性的特定特征；
基于所述特征的位置计算所述对象的位置；以及
输出所述对象的位置和分类。


7.根据权利要求4所述的方法，还包括：
在训练对象检测卷积神经网络之后：
标识所述多个卷积滤波器中的至少一个卷积滤波器，所述至少一个滤波器是以下情况中的至少一个：（i）至少部分冗余于所述多个卷积滤波器中的另一个，和（ii）对对象检测卷积神经网络的输出具有低于预定阈值的影响；以及
修改对应于基于深度的对象检测卷积神经网络的数据和程序指令，以从基于深度的对象检测卷积神经网络中消除所标识的至少一个滤波器。
<...

【专利技术属性】
技术研发人员：N·C·米森，S·穆尼尔，C·谢尔顿，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE