用于检测图像中的感兴趣对象的方法和装置制造方法及图纸

用于检测图像中的感兴趣对象的方法和装置，该方法包括以下步骤：将至少一个输入图像提供（S1）给包括层的堆叠的经训练的深度神经网络DNN；以及使用至少一个经学习的过滤器的至少一个去卷积输出或者组合（S2）所述经训练的深度神经网络DNN的至少一个层的经学习的过滤器的去卷积输出，以检测所提供的图像中的感兴趣对象。

A Method and Device for Detecting Interested Objects in Images

【技术实现步骤摘要】
【国外来华专利技术】用于检测图像中的感兴趣对象的方法和装置
本专利技术涉及用于检测图像中的感兴趣对象的方法和装置，并且具体地涉及使用深度神经网络来进行对象检测。
技术介绍
对象检测是各种使用案例中普遍关注的问题。在比如监控或驾驶员辅助系统或自主驾驶之类的使用案例或需要关于环境的信息的任何其他使用案例中，对象检测都是很重要的任务。
技术实现思路
因此，本专利技术的目的在于提供高效地检测图像中的感兴趣对象的方法和装置。根据本专利技术的第一方面，通过包括权利要求1的特征的用于检测图像中的感兴趣对象的方法来达成该目的。根据第一方面，本专利技术提供了一种用于检测图像中的感兴趣对象的方法，其中所述方法包括以下步骤：将至少一个输入图像提供给包括层的堆叠的经训练的深度神经网络DNN，以及使用经学习的过滤器的去卷积输出或者组合所述经训练的深度神经网络DNN的至少一个层的经学习的过滤器的去卷积输出，以检测所提供的图像中的感兴趣对象。在根据本专利技术第一方面的方法的可能实施例中，在包括注释标签的带注释的训练图像上训练所述深度神经网络DNN。在根据本专利技术第一方面的方法的另一可能实施例中，所述带注释的训练图像的注释标签包括指示相应训练图像内的感兴趣对象的数量的计数值。在根据本专利技术第一方面的方法的又一可能实施例中，基于带注释的合成训练图像和/或带注释的自然训练图像来训练所述深度神经网络DNN。在根据本专利技术第一方面的方法的又一可能实施例中，组合所述经训练的深度神经网络DNN的中级和高级层的经学习的过滤器的去卷积输出，以检测所提供的图像中的感兴趣对象。在根据本专利技术第一方面的方法的另一可能实施例中，所述输入图像包括具有针对不同通道的像素值的像素。在根据本专利技术第一方面的方法的另一可能实施例中，所述通道包含包括针对不同颜色的像素值的颜色通道，所述不同颜色包括红色、蓝色和绿色。在根据本专利技术第一方面的方法的另一可能实施例中，通过分离地处理所述不同通道来降低至少一个经学习的过滤器的至少一个去卷积输出内的噪声。在根据本专利技术第一方面的方法的另一可能实施例中，保持至少一个通道而同时抑制（suppress）至少另一个通道，以降低至少一个经学习的过滤器的至少一个去卷积输出内的噪声。在根据本专利技术第一方面的方法的又一可能实施例中，处理所选择的通道以提高相应通道的平均值。在根据本专利技术第一方面的方法的另一可能实施例中，至少部分地通过将一层的经学习的过滤器的输出与经学习的过滤器的去卷积输出进行比较来消除所述输入图像内的背景。在根据本专利技术第一方面的方法的另一可能实施例中，执行阈值处理以检测所提供的图像内的感兴趣对象的轮廓。在根据本专利技术第一方面的方法的另一可能实施例中，在所述输入图像上在所检测到的轮廓周围叠加边界框，以标记所述输入图像内的感兴趣对象。在根据本专利技术第一方面的方法的另一可能实施例中，存储、传输和/或显示具有所叠加的边界框的输入图像，和/或其中将所述边界框分离地储存为元数据。在根据本专利技术第一方面的方法的又一可能实施例中，所述感兴趣对象包含包括行人和/或车辆的移动对象和/或静止对象。在根据本专利技术第一方面的方法的又一可能实施例中，所述深度神经网络DNN包括卷积神经网络CNN和/或递归神经网络RNN和/或深度前馈网络。根据另一方面，本专利技术还提供了包括权利要求15的特征的用于检测图像中的感兴趣对象的装置。根据第二方面，本专利技术提供了一种用于检测图像中的感兴趣对象的装置，其中所述装置包括：提供单元，其被适配成将至少一个输入图像提供给包括层的堆叠的经训练的深度神经网络DNN；以及处理单元，其被适配成组合所述经训练的深度神经网络DNN的至少一个层的经学习的过滤器的去卷积输出，以检测所提供的输入图像中的感兴趣对象。附图说明在下文中，参照附图更加详细地描述本专利技术的不同方面的可能实施例。图1示出了根据本专利技术一个方面的用于检测图像中的感兴趣对象的装置的可能示例性实施例的框图；图2示出了根据本专利技术另一方面的用于检测图像中的感兴趣对象的方法的可能示例性实施例的流程图；图3示出了根据本专利技术的检测装置的另一可能示例性实施例的框图；图4示出了用于例示根据可能实施例的用于检测图像中的感兴趣对象的方法和装置的操作的示意图。具体实施方式如图1中可见，根据本专利技术的检测装置1在所例示的实施例中包括提供单元2和处理单元3。提供单元2被适配成将至少一个输入图像提供给包括层的堆叠的经训练的深度神经网络DNN。提供单元2的输出连接到检测装置1的处理单元3。在可能的实施例中，处理单元3被适配成组合经训练的深度神经网络DNN的至少一个层的经学习的过滤器的去卷积输出，以检测由提供单元2提供给该经训练的深度神经网络的输入图像中的感兴趣对象。处理单元3还可以被适配成使用该DNN的层的经学习的过滤器的去卷积输出。在可能的实施例中，可以通过相机来捕获被提供给经训练的深度神经网络DNN的图像。在替换实施例中，可以从存储器读取或者可以从系统的其他设备接收被提供给经训练的深度神经网络DNN的输入图像。检测装置1被提供用于检测接收到的数字图像中的感兴趣对象。所述感兴趣对象可以包括移动对象或静止对象。移动对象可以是例如所提供的数字图像中的行人和/或车辆。此外，对象还可以包括所提供的数字图像内的静止对象，诸如树木或建筑物。可以在包括注释标签的带注释的训练图像上训练深度神经网络DNN。在可能的实施例中，带注释的训练图像的注释标签可以包括计数值，所述计数值指示被提供给要训练的深度神经网络DNN的相应训练图像内的感兴趣对象的数量。可以基于带注释的合成训练图像以及还基于带注释的自然训练图像来训练深度神经网络DNN。深度神经网络DNN包括层的堆叠。在可能的实施例中，组合经训练的深度神经网络DNN的中级层和高级层的经学习的过滤器的去卷积输出，以检测所提供的数字图像中的感兴趣对象。在可能的实施例中，被提供给经训练的深度神经网络DNN的输入图像可以包括像素，其中每个像素包括像素值。在可能的实现中，像素可以包括针对不同通道的像素值。在可能的实施例中，这些通道包括颜色通道，其包括针对不同颜色的像素值。在可能的实现中，颜色通道可以包括针对红色通道、蓝色通道和绿色通道的像素值。在可能的实施例中，可以通过分离地处理不同的通道来降低经学习的过滤器的经组合的去卷积输出内的噪声。在可能的实施例中，保持至少一个通道（诸如颜色通道），而同时可以抑制至少另一个通道（诸如另一个颜色通道），以降低经学习的过滤器的经组合的去卷积输出内的噪声。还可以处理所选择的通道（诸如颜色通道）以提高相应通道的平均值。在检测装置1的可能实施例中，可以至少部分地通过将一层的经学习的过滤器的输出与经学习的过滤器的去卷积输出或深度神经网络DNN的经学习的过滤器的去卷积输出的组合进行比较来消除输入图像内的背景。然后，可以执行阈值处理以检测所提供的数字图像内的感兴趣对象的轮廓。此外，检测装置1可以被适配成在输入图像上在检测到的轮廓周围叠加边界框，以标记输入图像内的感兴趣对象。在可能的实施例中，具有叠加的边界框的输入图像可以作为元数据存储在数据存储器中。此外，对应于输入图像的边界框也可以被存储、传输到系统的其他设备，和/或作为元数据分离地进行储存。此外，具有叠加的边界框的输入图像也可以在屏幕上显示给用户。在可能的实施例中，检测装置1所本文档来自技高网...

【技术保护点】
1.一种用于检测图像中的感兴趣对象的方法，所述方法包括以下步骤：（a）将至少一个输入图像提供（S1）给包括层的堆叠的经训练的深度神经网络DNN；以及（b）使用经学习的过滤器的去卷积输出或者组合（S2）所述经训练的深度神经网络DNN的至少一个层的经学习的过滤器的去卷积输出，以检测所提供的图像中的感兴趣对象。

【技术特征摘要】
【国外来华专利技术】2017.02.03 IN 2017110040371.一种用于检测图像中的感兴趣对象的方法，所述方法包括以下步骤：（a）将至少一个输入图像提供（S1）给包括层的堆叠的经训练的深度神经网络DNN；以及（b）使用经学习的过滤器的去卷积输出或者组合（S2）所述经训练的深度神经网络DNN的至少一个层的经学习的过滤器的去卷积输出，以检测所提供的图像中的感兴趣对象。2.根据权利要求1所述的方法，其中，在包括注释标签的带注释的训练图像上训练（S0）所述深度神经网络DNN。3.根据权利要求2所述的方法，其中，所述带注释的训练图像的注释标签包括指示相应训练图像内的感兴趣对象的数量的计数值。4.根据前述权利要求中的任一项所述的方法，其中，基于带注释的合成训练图像和/或带注释的自然训练图像来训练（S0）所述深度神经网络DNN。5.根据前述权利要求中的任一项所述的方法，其中，组合（S2）所述经训练的深度神经网络DNN的中级和/或高级层的经学习的过滤器的去卷积输出，以检测所提供的图像中的感兴趣对象。6.根据前述权利要求中的任一项所述的方法，其中，所述输入图像包括具有针对不同通道的像素值的像素。7.根据权利要求6所述的方法，其中，所述通道包含包括针对不同颜色的像素值的颜色通道，所述不同颜色包括红色、蓝色和绿色。8.根据权利要求6或7所述的方法，其中，通过分离地处理所述不同通道来降低（S3）至少一个经学习的过滤器的至少一个去卷积输出或者所述经学习的过滤器的至少一个经组合的去卷积输出内的噪声。9.根据前述权利要求6至8中的任一项所述的方法，其中...

【专利技术属性】
技术研发人员：S高希，P阿蒙，A胡特，
申请(专利权)人：西门子股份公司，
类型：发明
国别省市：德国,DE