在连接网络中处理和生成图像数据的方法技术

一种在包括多个单元的连接网络中处理图像数据的方法，其中，该方法实现了形成多个单元中的一个单元的多通道单元，并且其中，该方法包括：在数据输入端处接收表示借助多通道图像传感器获取的图像的多个输入图片元素，其中，所述多个输入图片元素包括第一输入图片元素部分和至少第二输入图片元素部分，其中，第一输入图片元素部分表示图像传感器的第一通道，而第二输入图片元素部分表示图像传感器的第二通道；将第一输入图片元素部分和至少第二输入图片元素部分彼此分开进行处理；以及在数据输出端处输出处理后的第一输入图片元素部分和第二输入图片元素部分。

Method of Processing and Generating Image Data in Connected Network

【技术实现步骤摘要】
在连接网络中处理和生成图像数据的方法
本专利技术涉及在连接网络(connectionistnetwork)尤其是神经网络中处理和生成图像数据的方法，该连接网络包括多个单元，各单元具有数据输入端、数据输出端和至少一个处理参数，其中，借助多个单元中的一个单元对输入数据进行的处理至少部分由该单独的单元的至少一个处理参数来确定。
技术介绍
连接网络在机器学习领域中是已知的，其通常涉及某种算法训练，在该算法训练期间，基于训练数据得到处理参数的合适值。通常，可以采用如本文所描述的连接网络进行受监督和无监督的机器学习，包括它们的组合，即半监督式机器学习。然而，术语“连接网络”应该被广义地理解并且也涵盖本身并不被称为由机器学习训练的模型的那些模型。连接网络是数学上受启发的模型，其由互连的处理单元组成，其中，给定单元可具有来自许多其它单元的输入连接或至许多其它单元的输出连接。因此，各单元具有至少一个数据输入端和至少一个数据输出端。多个单元可以布置在后续层中并且彼此互连，如从人工神经网络设计中公知的那样。给定网络的多个单元可以具有相同或不同的结构。有时采用单元组，其中，给定组中的单元具有会因组而异的公共预定结构。应理解，给定单元可以被配置成执行由多个处理参数确定的许多处理步骤。这可能涉及借助线性或非线性函数对数据进行多种不同变换，这些线性或非线性函数在神经网络设计的背景下有时被称为激活函数。如本领域技术人员所理解的，连接网络优选被实现为软件，这意味着本文所描述的网络结构不表示硬件结构，而是表示用电子方式实现的方法，即，由计算机实现的方法。通常，连接网络可用于需要进行某种数据处理的各种应用。一种应用是图像分类，图像分类可以涉及将图像的内容或其部分分类到多个预定义的语义上有意义的组中的至少一个中。也就是说，借助模拟或数字图像传感器获取的图像数据被变换成表示内容或对象类的离散变量。例如，在交通环境中，分类器可以将对象分类到“车辆”、“行人”和“未知”组中的一个中。另一个分类器可以仅针对交通标志，根据交通标志的对应语义含义对交通标志进行分类(交通标志识别)。在以上应用的背景下关于连接网络的一个问题是它们的鲁棒性，即，将可靠性高的给定图像分类到正确的类中。结果表明，即使在只使用对象的选择(即，交通标志)时，也难以应对待分类的数据材料的复杂性。如果考虑到例如在车辆一年间的正常操作期间将在许多不同条件(例如，夜间和白天)下对交通标志进行成像，那么该问题尤为致命。这就是说，由于照明变化、部分遮挡、旋转以及天气条件而导致的较大视觉外观变化难以应对。另外，必须要注意，通常将会在车辆中使用多通道图像传感器来从车辆附近获取图像。因此，仅仅为了对单个图像进行分类就需要处理过多的图片元素。原则上，即使是非常复杂的分类任务，也可以用连接网络来解决。然而，随着分类任务变得更加复杂，通常还需要增加模型复杂性。这造成网络有过拟合的风险，即，经训练的网络对于获得关于给定的一组训练数据的良好的模型性能是有帮助的，但是会严重劣化关于未知测试数据的模型性能。这尤其在诸如交通标志检测和识别的安全性关键应用中需要被避免，在这些安全性关键应用中，驾驶员依赖于识别结果或者车辆的驾驶行为根据识别结果而进行自动调整。为了实现改进的连接网络，最近研究了生成对抗网络(GAN)。这些网络通常由两个主要模型(合成图像数据的生成器以及将合成图像数据分类到两个组(即“真实”或“合成”)中的鉴别器)构成。换句话讲，鉴别器必须决定输入图像是否表示真实图像(即，借助图像传感器从真实对象拍得的)或者输入图像是否表示来自生成器的合成图像。通常，生成器和鉴别器被一起训练，其中，必须寻求两个相冲突的目标的平衡。这些相冲突的目标是生成器模仿真实图像的目标以及鉴别器可靠地对输入图像进行正确分类的目标。在训练期间，在数学意义上，在生成器与鉴别器之间存在争斗，因为生成器不断地试图改进以愚弄(fooling)鉴别器，其中，鉴别器试图改进而不被生成器愚弄。虽然以这种方式结合生成器训练的鉴别器应该更可靠，但是结果表明所得到的性能仍然不令人满意。同时，通过经训练的生成器合成的图像仍然与真实样本图像有显著的可见差异。这阻碍了应用生成器合成大量可用于训练其它分类器的训练数据的可能性。
技术实现思路
本专利技术的目标问题是提供在连接网络中处理和生成图像数据的改进方法。通过权利要求1和9的方法来解决目标问题。权利要求1的方法涉及在包括如以上提到的多个单元的连接网络(尤其是神经网络)中处理图像数据的情况，其中各单元具有数据输入端、数据输出端和至少一个处理参数，其中，借助多个单元中的一个单元对输入数据进行的处理至少部分由该单独的单元的至少一个处理参数来确定。该方法实现了形成多个单元中的一个单元的多通道单元，并且其中，该方法包括以下步骤：在数据输入端处接收表示借助多通道图像传感器获取的图像的多个输入图片元素，其中，所述多个输入图片元素包括第一输入图片元素部分和至少第二输入图片元素部分，其中，第一输入图片元素部分表示图像传感器的第一通道而第二输入图片元素部分表示图像传感器的第二通道；将第一输入图片元素部分和至少第二输入图片元素部分彼此分开处理；以及在数据输出端处输出处理后的第一输入图片元素部分和第二输入图片元素部分。已发现，针对每个通道单独处理输入图片元素使网络性能显著改进，即，网络能够依据所期望的网络任务(例如，对输入数据进行分类)以提高的精度来处理输入数据。也就是说，输入图片元素被分成与已用其获取输入图片元素的图像传感器的通道数量相对应的多个组。这种图片元素的分割利用预定义的一组参数来执行，这些参数描述了预定义的拓扑，即，图像传感器的传感器元件的模式。例如，图像传感器可以是拜耳(RGB)传感器(红色、绿色和蓝色通道)或FoveonX3传感器。另一个示例是可有利地应用于汽车应用中的所谓的红色-无色-无色-无色(RCCC：Red-Clear-Clear-Clear)传感器。该传感器类型包括数量是红色通道传感器元件数量的三倍的多个灰色通道传感器元件。由于不同的颜色通道和不相等的分辨率，导致每个通道的图片元素的所得矩阵将通常例如由于不同的频谱而具有相当不同的纹理。将这些图片元素组彼此分开处理，使得与一次处理两组图片元素的情况(例如，当在其中一组图片元素被缩放到另一组的三维矩阵中组合时)相比，能够更加适当地进行处理。在从属权利要求、说明书和附图中给出了根据权利要求1的方法的有利实施方式。根据一个实施方式，该方法还包括组合处理后的第一输入图片元素部分和第二输入图片元素部分(即，输出图片元素)，其中，输出组合后的第一输入图片元素部分和第二输入图片元素部分，代替处理后的第一输入图片元素部分和第二输入图片元素部分。以这种方式，多通道单元可以被集成到具有单通道结构的连接网络中，即，输出的数据可以被供给到连接网络的后续单元的单个数据输入端。为了实现这一点，处理后的第一输入图片元素部分和第二输入图片元素部分可以相连，以形成三维矩阵。例如，第一部分和第二部分的处理后的形式可以是具有与三维中连接的尺寸相同的尺寸的二维矩阵。视情况而定，第一输入图片元素部分和第二输入图片元素部分可分别由数量不等的图片元素组成(如在RCCC传感器的情况下)，并且其中，处理后的本文档来自技高网...

【技术保护点】
1.一种在连接网络(10)，尤其是神经网络中处理图像数据的方法，所述连接网络(10)包括多个单元(14、16)，各单元具有数据输入端(18)、数据输出端(20)和至少一个处理参数，其中，借助所述多个单元(14、16)中的一个单元对输入数据进行的处理至少部分地由所述单独的单元的所述至少一个处理参数来确定，其中，所述方法实现形成所述多个单元中的一个单元的多通道单元(12)，并且其中，所述方法包括：‑在数据输入端(18)处接收表示借助多通道图像传感器获取的图像的多个输入图片元素，其中，所述多个输入图片元素包括第一输入图片元素部分(36)和至少第二输入图片元素部分(38)，其中，所述第一输入图片元素部分(36)表示所述图像传感器的第一通道，并且所述第二输入图片元素部分(38)表示所述图像传感器的第二通道，‑将所述第一输入图片元素部分(36)和所述至少第二输入图片元素部分(38)彼此分开处理，以及‑在所述数据输出端(20)处输出处理后的第一输入图片元素部分和第二输入图片元素部分，其中，所述图像传感器是红色‑无色‑无色‑无色传感器，其中，所述第一输入图片元素部分(36)和所述第二输入图片元素部分(38)分别由数量不等的图片元素组成，并且其中，所述处理后的第一输入图片元素部分和第二输入图片元素部分由数量相等的图片元素组成，其中，所述多通道单元(12)形成所述连接网络的第一单元，其中，由所述连接网络(10)的至少一个后续单元(14、16)对通过所述多通道单元(12)的所述数据输出端输出的数据进行进一步处理，其中，由所述连接网络(10)的最后一个单元(16)输出的数据包括对所述第一单元(12)所接收到的所述多个输入图片元素所表示的图像进行分类的离散变量，并且其中，所述连接网络(10)实现用于交通标志的分类器。...

【技术特征摘要】
2017.12.18 EP 17208223.21.一种在连接网络(10)，尤其是神经网络中处理图像数据的方法，所述连接网络(10)包括多个单元(14、16)，各单元具有数据输入端(18)、数据输出端(20)和至少一个处理参数，其中，借助所述多个单元(14、16)中的一个单元对输入数据进行的处理至少部分地由所述单独的单元的所述至少一个处理参数来确定，其中，所述方法实现形成所述多个单元中的一个单元的多通道单元(12)，并且其中，所述方法包括：-在数据输入端(18)处接收表示借助多通道图像传感器获取的图像的多个输入图片元素，其中，所述多个输入图片元素包括第一输入图片元素部分(36)和至少第二输入图片元素部分(38)，其中，所述第一输入图片元素部分(36)表示所述图像传感器的第一通道，并且所述第二输入图片元素部分(38)表示所述图像传感器的第二通道，-将所述第一输入图片元素部分(36)和所述至少第二输入图片元素部分(38)彼此分开处理，以及-在所述数据输出端(20)处输出处理后的第一输入图片元素部分和第二输入图片元素部分，其中，所述图像传感器是红色-无色-无色-无色传感器，其中，所述第一输入图片元素部分(36)和所述第二输入图片元素部分(38)分别由数量不等的图片元素组成，并且其中，所述处理后的第一输入图片元素部分和第二输入图片元素部分由数量相等的图片元素组成，其中，所述多通道单元(12)形成所述连接网络的第一单元，其中，由所述连接网络(10)的至少一个后续单元(14、16)对通过所述多通道单元(12)的所述数据输出端输出的数据进行进一步处理，其中，由所述连接网络(10)的最后一个单元(16)输出的数据包括对所述第一单元(12)所接收到的所述多个输入图片元素所表示的图像进行分类的离散变量，并且其中，所述连接网络(10)实现用于交通标志的分类器。2.根据权利要求1所述的方法，其中，所述方法还包括，将所述处理后的第一输入图片元素部分(66)和第二输入图片元素部分(68)进行组合，其中，代替处理后的第一输入图片元素部分和第二输入图片元素部分而输出组合后的第一输入图片元素部分(66)和第二输入图片元素部分(68)。3.根据前述权利要求中任一项所述的方法，其中，至少借助所述多个单元中形成所述多通道单元(12)的第一子单元(22)的专用第一单元来执行对所述第一输入图片元素部分(36)的处理，并且其中，至少借助所述多个单元中形成所述多通道单元(12)的第二子单元(24)的专用第二单元来执行对所述至少第二输入图片元素部分(38)的处理。4.根据权利要求3所述的方法，其中，所述第一子单元(22)和所述第二子单元(24)分别由第一卷积单元和第二卷积单元形成，其中，所述第一卷积单元和所述第二卷积单元各自实现相应卷积单元所接收到的所述多个输入图片元素中的至少一部分与核滤波器的卷积。5.根据权利要求4所述的方法，其中，对所述第一卷积单元和所述第二卷积单元所接收到的所述多个输入图片元素...

【专利技术属性】
技术研发人员：F·拉加比扎德，N·米拉尼，D·舒克，L·勒泽柯纳，苏煜，D·穆勒，
申请(专利权)人：APTIV技术有限公司，
类型：发明
国别省市：巴巴多斯,BB