图像分割制造技术

一方面，通过根据分层分类方案对像素进行分类，将分层图像分割应用于由多个像素形成的图像，其中，这些像素中的至少一些像素由父级分类器关于父类集合进行分类，父类中的每个父类都与子类的子集相关联，并且这些像素中的每个像素还由至少一个子级分类器关于子类的子集之一进行分类，其中，父类中的每个父类对应于可见结构的类别，并且与父类中的每个父类相关联的子类的每个子集对应于该类别内的不同类型的可见结构。

【技术实现步骤摘要】
【国外来华专利技术】图像分割
本公开涉及图像分割。
技术介绍
自动车辆，也称为自动驾驶车辆，是指具有用于监测其外部环境的传感器系统和能够使用这些传感器自主地制定和实施驾驶决策的控制系统的车辆。这尤其包括基于来自传感器系统的输入来自动调整车辆的速度和行驶方向的能力。完全自主或“无人驾驶”的车辆具有足够的决策能力，以无需来自人类驾驶员的任何输入即可操作。然而，本文所使用的术语“自动车辆”也适用于半自动车辆，半自动车辆具有更有限的自主决策能力，因此仍然需要来自人类驾驶员的一定程度的监督。自主决策是自动车辆的关键功能。无论其自主性水平如何，这都是事实，但是随着自主性水平的提高，它需要能够安全做出的决策的复杂性也在提高，以至于全自动车辆需要配备异常鲁棒的决策引擎，可以依靠该决策引擎安全地处理遇到的无论多么意外的任何驾驶情况。限制自动车辆决策能力的一个因素是，即使当这些传感器输入不完美时，自动车辆也能够解释传感器输入，例如所捕获的其周围环境的图像。
技术实现思路
本公开提供了分层图像分割(像素级分类)方案，其可以被实施为适当训练的卷积神经网络(CNN)(或任何其他适当的图像分割系统)。该方案允许网络提供有关像素的一些信息，即使不确定像素的完全分类是什么。例如，像素可能是中心线道路标线的一部分，但是网络对此可能不确定。尽管如此，网络仍可以确定像素是道路的一部分(与树木相反)。层次结构允许网络即使不确定细粒度的区分也可以确定像素是道路，并且分割方案的层次结构提供了一种表达此结果的方法。在自动车辆决策的背景下，鲁棒性的一个方面是提供在“最坏情况”下要采取的一个或更多个默认动作，在这种情况下，自动车辆确定其传感器输入的整体质量已降低到无法继续安全的级别。例如，默认动作可能会在可以安全实现的最短时间内完全停止，或者(在半自动车辆的情况下)会触发给人类驾驶员的警报并恢复为手动控制。但是，当可以安全地避免这种极端动作时，这种极端动作就不应被采取，并且有用的自动车辆的一项重要能力就是能够基于不完美的传感器输入(例如所捕获的图像)安全地实施自主决策，而不会诉诸不必要的默认动作。在这种情况下，当使用分层分类方案作为决策的基础时，与传统的图像分类技术相比，这可以大大减少场景中所需要的默认动作的场景数量，因为可以基于某些像素的较高级别的分类来安全地采取某些类型的决策，即使无法以足够的确定性获得那些像素的细粒度(较低级别)的分类。然而，应注意，本专利技术可以应用于在除自主驾驶之外的情况下的期望在像素级学习视觉结构的语义层次的任何图像分割问题。本专利技术的第一方面提供了一种计算机实现的对图像的像素进行分类的方法，该方法包括：接收由多个像素形成的图像；以及根据分层分类方案对像素进行分类，其中，这些像素中的至少一些像素由父级分类器关于父类集合进行分类，父类集合中的每个父类与子类的子集相关联，并且这些像素中的每个像素还由至少一个子级分类器关于子类的子集之一进行分类，其中，每个父类对应于可见结构的类别，并且与每个父类相关联的子类的每个子集对应于该类别中不同类型的可见结构。通常，在较高的层次中进行分类比较容易，因为即使对于质量较低的图像或图像区域(例如，对于远处的低分辨率结构，或在存在噪音、失真、模糊等情况下)，可能无法以足够的确定性关于子类的相关联的子集中的至少一个进行分类，但是可以以足够的确定性关于父类集合进行像素分类。但是，对于更高质量的图像/图像区域，可以以足够的确定性关于子类的子集进行分类，并且在这种情况下，分类可以提供额外粒度，该额外粒度补充关于父类集合的分类。在本专利技术的所描述的实施例中，该分层分类被用作自动车辆中的决策的基础，以利用以下事实：即使当无法以足够的确定性对这些像素进行低级别分类，但是也可以基于某些像素的更高级别的分类来安全地做出某些类型的决策。也就是说，可以基于对应于道路结构的特定类别(即，基于成功的高级别分类)的特定集合来安全地做出某些决策，而不必确定在那个时间点的那个类别中的道路结构的特定类型(即尽管较低级别的分类失败了)。如果确实可以识别道路类型，则可以根据需要或期望，将这种额外的粒度馈入到决策过程中。例如，在最初距离较远的道路结构的情况下，可以将其分类为“道路”，而不是特定类型的道路(“车道”、“标线”等)，并且此分类级别足以用于做出某些类型的决策。当车辆向道路结构行驶时，对于那些像素，将存在可以以充分的确定性识别道路类型的点，并且该信息可以转而在有用时或需要时由决策引擎使用。即，在本专利技术的实施例中，该方法可以包括由控制器基于像素分类来执行决策过程(例如，自动车辆控制过程)。控制器可以在执行决策过程中，检测子级分类器对至少一个像素进行分类的失败，并通过父级分类器基于该像素的分类来做出决策。分层分类方案的另一个好处是，它允许从部分带注释(带标记)的数据中训练分割卷积神经网络(或其他可训练的图像分割系统)。例如，一些训练图像可能仅显示道路与非道路的区别，而其他训练图像可能仅具有车道标线和道路边缘的标签，以及仅道路/非道路区域的标签。这是因为层次的构造方式使得可以提供一种学习机制，该学习机制可以在层次的各个级别上获取误差信号，同时考虑其层次任何级别上的未注释区域。关于带注释的训练图像，进行训练以使作为整体的整个层次上产生的误差信号最小化。在本专利技术的实施例中，未注释区域可以使用在此所称的“蒙版”来解释，其中，关于给定的类别集合，在层次的给定级别上没有被标注的图像的任何区域不会影响在该层次的该级别上所定义的相应误差信号，使得在针对该方式的训练期间无法“惩罚”分类器，在该方式中，它选择关于像素的该类别在该层次的该级别上对这些像素进行分类。下表中的示例对此进行了说明：在实施例中，该方法可以包括由控制器基于像素分类执行决策过程。该方法可以包括，在执行决策过程中，检测子级分类器对像素中的至少一个进行分类的失败，并由父级分类器基于该像素的分类进行决策。决策过程可以是自动车辆控制过程。子级分类器可以确定至少一个子分类值，该子分类值关于该子类的子集的子类对像素进行分类，并且父级分类器可以确定至少一个父分类值，该父分类值关于与子类的子集相关联的父类对像素进行分类。子级分类器可以为该像素确定与以该父类为条件的子类相关的至少一个条件分类值，并基于该条件分类值和父分类值确定子分类值。子级分类器可以通过将父分类值与条件分类值相乘来确定子分类值。父分类值和子分类值可以是分别表示该像素属于该父类和该子类的概率的值。条件分类值可以是表示在该像素在属于该父类的条件下，该像素属于该子类的条件概率的值。该方法可以包括：由特征提取器基于该像素和与该像素相关的像素的集合来生成多个像素特征向量，每个像素特征向量表示一个像素，其中，基于像素的像素特征向量对像素进行分类。相关像素的集合可以由围绕该像素的图像的一部分中的像素形成。特征提取器可以由神经网络的一层或更多层形成。特征提取器可以由卷积神经网络中的多个层形成。本文档来自技高网...

【技术保护点】
1.一种计算机实现的对图像的像素进行分类的方法，所述方法包括：/n接收由多个像素形成的图像；/n根据分层分类方案对所述像素进行分类，其中，这些像素中的至少一些像素由父级分类器关于父类集合进行分类，所述父类中的每个父类都与子类的子集相关联，并且这些像素中的每个像素还由至少一个子级分类器关于子类的子集之一进行分类，其中，所述父类中的每个父类对应于可见结构的类别，并且与所述父类中的每个父类相关联的子类的每个子集对应于所述类别中不同类型的可见结构。/n

【技术特征摘要】
【国外来华专利技术】20180607 GB 1809345.01.一种计算机实现的对图像的像素进行分类的方法，所述方法包括：
接收由多个像素形成的图像；
根据分层分类方案对所述像素进行分类，其中，这些像素中的至少一些像素由父级分类器关于父类集合进行分类，所述父类中的每个父类都与子类的子集相关联，并且这些像素中的每个像素还由至少一个子级分类器关于子类的子集之一进行分类，其中，所述父类中的每个父类对应于可见结构的类别，并且与所述父类中的每个父类相关联的子类的每个子集对应于所述类别中不同类型的可见结构。


2.根据权利要求1所述的方法，包括由控制器基于所述像素分类执行决策过程。


3.根据权利要求2所述的方法，包括：
在执行所述决策过程中，检测所述子级分类器对所述像素中的至少一个进行分类的失败，并由所述父级分类器基于所述像素的分类进行决策。


4.根据权利要求3所述的方法，其中，所述决策过程是自动车辆控制过程。


5.根据前述权利要求中任一项所述的方法，其中，所述子级分类器确定至少一个子分类值，所述子分类值关于所述子类的子集的子类对所述像素进行分类，并且所述父级分类器确定至少一个父分类值，所述父分类值关于与所述子类的子集相关联的所述父类对所述像素进行分类。


6.根据权利要求5所述的方法，其中，所述子级分类器为所述像素确定与以所述父类为条件的与所述子类相关的至少一个条件分类值，并基于所述条件分类值和所述父分类值确定所述子分类值。


7.根据权利要求6所述的方法，其中，所述子级别分类器通过将所述父分类值与所述条件分类值相乘来确定所述子分类值。


8.根据前述权利要求中任一项所述的方法，其中，所述父分类值和所述子分类值是分别表示所述像素属于所述父类和所述子类的概率的值。


9.根据权利要求7和8所述的方法，其中，所述条件分类值是表示在所述像素属于所述父类的条件下，所述像素属于所述子类的条件概率的值。


10.根据前述权利要求中任一项所述的方法，包括：由特征提取器基于所述像素和与所述像素相关的像素的集合来生成多个像素特征向量，每个像素特征向量表示所述像素中的一个，其中基于所述像素的像素特征向量对所述像素进行分类。


11.根据权利要求10所述的方法，其中，所述相关像素的集合由围绕所述像素的图像的一部分中的像素形成。


12.根据前述权利要求中任一项所述的方法，其中，所述特征提取器由神经网络的一个或更多个层形成。


13.根据权利要求12所述的方法，其中，所述特征提取器由卷积神经网络的多个层形成。


14.根据权利要求2或从属于权利要求2的任何权利要求所述的方法，其中，所述子级分类器为所述子类的子集中的每个子集确定子分类值。


15.根据前述权利要求中任一项所述的方法，其中，所述父级分类器和所述子级分类器是概率分类器，所述父级分类器和所述子级分类器分别确定在所述父类集合和所述子类的子集上的概率分布。


16.根据前述权利要求中任一项所述的方法，其中，这些像素中的每个像素由以下至少一个来进行分类：关于与所述父类中的第一类相关联的子类的第一子集的第一子级分类器，关于与所述父类中的第二类相关联的子类的第二子集的第二子级分类器。


17.根据前述权利要求中任一项所述的方法，其中，所述像素中的至少一些像素中的每个像素由所述父级分类器、所述子级分类器和关于其他子类的集合的至少一个其他子级分类器进行分类，所述其他子级分类器是所述子级分类器的孩子，因为所述其他子类的集合中的每一个是所述分层分类方案内的所述子类的子集中的子类的孩子。


18.根据前述权利要求中任一项所述的方法，其中，所述像素中的至少一些像素中的每个像素由所述父级分类器、所述子级分类器和关于其他父类集合的至少一个其他父级分类器进行分类，所述其他父级分类器是所述父级分类器的父亲，因为所述父类中的每个父类是所述其他父类的集合中的父类的孩子。


19.一种训练图像像素分类器的计算机实现的方法，所述方法包括：
接收由多个像素形成的图像；
接收用于根据分层分类方案来标记所述像素中的至少一些像素的标签数据，其中将这些像素中的每个像素标记为属于父类集合之一，所述父类中的每个父类与子类的子集相关联，并且这些像素中的每个像素也被标记为属于与所述像素所属的父类相关联的所述子类的子集之一，其中，所述父类中的每个父类对应于可见结构的类别，并且与所述父类中的每个父类相关联的所述子类的子集中的每一个对应于所述类别中不同类型的可见结构；和
使用所述像素的数据和所述标签数据来训练父级分类器以关于所述父类集合对图像像素进行分类，以及训练至少一个子级分类器以关于与所述父类中的一个父类相关联的所述子类的子集对图像像素进行分类。


20.根据权利要求19所述的方法，其中，通过使用所述分类器对关于所述父类集合和子类的每个子集对所述像素中的每个像素进行分类，分别确定所述父类集合和子类的每个子集的各自的误差信号，调整所述分类器的参数以最小化所述误差信号，来对所述分类器进行训练；
其中，所述父类集合的所述误差信号提供所述父类集合的标签数据与关于所述父类集合所执行的所述像素分类的结果之间的差异的度量；和
其中，子类的每个子集的误差信号提供所述子类的...

【专利技术属性】
技术研发人员：约翰·雷德福德，希娜·萨曼戈伊，
申请(专利权)人：法弗人工智能有限公司，
类型：发明
国别省市：英国;GB