用于多问题求解的异构卷积神经网络制造技术

一种异构卷积神经网络(HCNN)系统，包括产生输入图像的视觉接收系统。卷积神经网络的特征提取层(FEL)部分包括堆叠在一起的多个卷积层、池化层与激活层。FEL包括多个堆叠层，第一层集合学习以简单形式(包括水平和垂直线和色块)表示数据。其后层捕获更复杂形状，诸如圆形、矩形和三角形。后续层拾取复杂特征组合来形成包括轮、面和网格的表示。FEL部分将数据输出至以下各者中的每一者：第一子网络，其执对输入图像中的对象类别执行对象检测、分类和定位以创建检测到的对象表的第一任务；和第二子网络，其执行定义像素级分割以创建分割数据集的第二任务。

Heterogeneous Convolutional Neural Network for Multi-Problem Solution

【技术实现步骤摘要】
用于多问题求解的异构卷积神经网络
本公开大体涉及人工智能卷积神经网络。
技术介绍
本部分中的陈述仅仅提供与本公开有关的背景资料，且可构成或可不构成现有技术。卷积神经网络(CNN)正用来解决计算机视觉中的问题，包括图像分类、对象检测和对象分割问题。CNN可由一个或多个卷积层组成，通常包括子采样步骤，紧接着是类似于标准多层神经网络的一个或多个全连接层。CNN的架构设计成利用输入图像(包括来自相机的像素图像)的2D结构。这包括局部连接和绑定权重，紧接着是某种形式的池化，其产生平移不变特征。CNN的益处包括相比具有相同数量的隐藏单元的全连接网络，其易于训练且具有较少的参数。传统CNN不同时解决两个或两个以上独立问题。举例来说，已知CNN在应用于汽车车辆辅助和自主控制系统时，不能同时执行包括分类及定位，和道路分割(车道检测)问题的对象检测。这需要车辆计算机系统执行多个并行或独立计算步骤，从而需要更长的计算时间和更多内存。因此，虽然当前汽车人工智能系统CNN实现了其预期目的，但仍需要允许多问题求解的新的及改进的卷积神经网络系统。
技术实现思路
根据若干方面，一种异构卷积神经网络(HCNN)系统，包括产生输入图像的视觉接收系统。卷积神经网络中的特征提取机构包括卷积神经网络的特征提取层(FEL)，其具有彼此堆叠在一起的多个卷积、池化与激活层，直接接收输入图像，进行学习操作以学习表示输入图像的第一阶段数据。FEL包括多个不同的堆叠层，其中第一层集合(直接在输入图像之后的层)学习以非常简单的形式(诸如水平和垂直线以及简单的色块)表示数据。其后层捕获更复杂形状，诸如圆形、矩形、三角形等等。后续层从一个或多个先前层拾取特征的复杂组合以形成更有意义的表示，诸如轮、面、网格等等。所有上述情况均发生在FEL内部，因此HCNN通过针对子网络中的每一者仅执行一次上述动作，节省了计算、内存，并使执行加速。FEL部分将第一阶段数据输出至以下各者：第一子网络，其对输入图像中的对象类别执行对象检测、分类和定位以创建检测到的对象表的第一任务；和第二子网络，其执行定义像素级分割以创建分割数据集的第二任务。第一阶段数据包括从输入图像捕获的第一特征映射。在本公开的另一方面，FEL部分包括第一卷积与池化层(CPL)部分，其接收所述第一阶段的数据，并且在第二阶段数据中捕获包括圆形、矩形、三角形等等的形状。第一CPL部分将第二阶段数据转发至第一子网络用于执行第一任务，即对输入图像中的对象类别执行对象检测、分类和定位以创建检测到的对象表。FEL对于子网络中的每一者都是公共的，并且在FEL提供各个特殊任务(包括像素级分割和对象检测、分类和定位)之后，分离成专用层时被重复利用。在本公开的另一方面，FEL部分包括第二CPL部分，该第二CPL部分捕获定义复杂几何形状的第三阶段数据，第三阶段数据包括第一阶段数据与第二阶段数据的组合和复杂特征组合以形成包括轮、面和网格的表示，第二CPL部分将第三阶段数据转发至第一子网络用于执行第一任务，即对输入图像中的对象类别执行对象检测、分类和定位以创建检测到的对象表。在本公开的另一方面，通过最小化第二子网络的损失函数同时冻结第一子网络来训练第二子网络。在本公开的另一方面，通过最小化第一子网络的损失函数同时冻结第二子网络来训练第一子网络。在本公开的另一方面，在单个阶段中训练第二子网络和第一子网络，其中模型总损失LTotal是第二子网络和第一子网络中的每一者的各个损失函数L1、L2的加权和。根据本文提供的描述，进一步的应用领域将变得显而易见。应理解，描述及具体实例仅旨在用于说明，且非旨在限制本公开的范围。附图说明本文描述的附图仅用于说明的目的，且非旨在以任何方式限制本公开的范围。图1是本公开的具有异构卷积神经网络(CNN)系统的主车辆的车行道可见度及识别范围的直观图；图2是本公开的CNN系统的元件的图解表示；图3是描述在多步骤训练过程中用来冻结网络的一部分且最小化用于训练图2的CNN系统的损失函数L1的第一步骤的流程图；图4是描述在多步骤训练过程中用来冻结网络的一部分且最小化用于训练图2的CNN系统的损失函数L2的第二步骤的流程图；图5是描述在多步骤训练过程中用来冻结网络的用于训练图2的CNN系统的一部分的第三步骤的流程图；且图6是描绘用于图2的CNN系统的单阶段训练方法的步骤的流程图。具体实施方式以下描述在性质上仅为示例性的，且并不旨在限制申请本公开、应用或使用。参看图1，异构卷积神经网络(HCNN)系统10，在主车辆12与公路14上的其他车辆一起在道路或公路14上的第三车道中的一般行驶路径“A”中行驶时，接收主车辆12中的对象属性数据。其他车辆可包括(例如)在相邻第二车道中但在主车辆12前面的诸如卡车的第一车辆16、可被第一车辆16部分地阻挡而不能直接看到主车辆12的第二车辆18、以及在公路14上的第三车道中行驶的诸如汽车的第三车辆20。也可从第四车辆24接收对象属性数据，其中第四车辆24停驶或禁用，且可能在公路14上或在公路14的边上。系统接收的图像也可包括行人26。HCNN系统10经由视觉接收系统22(诸如相机、LIDAR或RADAR系统)接收图像数据，视觉接收系统22收集对象属性数据，例如作为参看图2示出且描述的像素图像30。以此方式，可通过还利用现有集中式视觉处理器中的传感器，将对象属性数据用于高级驾驶者辅助(ADAS)技术。视觉接收系统22可进一步接收信息作为对象成像数据，该对象成像数据定义紧邻第四车辆24的行人26以及固定对象，诸如所有位于HCNN系统10的主车辆预定义感测及传输窗口28内的桥梁、防护栏、树、高速公路标志等。参看图2且再次参看图1，本公开的异构卷积神经网络(HCNN)系统10接收由视觉接收系统22产生的输入图像30。HCNN系统10可以进一步在预定时间段内接收额外的输入图像，例如当主车辆12沿着公路14行驶时，每30ms接收一次。期望通过求解至少两个独立问题，使用输入图像30中的数据产生至少两个输出。定义检测到的对象表32的第一输出提供了检测到的对象的列表，包括诸如汽车、卡车、行人等对象类型34，以及定义对象类型34的准确性的置信水平(level)36。产生检测到的对象表32需要对对象进行分类和定位的解决方案。定义分割(segmentation)数据集38的第二输出将与车道检测、车道状况和在HCNN系统10的传输窗口28内车道相对于主车辆12的位置有关的数据提供至主车辆12。HCNN系统10包括处理器或计算机40，其控制视觉接收系统22且处理输入图像30中的数据。如上文指出，HCNN系统10执行若干并行任务。第一子网络44对某些对象类别(车辆、行人、交通标志、交通灯等等)执行对象检测、分类和定位的第一任务，其中来自第一子网络44的输出是检测到的对象的列表，即检测对象表32，其提供用于检测到的对象的置信水平和位置信息。第二子网络46执行车道检测的第二任务。像素级分割是第二子网络46的解决方案和输出，第二子网络46用于提供定义分割数据集38的彩色图像，其指示在主车辆12前面的可驾驶道路或车道。HCNN系统10还可以提供执行另外任务的额外第三且更大的子网络(未示出)。HCNN系统10包括具有彼此堆叠在本文档来自技高网...

【技术保护点】
1.一种异构卷积神经网络(HCNN)系统，包括：特征提取层(FEL)部分，其接收输入图像，所述FEL部分进行学习操作以学习表示所述输入图像的第一阶段数据且将所述第一阶段数据输出至以下两者：直接从所述FEL部分接收所述第一阶段数据且执行第一任务的第一子网络；和直接从所述FEL部分接收所述第一阶段数据且执行第二任务的第二子网络。

【技术特征摘要】
2018.03.06 US 62/639,2141.一种异构卷积神经网络(HCNN)系统，包括：特征提取层(FEL)部分，其接收输入图像，所述FEL部分进行学习操作以学习表示所述输入图像的第一阶段数据且将所述第一阶段数据输出至以下两者：直接从所述FEL部分接收所述第一阶段数据且执行第一任务的第一子网络；和直接从所述FEL部分接收所述第一阶段数据且执行第二任务的第二子网络。2.根据权利要求1所述的HCNN系统，其中所述第一阶段数据包括从所述输入图像捕获的第一特征映射。3.根据权利要求2所述的HCNN系统，其中所述第一子网络包括第一卷积与池化层(CPL)部分，其接收所述第一阶段数据且捕获第二阶段数据。4.根据权利要求3所述的HCNN系统，其中所述第二阶段数据包括不同于所述第一特征映射的第二特征映射。5.根据权利要求4所述的HCNN系统，其中所述第一子网络包括第二卷积与池化层(CPL)部分，其接收所述第二阶段数据且捕获第三阶段数据。6.根据权利要求5所述的HCNN系统，其中所述第三阶段数据包括不同于所述第一特征映射和所述第二特征映射的第三特征映射。7.根据权利要求6所述的HCNN系统，其中所述第二阶段数据和所述第三阶段数据两者输入至所...

【专利技术属性】
技术研发人员：I·F·G·曼苏尔，H·B·塞弗特，
申请(专利权)人：德韧营运有限责任公司，
类型：发明
国别省市：美国,US