应用到道路场景图像的低保真分类器和高保真分类器制造技术

本发明专利技术教导将区块集合应用到低保真分类器中以确定描述类别集合中的一个或多个对象的候选区块集合，该区块集合跨越道路场景图像的下采样版本。下采样版本的候选区块集合可以被映射到图像高保真版本中的潜在扇区集合。高保真分类器可以被用于设置潜在扇区集合，确定来自类别集合的一个或多个对象的存在。低保真分类器可以包括第一卷积神经网络(CNN)，第一卷积神经网络在类别集合的对象的裁剪图像的下采样版本的第一训练集合上训练。类似地，高保真分类器可以包括第二CNN，第二CNN在类别集合的对象的裁剪图像的高保真版本的第二训练集合上训练。

Minimum fidelity classifier and high fidelity classifier applied to road scene images

The present invention teaches that a block set is applied to a minimal truth classifier to determine a set of candidate blocks that describe one or more objects in a class set that is spanned by a down version of a road scene image. A collection of candidate blocks for a down sampling version can be mapped to a collection of potential sectors in the image's high fidelity version. A high fidelity classifier can be used to set up potential sector sets and determine the existence of one or more objects from a class collection. The low fidelity classifier can include a first convolutional neural network (CNN), the first convolutional neural network trained on the first training set of the down version of the cropped image of the object of the set of classes. Similarly, a high fidelity classifier can consist of second CNN, second CNN trained on a second training set of clipping versions of the cropped image of the object of the set of classes.

【技术实现步骤摘要】
应用到道路场景图像的低保真分类器和高保真分类器
本专利技术涉及图像处理系统，并且更具体地涉及道路场景图像的对象分类、检测和/或定位的系统。
技术介绍
辅助驾驶和自主驾驶技术的希望和潜力依靠快速和准确分类、检测和/或定位迎面而来的对象和/或周围对象的能力。已经用于支持提供快速和准确分类、检测和/或定位信息的各种技术包括无线电检测与测距(雷达)子系统和光检测与测距(激光雷达)子系统、声音导航与测距(声纳)子系统以及图像分析技术。关于图像分析技术，安装在车辆上的摄像机可以捕捉用于数字处理的迎面而来的和/或周围道路和/或环境场景的图像。多年来，应用于图像分析的技术改进——例如使用卷积神经网络(CNN)——在图像分析的准确性上取得了令人印象深刻的改进。然而，如CNN应用的技术开发和部署两者的计算强度大，在快速和准确地提供分类、检测和/或定位信息和/或灵活以及相应地改进分析技术的要求方面产生问题。能够保持准确性上的改进同时成功控制计算需求的创新能够被用于改进分析开发。此外，这样的创新可以在辅助和自主驾驶方面为提供检测、分类和/或定位信息和/或在通过其它技术提供的类似信息中提供冗余和/或填充空白带本文档来自技高网...

【技术保护点】
一种系统，包含：位于处理器集合上的低保真分类器，所述低保真分类器可操作用于在确定描述被分类对象的候选区域时从跨越图像的下采样版本的区域集合中选择所述候选区域，所述图像来自捕捉道路场景的固定于机动车辆上的摄像机；位于所述处理器集合上的高保真分类器，所述高保真分类器可操作用于验证所述图像的高保真版本的小片中的所述被分类对象的描述，所述小片是从所述候选区域映射的，其中所述高保真分类器表明所述描述。

【技术特征摘要】
2016.01.13 US 14/995,1341.一种系统，包含：位于处理器集合上的低保真分类器，所述低保真分类器可操作用于在确定描述被分类对象的候选区域时从跨越图像的下采样版本的区域集合中选择所述候选区域，所述图像来自捕捉道路场景的固定于机动车辆上的摄像机；位于所述处理器集合上的高保真分类器，所述高保真分类器可操作用于验证所述图像的高保真版本的小片中的所述被分类对象的描述，所述小片是从所述候选区域映射的，其中所述高保真分类器表明所述描述。2.根据权利要求1所述的系统，其中：包含第一卷积神经网络(CNN)的低保真分类器是利用下采样训练集合训练的，所述下采样训练集合包含对象图像的多个被标记的下采样版本，所述对象在表征所述被分类对象的类别中，所述被标记的下采样版本具有与所述区域集合中的区域的尺寸相称的尺寸；以及包含第二CNN的高保真分类器是利用高分辨率训练集合训练的，所述高分辨率训练集合包含所述类别中的对象的图像的多个带标记的高保真版本。3.根据权利要求2所述的系统，进一步包含分辨率模块，所述分辨率模块可操作用于产生所述下采样训练集合中的所述下采样版本，至少一些所述下采样版本被下采样至最低分辨率，在所述最低分辨率的所述下采样版本的熵保持在阈值以上，所述阈值是相对于所述类别中的对象的所述图像中的熵所限定的。4.根据权利要求2所述的系统，进一步包含下采样模块，所述下采样模块在所述处理器集合上实施并且可操作用于以下采样因子产生来自固定在机动车辆上的摄像机的图像的所述下采样版本，所述下采样因子被确定用于在所述下采样版本中保留来自所述摄像机的所述图像中的熵的预定百分比。5.根据权利要求4所述的系统，其中所述熵的预定百分比来自以百分之八十为中心并且在百分之八十以上和以下扩展百分之五的范围。6.根据权利要求2所述的系统，进一步包含：窗口模块，所述窗口模块可操作用于：针对所述区域集合而从所述下采样版本中分离由完全滑过所述下采样版本的至少一个窗口来框定的重叠区域，并且将所述重叠区域应用到所述低保真分类器；以及映射模块，所述映射模块可操作用于将来自所述图像的所述下采样版本的所述候选区域映射到所述图像的高保真版本的所述小片，以使所述候选区域和所述小片分别在所述下采样版本和所述高保真版本中覆盖所述图像的共有扇区。7.根据权利要求6所述的系统，其中：所述至少一个窗口包含具有第一尺寸的第一窗口，第一尺寸与第二窗口的第二尺寸不同，所述第一尺寸和所述第二尺寸两者对应于不同的比例，在所述图像的所述下采样版本中以所述比例潜在地描述和检测所述类别中的对象；所述区域集合包含第一重叠区域的第一区域子集合以及第二重叠区域的第二区域子集合，所述第一重叠区域具有与所述第一尺寸相称的尺寸，所述第二重叠区域具有与所述第二尺寸相称的尺寸；所述下采样训练集合包含第一下采样版本的第一下采样子集合以及具有第二下采样版本的第二下采样子集合，所述第一下采样版本具有与所述第一尺寸相称的尺寸，所述第二下采样版本具有与所述第二尺寸相称的尺寸。8.根据权利要求2所述的系统，进一步包含：成像子系统，所述成像子系统包含雷达检测与测距(RADAR)子系统和光检测与测距(LIDAR)子系统中的至少一个；以及多级图像分类系统，所述多级图像分类系统包含所述摄像机以及位于所述处理器集合上的所述低保真分类器和所述高保真分类器两者；以及实施在所述处理器集合上的聚合模块，所述聚合模块可操作为使所述低保真分类器应用于来自所述摄像机的所述图像的所述下采样版本的全部范围，与应用到所述区域集合相同，以提供冗余并且提供通过所述成像子系统提供的分类信息中缺失的遗漏分类信息。9.根据权利要求2所述的系统，进一步包含：图像队列，所述图像队列可操作用于使所述摄像机捕捉的迎面而来的道路场景的一系列图像顺序排队；位于所述处理器集合内的至少一个图像处理单元(GPU)，所述至少一个图像处理单元实施所述低保真分类器和所述高保真分类器中的至少一种；并且其中所述低保真分类器和所述高保真分类器两者的参数被设置为相对于所述至少一个图像处理单元的计算能力限制所述低保真分类器和所述高保真分类器的计算要求，实现以提供对所述一系列图像中的分类信息的实时访问的预定速率来处理所述一系列的图像。10.一种用于对象分类和定位的方法，包含：将图像下采样为所述图像的下采样版本；提取覆盖所述下采样版本的重叠区域的集合，所述重叠区域通过具有与所述区域的尺寸相等尺寸的滑动窗口来限定；从所述重叠区域集合中选择潜在区域，包含第一卷积神经网络(CNN)的低保真分类器针对所述潜在区域表明...

【专利技术属性】
技术研发人员：维迪亚·那利亚姆布特·穆拉里，玛德琳·J·吴，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：美国,US