使用多个传感器和复杂度降低的神经网络进行对象检测制造技术

一种与使用多个传感器装置进行对象检测有关的系统和方法，包括接收包含多个点的范围数据，多个点中的每一个都与强度值和深度值相关联，基于所述多个点的强度值和深度值来确定围绕所述多个点中的点的集群的边界框，接收包括像素阵列的视频图像，确定视频图像中与边界框相对应的区域，以及将第一神经网络应用于区域以确定由所述范围数据和所述视频图像捕获的对象。

【技术实现步骤摘要】
【国外来华专利技术】使用多个传感器和复杂度降低的神经网络进行对象检测相关申请的交叉引用本申请要求2018年7月5日提交的美国临时申请62/694,096的优先权，其全部内容通过引用包含于此。
本专利技术涉及从传感器数据检测对象，尤其涉及使用多个传感器和复杂度降低的神经网络进行对象检测的系统和方法。
技术介绍
包括被编程为检测环境中的对象的硬件处理器的系统具有广泛的工业应用。例如，自动驾驶车辆可以配备有传感器(例如，光检测和测距(激光雷达)传感器和摄像机)以捕获车辆周围的传感器数据。此外，自动驾驶车辆可以配备有处理装置，以执行可执行代码以基于传感器数据来检测车辆周围的对象。可以采用神经网络来检测环境中的对象。在本公开中提到的神经网络是人工神经网络，其可以在电路上实现以基于输入数据做出决策。神经网络可以包括一层或多层节点，其中每个节点可以以硬件实现为用于执行计算的计算电路元件。输入层中的节点可以将输入数据接收到神经网络。一层中的节点可以接收由前一层中的节点生成的输出数据。此外，该层中的节点可以执行某些计算并生成用于后续层的节点的输出数据。输出层本文档来自技高网...

【技术保护点】
1.一种用于使用多个传感器装置检测对象的方法，包括：/n由处理装置接收包括多个点的范围数据，所述多个点中的每一个与强度值和深度值相关联；/n由所述处理装置基于所述多个点的强度值和深度值来确定围绕所述多个点中的点的集群的边界框；/n由所述处理装置接收包括像素阵列的视频图像；/n由所述处理装置确定所述视频图像中与所述边界框相对应的区域；以及/n由所述处理装置将第一神经网络应用于所述区域，以确定由所述范围数据和所述视频图像捕获的对象。/n

【技术特征摘要】
【国外来华专利技术】20180705 US 62/694,0961.一种用于使用多个传感器装置检测对象的方法，包括：
由处理装置接收包括多个点的范围数据，所述多个点中的每一个与强度值和深度值相关联；
由所述处理装置基于所述多个点的强度值和深度值来确定围绕所述多个点中的点的集群的边界框；
由所述处理装置接收包括像素阵列的视频图像；
由所述处理装置确定所述视频图像中与所述边界框相对应的区域；以及
由所述处理装置将第一神经网络应用于所述区域，以确定由所述范围数据和所述视频图像捕获的对象。


2.根据权利要求1所述的方法，其中，所述多个传感器装置包括用于捕获所述范围数据的范围传感器以及用于捕获所述视频图像的摄像机。


3.根据权利要求1或2中任一项所述的方法，其中，由所述处理装置基于所述多个点的强度值和深度值来确定围绕点的集群的边界框还包括：
根据与所述多个点相关联的深度值将所述多个点分为多个层；以及
针对所述层中的每一个，
基于预定的阈值将与所述多个点相关联的强度值转换为二进制值；以及
将第二神经网络应用于所述二进制值以确定所述边界框。


4.根据权利要求3所述的方法，其中，所述第一神经网络或所述第二神经网络中的至少一个是卷积神经网络。


5.根据权利要求3所述的方法，其中，所述像素阵列中的每一个与亮度值(L)和两个颜色值(U，V)相关联。


6.根据权利要求5所述的方法，其中，由所述处理装置确定所述视频图像中与所述边界框相对应的区域还包括：
确定在指定所述范围传感器的传感器阵列的第一坐标系与指定所述摄像机的图像阵列的第二坐标系之间的映射关系；以及
基于所述边界框和所述映射关系确定所述视频图像中的区域，其中所述区域小于在全分辨率下的所述视频图像。


7.根据权利要求5所述的方法，其中，将第一神经网络应用于所述区域以确定由所述范围数据和所述视频图像捕获的对象包括：
将所述第一神经网络应用于与所述区域中的像素关联的亮度值(I)和两个颜色值(U，V)。


8.根据权利要求5所述的方法，其中，将第一神经网络应用于所述区域以确定由所述范围数据和所述视频图像捕获的对象包括：
将方向梯度直方图(HOG)滤波器应用于与所述区域中的像素相关联的亮度值；以及
将所述第一神经网络应用于与所述区域中的像素相关联的HOG滤波后的亮度值。


9.一种系统，包括：
传感器装置；
用于存储指令的存储装置；
通信地耦合到所述传感器装置和所述存储装置的处理装置，用于执行所述指令以：
接收包括多个点的范围数据，所述多个点中的每一个与强度值和深度值相关联；
基于所述多个点的强度值和深度值来确定围绕所述多个点中的点的集群的边界框；
接收包括像素阵列的视频图像；
确定所述视频图像中与所述边界框相对应的区域；以及
将第一神经网络应用于所述区域，以确定由所述范围数据和所述视频图像捕获的对象。


10.根据权利要求9所述的系统，其中，所述传感器装置包括用于捕获所述范围数据的范围传感器以及用于捕获所述视频图像的摄像机。<...

【专利技术属性】
技术研发人员：S·D·安丘，J·格洛斯纳，王北楠，
申请(专利权)人：优创半导体科技有限公司，
类型：发明
国别省市：美国;US