训练神经网络来确定行人制造技术

本公开提供了“训练神经网络来确定行人”。公开了一种用于神经网络系统的训练系统和训练方法。所述方法可以包括：从传感器接收在操作员控制车辆时捕获的图像帧；使用与所述传感器相关联的眼睛跟踪系统，监测所述操作员的所述眼睛以确定眼球注视数据；根据所述图像帧确定多个行人；以及迭代地训练所述神经网络系统以使用所述眼球注视数据和基于所述眼球注视数据的应答数据集从所述多个行人中确定所述一个或多个目标行人，其中所确定的一个或多个目标行人与所述车辆碰撞的概率相对高于所述多个行人中的其他行人与所述车辆碰撞的概率。

Training neural networks to identify pedestrians

The present disclosure provides \training a neural network to determine pedestrians\. A training system and a training method for a neural network system are disclosed. The method may include receiving an image frame captured when the operator controls the vehicle from a sensor; Monitoring the eyes of the operator to determine eye gaze data using an eye tracking system associated with the sensor; Determining a plurality of pedestrians according to the image frame; And iteratively training the neural network system to determine the one or more target pedestrians from the plurality of pedestrians using the eye gaze data and the response data set based on the eye gaze data, Wherein the probability of the determined one or more target pedestrians colliding with the vehicle is relatively higher than that of other pedestrians in the plurality of pedestrians colliding with the vehicle.

【技术实现步骤摘要】
训练神经网络来确定行人
本公开总体上涉及车辆神经网络。
技术介绍
自主车辆可以基于传感器输入来执行受计算机控制的转向和速度控制。在一些情况下，计算机可以预测行人的方向矢量(即，行人的速度和方向)。当车辆环境中存在大量行人时，这在计算上可能是繁重的。
技术实现思路
一种训练神经网络系统以确定一个或多个目标行人的方法可以包括：从传感器接收在操作员控制车辆时捕获的图像帧；使用与所述传感器相关联的眼睛跟踪系统，监测所述操作员的所述眼睛以确定眼球注视数据；根据所述图像帧确定多个行人；以及迭代地训练所述神经网络系统以使用所述眼球注视数据和基于所述眼球注视数据的应答数据集从所述多个行人中确定所述一个或多个目标行人，其中所确定的一个或多个目标行人与所述车辆碰撞的概率相对高于所述多个行人中的其他行人与所述车辆碰撞的概率。根据上述方法示例和/或根据上述任何其他示例，所述眼睛跟踪系统是可穿戴眼睛跟踪系统，并且在所述传感器捕获所述图像帧时由所述操作员穿戴。根据上述方法示例和/或根据上述任何其他示例，所述神经网络系统包括卷积神经网络(本文档来自技高网...

【技术保护点】
1.一种训练神经网络系统以确定一个或多个目标行人的方法，其包括：/n从传感器接收在操作员控制车辆时捕获的图像帧；/n使用与所述传感器相关联的眼睛跟踪系统，监测所述操作员的所述眼睛以确定眼球注视数据；/n根据所述图像帧确定多个行人；以及/n迭代地训练所述神经网络系统以使用所述眼球注视数据和基于所述眼球注视数据的应答数据集从所述多个行人中确定所述一个或多个目标行人，/n其中所确定的一个或多个目标行人与所述车辆碰撞的概率相对高于所述多个行人中的其他行人与所述车辆碰撞的概率。/n

【技术特征摘要】
20200127 US 16/773,3391.一种训练神经网络系统以确定一个或多个目标行人的方法，其包括：
从传感器接收在操作员控制车辆时捕获的图像帧；
使用与所述传感器相关联的眼睛跟踪系统，监测所述操作员的所述眼睛以确定眼球注视数据；
根据所述图像帧确定多个行人；以及
迭代地训练所述神经网络系统以使用所述眼球注视数据和基于所述眼球注视数据的应答数据集从所述多个行人中确定所述一个或多个目标行人，
其中所确定的一个或多个目标行人与所述车辆碰撞的概率相对高于所述多个行人中的其他行人与所述车辆碰撞的概率。


2.如权利要求1所述的方法，其中所述眼睛跟踪系统是可穿戴眼睛跟踪系统，并且在所述传感器捕获所述图像帧时由所述操作员穿戴。


3.如权利要求1所述的方法，其中所述神经网络系统包括卷积神经网络(CNN)和完全连接的神经网络，其中所述CNN的输入是所述图像帧，其中所述CNN的输出被提供给所述完全连接的神经网络，其中所述完全连接的神经网络的输出是对所述一个或多个目标行人的指示。


4.如权利要求1所述的方法，其中所述神经网络系统包括行人检测算法和第一深度神经网络(第一DNN)，其中所述行人检测算法的输入是所述图像帧，其中所述第一DNN的输出是对所述一个或多个目标行人的指示。


5.如权利要求4所述的方法，其中所述神经网络系统还包括第二深度神经网络(第二DNN)和第三深度神经网络(第三DNN)，其中所述第二DNN的输入是所述图像帧，其中所述第二DNN的输出和所述第一DNN的输出是所述第三DNN的输入，其中所述第三DN...

【专利技术属性】
技术研发人员：尼基塔·斋普里亚，阿尼鲁德·瑞维达冉，希塔·瑞瓦拉，维贾伊·纳加萨米，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：美国;US