用于检测和记录异常车辆事件的系统和方法技术方案

在一个实施方式中，计算系统访问与由人类驾驶员操作的车辆相关联的情境数据。使用与车辆相关联的一个或更多个传感器捕获情境数据。通过至少基于与和许多车辆相关联的预记录情境数据相关联的信息处理情境数据，系统确定一个或更多个预测的车辆操作。系统检测由人类驾驶员进行的一个或更多个车辆操作。基于由人类驾驶员进行的一个或更多个车辆操作与一个或更多个预测的车辆操作的比较，系统确定感兴趣事件与情境数据相关联。系统使得与感兴趣事件相关联的高分辨率情境数据被存储。

【技术实现步骤摘要】
【国外来华专利技术】用于检测和记录异常车辆事件的系统和方法
技术介绍
现代车辆(Vehicle：载具、交通工具)可以包括用于监测车辆和环境的一个或更多个传感器或感测系统。例如，车辆可以使用速度传感器来测量车辆速度，并且可以使用GPS来追踪车辆的位置。可以使用一个或更多个相机或LiDAR来检测车辆的周围对象。车辆可以使用一个或更多个计算系统(例如，车载计算机)来收集来自传感器的数据。计算系统可以将收集到的数据存储在车载存储空间中，或者使用无线连接将数据上传到云。然而，车辆的传感器可能会产生大量数据，以及车辆的计算系统可能对于存储所有数据来说具有有限的车载存储空间，以及对于实时上传数据来说具有有限的连接带宽。附图说明图1例示了具有有限的存储空间和无线连接带宽的示例车辆系统。图2例示了用于基于人类驾驶员的预测操作来确定感兴趣事件的示例时间序列。图3例示了用于检测和分类异常事件的示例边缘计算图。图4A例示了用于检测车辆的异常事件的示例情况。图4B例示了用于预测其他交通行为者(agent：代理人、施事者、行为主体)行为的示例情况。图5例示了检测感兴趣事件并存储与该事件相关联的高分辨率数据的示例方法。图6A例示了示例数据收集设备的各种部件的框图。图6B例示了示例数据收集设备的前视图。图6C例示了示例数据收集设备的后视图。图7例示了用于使搭乘请求者与自主车辆匹配的运输管理环境的示例框图。图8例示了示例计算系统。具体实施方式在下面的描述中，将描述不同的实施方式。为了解释的目的，列出了具体的配置和细节，从而提供对实施方式的透彻理解。然而，这些实施方式可以在没有具体细节的情况下实施，这对于本
人员来说将也是明显的。此外，众所周知的特征可以被省略或简化，以便不使所描述的实施方式模糊。此外，本文所公开的实施方式仅是示例，而本公开内容的范围不限于此。特定实施方式可以包括上述所公开的实施方式的部件、元件、特征、功能、操作或步骤中的全部部件、元件、特征、功能、操作，一些部件、元件、特征、功能、操作或者不包括上述所公开的实施方式的部件、元件、特征、功能、操作或步骤。根据本专利技术的实施方式特别地在针对方法、存储介质、系统和计算机程序产品的所附权利要求中公开，其中，在一个权利要求类别例如方法中提到的任何特征也可以在另一权利要求类别例如系统中要求保护。仅出于形式上的原因选择所附权利要求中的从属关系或回溯引用。然而，由于有意回溯引用任何先前的权利要求(特别是多个从属关系)而产生的任何主题也可以被要求保护，因此，权利要求及其特征的任何组合被公开并可以被要求保护，而与在所附权利要求中选择的从属关系无关。可以要求保护的主题不仅包括所附权利要求中所列出的特征的组合，而且还包括权利要求中特征的任何其他组合，其中，权利要求中提到的每个特征可以与权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的任何实施方式和特征可以在单独的权利要求中要求保护，和/或在与本文描述或描绘的任何实施方式或特征的任何组合中或者与所附权利要求的任何特征的任何组合中要求保护。车辆系统可以从与车辆相关联的任何数量的传感器(例如，速度传感器、转向角传感器、制动压力传感器、GPS、相机、LiDAR、雷达等)收集大量的数据。收集到的数据可以用于许多应用，诸如训练用于驾驶自动车辆或辅助人类驾驶的机器学习(ML)模型。车辆系统可以将收集到的数据存储在车载存储装置中，或者通过无线连接将数据上传到云。然而，由于车辆系统具有有限的车载存储空间和无线连接带宽，存储或上传所有收集到的数据是不可行的。尽管车辆系统可以对收集到的数据进行预处理，并且仅存储或上传经处理的、具有代表性的结果(例如，来自对象检测结果的对象列表，而不是从中生成对象列表的原始图像数据)，但对于需要较丰富数据的场景来说，这样的方法将使得收集到的数据量不是最优的。例如，异常事件诸如对不寻常状况(例如，异常轨迹或其他车辆的侵害性移动)或事故的反应，可能构成车辆系统的机器学习模型将需要学习处理的重要边缘案例。关于边缘案例的非最优数据量可能缺乏足够的细节来有效地训练机器学习模型，使其足以鲁棒地处理这样的边缘案例。为了解决有限的存储空间和无线连接带宽所带来的问题，车辆系统的特定实施方式可以对收集到的数据进行预处理(如对象识别、压缩等)，并存储/上传经预处理的结果(如经识别的对象列表、经压缩的数据等)，该经预处理的结果的大小比预处理前的数据要小，且需要的存储空间和传输带宽也较少。为了捕获较丰富的边缘案例数据集，车辆系统的特定实施方式可以使用边缘计算来实时检测感兴趣事件，并在检测到这样的事件后，存储/上传比其他情况下存储/上传的数据集丰富的对应数据集。感兴趣事件可以是偏离车辆系统的预测(例如，基于预记录的历史数据)达到一阈值的异常事件。较丰富数据集可以是比针对非异常事件存储/上传的数据(例如，预处理的经压缩数据)包括较多信息细节的高分辨率数据。较丰富数据集可以是例如原始数据、全分辨率数据、或者比针对非异常事件存储/上传的数据具有较高分辨率(例如，较多像素、较高采样率)的数据。边缘计算可以使用被设计为用于检测或分类异常事件的机器学习模型或/和基于规则的算法。例如，系统可以将当前驾驶数据与预测的当前情况下的驾驶行为(例如，使用机器学习模型)进行比较，并且可以在当前驾驶数据与预测不一致时识别异常事件。当检测到异常事件时，系统可以存储/上传与检测到的事件相关的较丰富数据集。特定实施方式通过基于识别的事件有选择地存储和上传数据，并对与识别的事件无关的其他数据进行预处理，来降低系统对存储和带宽资源的需求。例如，车辆系统可以有效地收集包括与异常事件相关的边缘案例数据和正常操作数据在内的数据以用于机器学习训练，而不管车辆系统的存储和传输带宽限制。此外，车辆系统的特定实施方式为后续的下游使用，诸如训练用于驾驶车辆或辅助人类驾驶的机器学习模型，提供较丰富的边缘案例数据集和较好的数据质量。例如，收集到的边缘案例数据可以包括检测到的事件的高分辨率数据，没有因压缩或预处理的损失，并且因此可以较有效地用于训练机器学习模型。在特定实施方式中，车辆系统可以具有用于监测车辆(例如，速度、转向角、制动压力等)、车辆路径(例如，轨迹、位置等)、人类驾驶员(例如，眼球移动、头部移动等)、以及车辆的环境(例如，用边界框的识别出的对象、其他车辆、行人等)的任何数量的传感器。车辆系统可以包括一个或更多个计算系统(例如，数据收集设备、移动电话、平板电脑、移动计算机、高性能计算机)以收集车辆的情境(contextual，情景、背景、环境)数据。在特定实施方式中，车辆的情境数据可以包括与人类驾驶员相关联的一个或更多个参数，例如但不限于：头部位置、头部移动、手部位置、手部移动、脚部位置、脚部移动、凝视方向、凝视点、人类驾驶员的图像、手势、声音等。与人类驾驶相关联的参数可以使用与车辆相关联的一个或更多个面向驾驶员的相机和麦克风(例如，带有麦克风的行车记录仪)或与车辆的计算系统(例如，数据收集设备、移动电话)相本文档来自技高网...

【技术保护点】
1.一种方法，包括通过计算系统：/n访问与由人类驾驶员操作的车辆相关联的情境数据，其中，所述情境数据是使用与所述车辆相关联的一个或更多个传感器捕获的；/n通过至少基于与和多个车辆相关联的预记录情境数据相关联的信息来处理所述情境数据，来确定一个或更多个预测的车辆操作；/n检测由所述人类驾驶员进行的一个或更多个车辆操作；/n基于由所述人类驾驶员进行的所述一个或更多个车辆操作与所述一个或更多个预测的车辆操作的比较，来确定感兴趣事件与所述情境数据相关联；以及/n使与所述感兴趣事件相关联的高分辨率情境数据被存储。/n

【技术特征摘要】
【国外来华专利技术】20180821 US 16/107,9861.一种方法，包括通过计算系统：
访问与由人类驾驶员操作的车辆相关联的情境数据，其中，所述情境数据是使用与所述车辆相关联的一个或更多个传感器捕获的；
通过至少基于与和多个车辆相关联的预记录情境数据相关联的信息来处理所述情境数据，来确定一个或更多个预测的车辆操作；
检测由所述人类驾驶员进行的一个或更多个车辆操作；
基于由所述人类驾驶员进行的所述一个或更多个车辆操作与所述一个或更多个预测的车辆操作的比较，来确定感兴趣事件与所述情境数据相关联；以及
使与所述感兴趣事件相关联的高分辨率情境数据被存储。


2.根据权利要求1所述的方法，其中，所述感兴趣事件是基于确定所述人类驾驶员的所述一个或更多个车辆操作相对所述一个或更多个预测的车辆操作偏离一预定阈值来确定的。


3.根据权利要求1所述的方法，其中，与所述预记录情境数据相关联的信息包括预测模型，并且其中，所述预测模型是使用与所述多个车辆相关联的所述预记录情境数据训练的机器学习模型。


4.根据权利要求1所述的方法，还包括：
基于先前检测到的感兴趣事件，使用事件分类器将所述感兴趣事件分类到一类别中；以及
为所述感兴趣事件分配兴趣评分，其中，所述兴趣评分基于所述感兴趣事件的所述类别和一个或更多个特征。


5.根据权利要求4所述的方法，其中，所述感兴趣事件是所述事件分类器未能分类的不可分类事件。


6.根据权利要求4所述的方法，其中，所述感兴趣事件包括行为者建模器未能识别的不可识别对象。


7.根据权利要求1所述的方法，其中，使与所述感兴趣事件相关联的高分辨率情境数据被存储包括：将所述高分辨率情境数据从易失性存储器移动到所述计算系统的非易失性存储装置。


8.根据权利要求1所述的方法，其中，使与所述感兴趣事件相关联的高分辨率情境数据被存储包括：将所述高分辨率情境数据上传到云。


9.根据权利要求1所述的方法，还包括：对所述高分辨率情境数据进行标示以与所述感兴趣事件相关联。


10.根据权利要求1所述的方法，还包括：
基于确定所述感兴趣事件与所述情境数据相关联，来选择所述高分辨率情境数据被存储，其中，所述高分辨率情境数据与在对应的情境数据被确定与所述感兴趣事件不相关联时存储的数据相比，包括更多的信息；或者对应于更长的时间段。


11.根据权利要求1所述的方法，还包括：
确定所述人类驾驶员正在注意的区域；以及
选择与所述人类驾驶员正在注意的区域相关联的情境数据集，其中，所述高分辨率情境数据包括所选择的情境数据集。


12.根据权利要求1所述的方法，其中，所述车辆的所述情境数据包括与所述车辆相关联的一个或更多个参数，并且其中，与所述车辆相关联的所述一个或更多个参数包括：
速度；
移动方向；
轨迹；
GPS坐标；
加速度；
制动踏板上的压力；
加速踏板上的压力；
方向盘上的转向力；
轮方向；
信号状态；
导航地图；
目标地点；
路线；
估计时间；或者
绕行道路。


13.根据权利要求1所述的方法，其中，所述车辆的所述情境数据包括与所述车辆的环境相关联的一个或更多个度量，并且其中，与所述车辆的环境相关联的所述一个或更多个度量包括：
与另一车辆的距离；
与另一车辆的相对速度；
与行人的距离；
与行人的相对速度；
交通信号状态；
与交通信号的距离；
与交叉路口的距离；
道路标志；
与道路标志的距离；
与路缘的距离；
与道路线的相对位置；
所述车辆的视野中的对象；
交通状态；
另一车辆...

【专利技术属性】
技术研发人员：罗曼·克莱门特，海伦·露丝·卢里，萨米·奥马里，
申请(专利权)人：莱夫特公司，
类型：发明
国别省市：美国;US