【技术实现步骤摘要】
本公开涉及操作数据记录设备的方法和操作数据记录系统的方法。
技术介绍
1、在用于交通工具的自主驾驶(ad)或高级驾驶员辅助系统(adas)应用的现代数据记录会话中，相应数据记录设备记录了过多的数据。记录的数据中有很大一部分可能是冗余的，并不提供任何增值。尽管如此，这些数据仍被记录和存储下来。这会产生显著的成本，既有可见的成本，如存储成本，也有隐藏成本，例如，审查和过滤不相关数据的工程努力。
2、因此，需要一种高效且成本效益高的数据记录方法，该方法省略冗余数据的记录。
技术实现思路
1、本公开在第一方面和第二方面中提供了根据独立权利要求的一种操作数据记录设备的计算机实现的方法。在从属权利要求、说明书和附图中给出了实施例。
2、在第一方面中，本公开涉及一种操作用于交通工具的自主驾驶(ad)或高级驾驶员辅助系统(adas)应用的数据记录设备的计算机实现的方法，数据记录设备包括：数据日志单元、计算单元、存储单元以及包括至少一个相关性确定模块的相关性确定单元，存储单元包括循环缓冲器和持久存储区域，其中，方法包括以下步骤：数据日志单元和计算单元检取特别是由交通工具内传感器获取的传感器数据；数据日志单元将传感器数据存储在循环缓冲器中；计算单元分析传感器数据，并且使用传感器数据从检取到的传感器数据中导出感知结果和/或神经网络嵌入；相关性确定单元检取并存储感知结果和/或神经网络嵌入；相关性确定单元判定检取到的感知结果和/或神经网络嵌入被认为是相关还是不相关的；在与所述传感器数
3、本公开提供了一种用于基于相关性的数据记录的方法，该方法使用有监督和/或无监督的先验来进行相关性确定。该方法提供了一种高效且成本效益高的用于记录数据的方式，该方式非常灵活并且易于适应不同的应用。
4、在典型的数据记录会话中，数据在配备有用于数据获取的传感器的交通工具在不同环境中行驶时被收集。所获取的数据可以包括关于周围环境和主系统的信息，并且可以包括相关对象的列表，例如，在外部感知ad或adas背景中的道路使用者和交通标志的检测列表或内部ad或adas背景中检测到的乘客列表。主系统上的信息可以包括例如来自自身交通工具的速度和偏航速率以及类似的参数。
5、在数据记录会话期间，数据由附接到交通工具或作为交通工具的一部分的数据记录设备收集。传感器提供原始传感器数据，例如相机图像、激光雷达点云或gps测量。原始传感器数据(例如，通过使用vigem记录器)被传送到数据日志单元。数据日志单元将数据连续地传送到存储单元内的循环缓冲器。新获取的数据连续地进入循环缓冲器，一旦循环缓冲器的存储器已满，就会覆盖存储在循环缓冲器中的最旧的数据。取决于特定的记录需求，典型的缓冲器大小可能在1到5分钟的连续数据记录范围内。
6、在数据获取阶段的过程中，循环缓冲器中所获取的数据中的一些数据可以被认为是相关的。如果被认为是相关的，则特定的数据被移动到存储单元内的持久存储区域，或替代地，被标记为属于持久存储区域以进行永久存储。因此，防止了持久存储区域内的数据稍后被进入循环缓冲器的较新数据覆盖。
7、为了能够基于相关性来判定要记录哪些数据，即，要将哪些数据保留在持久存储区域中，计算单元连续地处理传入的原始传感器数据，从传感器数据中提供感知结果和/或神经网络嵌入。
8、感知结果可以包括关于周围环境和主系统的信息，并且可以包括相关对象的列表，例如，道路使用者和交通标志的检测列表或检测到的乘客的列表。主系统上的信息可以包括例如来自自身交通工具的速度和偏航速率以及类似的参数。
9、神经网络通常用于在典型的ad或adas分类方案中执行检测、分类或分割任务。神经网络嵌入，在下文中也被称为嵌入或嵌入向量，涉及神经网络的信号处理链内的中间处理步骤。在数学术语中，嵌入是表示输入数据到高维神经网络潜在空间中的投影的n维向量。在这方面，嵌入向量是神经网络背景下输入数据的抽象表示。该嵌入向量表示因此可以用于评估观察和收集的传感器数据的新颖性或独特性。映射到相似嵌入的输入传感器数据将比映射到独特、之前尚未观察到的向量嵌入的输入数据的新颖性更低。
10、计算单元将其感知结果和/或神经网络嵌入传送到相关性确定单元。相关性确定单元可以包括相关性状态模块和一个或多个独立的相关性确定模块。相关性确定单元可以集成在计算单元中或可以是单独的部件。每个相关性确定模块可以认为传入数据是相关的还是不相关的。如果独立的相关性确定模块中的一个相关性确定模块认为特定的传入传感器数据是相关的，则相关性状态模块将该传感器数据的状态从不相关更改为相关。这会触发相应传感器数据从循环缓冲器到持久存储区域的传输，并且保护该传感器数据在后续时间不会被覆盖。
11、如果在任何时间，至少一个相关性确定模块认为特定的传感器数据是相关的，那么该数据将被记录并且从循环缓冲器传输到持久存储区域。传输到持久存储区域的数据可以包括在相关性判定之前的偏移时间期间获取的数据。在相关性判定之前的偏移时间期间获取的数据将因此是记录数据的一部分，并且也将保留在持久存储区域中。偏移时间可以是灵活的，并且可以选择性地进行选择。偏移时间可以因此在不同的相关性模块之间改变，并且还可以取决于特定的记录数据。
12、只要至少一个相关性确定模块保持在相关状态，数据记录就会继续。由此，所有相应的标签和元信息可以附加到相应的数据记录中，如下所述。
13、当相关性确定模块从不相关转变为相关时，它可以用附加信息来增强这一判定，诸如指示为什么特定传感器数据被认为是相关的标签。附加信息还可以包括附加的元信息和包括在特定传感器数据的记录中的偏移时间长度。当相关性模块从不相关转变为相关时，可以记录元数据来记录相应相关性确定模块的内部推理。当相关性确定模块从不相关转变为相关时，可能会提示人类观察者同意或不同意该判定。以这种方式收集的反馈可以被馈送回数据记录设备，以改进和/或微调各个阈值或触发器的阈值。
14、如果所有相关性确定模块都转变为不相关状态，则在相关性确定模块中的至少一个已经请求了某个记录后(post-recording)时间跨度的情况下，记录继续进行。如果所有相关性确定模块都转变为不相关状态，并且任何相关性确定模块均未请求额外的记录后时间，则记录(即数据从循环缓冲器到持久存储区域的传输)停止。记录长度因此取决于由至少一个相关性确定模块中的每一个相关性确定模块提供的相关性判定。因此，记录没有固定的大小，而是具有灵活的长度。
15、根据第一方面的实施例，至少一个相关性确定模块通过将预定义规则集应用于检取到的感知结果，来判定检取到的感知结果和/或神经网络嵌入被认为是相关还是不相关的。
16、预定义数据集可以包括，例如，检测到的某一类别的对象(如摩托车或行人)的数本文档来自技高网...
【技术保护点】
1.一种操作用于交通工具的自主驾驶AD或高级驾驶员辅助系统ADAS应用的数据记录设备(10)的方法，所述数据记录设备(10)包括：
2.如权利要求1所述的方法，其特征在于，所述至少一个相关性确定模块(20)通过将预定义规则集应用于所述检取到的感知结果，来判定所述检取到的感知结果和/或神经网络嵌入被认为是相关还是不相关的。
3.如权利要求1所述的方法，所述方法包括以下附加步骤：所述计算单元(14)特别是通过主成分分析PCA来降低所述神经网络嵌入的维度；所述计算单元(14)将经降维的神经网络嵌入传送到所述相关性确定单元(18)；以及所述相关性确定单元(18)基于所述经降维的神经网络嵌入来判定所述相关性。
4.如权利要求1至3中的任一项所述的方法，其特征在于，所述数据记录设备(10)进一步包括提供有显示器和触摸面板的显示单元(22)，并且其中，所述方法包括以下附加步骤：所述计算单元(14)将所述感知结果传送到所述显示单元(22)；所述显示单元(22)在所述显示器上显示所述感知结果；所述显示单元识别所述触摸面板上的响应于所述显示器上显示的所述感知结果的
5.如权利要求1至3中的任一项所述的方法，其特征在于，所述方法包括以下附加步骤：所述计算单元(14)接收基于文本的用户查询；所述计算单元(14)将检取到的基于文本的用户查询编码到神经网络嵌入中；所述计算单元(14)将所述神经网络嵌入传送到所述相关性确定单元(18)；以及所述至少一个相关性确定模块(20)基于从传感器数据导出的神经网络嵌入与经编码的用户查询神经网络嵌入之间的相似度度量，特别是使用余弦相似度，来判定从传感器数据导出的所述神经网络嵌入被认为是相关还是不相关的。
6.如权利要求1至3中的任一项所述的方法，其特征在于，所述至少一个相关性确定模块(20)基于所述神经网络嵌入与先前存储在所述相关性确定单元(18)中的神经网络嵌入的比较来判定所述检取到的感知结果和/或神经网络嵌入被认为是相关还是不相关的。
7.如权利要求6所述的方法，其特征在于，所述至少一个相关性确定模块(20)执行以下步骤：
8.一种操作包括数据中心(42)和多个数据记录设备(10)的系统(40)的方法，所述数据记录设备(10)被配置成用于执行如权利要求1至7中的至少一项所述的方法，并且所述数据中心(42)包括全局数据库(44)和全局相关性确定单元(46)，其中，所述方法包括以下步骤：
9.如权利要求8所述的方法，其特征在于，所述方法包括以下附加步骤：所述特定数据记录设备(10)的所述相关性确定单元(18)将所述预定义规则集和/或所述全局感知密度和/或全局嵌入密度与所述全局相关性确定单元(46)进行同步；以及所述特定数据记录设备(10)的所述相关性确定单元(18)与根据权利要求2和5至7中的至少一项所述的至少一个相关性确定模块(20)一起，通过使用所述更新的预定义规则集和/或所述全局感知密度和/或所述全局嵌入密度，来判定所述特定数据记录设备(10)的所述感知结果和/或神经网络嵌入被认为是相关的还是不相关的。
10.如权利要求8所述的方法，其特征在于，所述方法包括以下附加步骤：所述全局相关性确定单元(46)与根据权利要求2和5至7中的至少一项所述的至少一个相关性确定模块一起，通过使用所述更新的预定义规则集和/或所述全局感知密度和/或所述全局嵌入密度，来判定所述特定数据记录设备(10)的所述感知结果和/或神经网络嵌入被认为是相关还是不相关的，并且所述全局相关性确定单元(46)将所述相关性判定传送到所述特定数据记录设备(10)的所述相关性确定单元(18)。
11.如权利要求8所述的方法，其特征在于，所述数据中心(42)进一步包括上传单元(48)，所述上传单元(48)查询并接收被认为是相关的并存储在所述多个数据记录设备(10)中的每一个数据记录设备(10)的所述持久存储区域(26)中的传感器数据，并且将所述数据传送到所述全局数据库(46)，特别是其中所述传感器数据是在预定时间间隔后被查询的，特别是其中所述预定时间间隔为12、24、48或72小时。
12.一种数据记录设备(10)，所述数据记录设备(10)被配置成用于执行如权利要求1至7中的至少一项所述的方法。
13.一种系统(40)，所述系统(40)被配置成用于执行如权利要求8至11中的至少一项所述的方法。
14.一种将如权利要求12所述的数据记录设备(10)用于获得基于相关性的数据集...
【技术特征摘要】
1.一种操作用于交通工具的自主驾驶ad或高级驾驶员辅助系统adas应用的数据记录设备(10)的方法，所述数据记录设备(10)包括：
2.如权利要求1所述的方法，其特征在于，所述至少一个相关性确定模块(20)通过将预定义规则集应用于所述检取到的感知结果，来判定所述检取到的感知结果和/或神经网络嵌入被认为是相关还是不相关的。
3.如权利要求1所述的方法，所述方法包括以下附加步骤：所述计算单元(14)特别是通过主成分分析pca来降低所述神经网络嵌入的维度；所述计算单元(14)将经降维的神经网络嵌入传送到所述相关性确定单元(18)；以及所述相关性确定单元(18)基于所述经降维的神经网络嵌入来判定所述相关性。
4.如权利要求1至3中的任一项所述的方法，其特征在于，所述数据记录设备(10)进一步包括提供有显示器和触摸面板的显示单元(22)，并且其中，所述方法包括以下附加步骤：所述计算单元(14)将所述感知结果传送到所述显示单元(22)；所述显示单元(22)在所述显示器上显示所述感知结果；所述显示单元识别所述触摸面板上的响应于所述显示器上显示的所述感知结果的手动用户交互；以及所述显示单元(22)在识别到所述手动用户交互时，将所述感知结果必须被认为相关的信息传送到所述相关性确定单元(18)。
5.如权利要求1至3中的任一项所述的方法，其特征在于，所述方法包括以下附加步骤：所述计算单元(14)接收基于文本的用户查询；所述计算单元(14)将检取到的基于文本的用户查询编码到神经网络嵌入中；所述计算单元(14)将所述神经网络嵌入传送到所述相关性确定单元(18)；以及所述至少一个相关性确定模块(20)基于从传感器数据导出的神经网络嵌入与经编码的用户查询神经网络嵌入之间的相似度度量，特别是使用余弦相似度，来判定从传感器数据导出的所述神经网络嵌入被认为是相关还是不相关的。
6.如权利要求1至3中的任一项所述的方法，其特征在于，所述至少一个相关性确定模块(20)基于所述神经网络嵌入与先前存储在所述相关性确定单元(18)中的神经网络嵌入的比较来判定所述检取到的感知结果和/或神经网络嵌入被认为是相关还是不相关的。
7.如权利要求6所述的方法，其特征在于，所述至少一个相关性确定模块(20)执行以下步骤：
8.一种操作包括数据中心(42)和多个数据记录设备(10)的系统(40)的方法，所...
【专利技术属性】
技术研发人员：D·穆勒，O·玛奥兹，M·阿诺德，L·罗塞科尔纳，
申请(专利权)人：安波福技术股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。