本发明专利技术公开了一种车上数据清理方法、装置、电子设备及存储介质，用于解决现有的车上数据清理方法质量差的技术问题。本发明专利技术包括：读取车辆状态日志文件；采用所述自动驾驶状态过滤规则表和所述车辆状态日志文件生成过滤表；获取bag文件；采用所述过滤表过滤所述bag文件，得到目标bag文件，并删除所述bag文件。并删除所述bag文件。并删除所述bag文件。
【技术实现步骤摘要】
一种车上数据清理方法、装置、电子设备及存储介质
[0001]本专利技术涉及数据清理
，尤其涉及一种车上数据清理方法、装置、电子设备及存储介质。
技术介绍
[0002]当前，自动驾驶和数据闭环结合在一起成为一大解决方案，原因是自动驾驶工程已经被认可是一个解决数据分布“长尾问题”的任务，时而出现的corner case(极端情况)是对数据驱动的算法模型进行升级的来源之一。
[0003]构成这个自动驾驶数据闭环的核心技术和模块都有哪些呢？首先是这个自动驾驶的算法和模块是数据驱动的，其次源源不断的数据需要有合理有效的方法去利用。
[0004]在数据侧，围绕海量和高质量两个要素进行样本收集。理想的数据收集包含实车数据和仿真数据，实车数据量＝实车数量*采集时间。
[0005]而自动驾驶的实车数据一般都是保存在bag文件中，其中收集了各个模块的topic数据，比如激光雷达和摄像头采集的数据帧，点云采集的数据帧，车辆底盘的状态等等。而bag文件的数据量是很大的，根据实测经验，bag文件一般都是每分钟几个GB，以每分钟2GB的数据量为例，以无人配送为例，每辆车每天大概运行10小时(包括泊车、上货、卸货时间)，大概的数据量就在1.2TB左右。
[0006]在现有技术中，一般都是先将全部数据保存下来，然后再裁剪某个时段数据，或者某些topic数据，从而减少数据量，但这种方式相对机械化，而且筛选出来的数据质量并不高，除了可能存在大量不关注的数据，还可能丢失重要数据，因此，需要人为干预，以提高数据清理后的质量。
技术实现思路
[0007]本专利技术提供了一种车上数据清理方法、装置、电子设备及存储介质，用于解决现有的车上数据清理方法质量差的技术问题。
[0008]本专利技术提供了一种车上数据清理方法，应用于自动驾驶系统；所述自动驾驶系统存储有自动驾驶状态过滤规则表；所述方法包括：
[0009]读取车辆状态日志文件；
[0010]采用所述自动驾驶状态过滤规则表和所述车辆状态日志文件生成过滤表；
[0011]获取bag文件；
[0012]采用所述过滤表过滤所述bag文件，得到目标bag文件，并删除所述bag文件。
[0013]可选地，所述采用所述自动驾驶状态过滤规则和所述车辆状态日志文件生成过滤表的步骤，包括：
[0014]从所述车辆状态日志文件中读取未处理的车辆状态日志；
[0015]在所述自动驾驶状态过滤规则表中匹配所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则；
[0016]若匹配成功，采用所述目标自动驾驶状态过滤规则和所述未处理的车辆状态日志生成过滤表记录；
[0017]判断所述车辆状态日志文件中是否存在未处理的车辆状态日志；
[0018]若是，返回从所述车辆状态日志文件中读取未处理的车辆状态日志的步骤；
[0019]若否，采用所有所述过滤表记录生成过滤表。
[0020]可选地，所述自动驾驶状态过滤规则表中记录有多条自动驾驶状态过滤规则；所述在所述自动驾驶状态过滤规则表中匹配所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则的步骤，包括：
[0021]从所述未处理的车辆状态日志中获取状态变化前的第一初始状态和状态变化后的第一目标状态；
[0022]从所述自动驾驶状态过滤规则中获取第二初始状态和第二目标状态；
[0023]将第二初始状态与所述第一初始状态相同、且第二目标状态与所述第二目标状态相同的自动驾驶状态过滤规则确定为所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则。
[0024]可选地，还包括：
[0025]若在所述自动驾驶状态过滤规则表中匹配不到所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则，则将所述未处理的车辆状态日志确定为已处理的车辆状态日志，并返回从所述车辆状态日志文件中读取未处理的车辆状态日志的步骤。
[0026]可选地，所述采用所述目标自动驾驶状态过滤规则和所述未处理的车辆状态日志生成过滤表记录的步骤，包括：
[0027]从所述未处理的车辆状态日志中获取切换时间；
[0028]从所述目标自动驾驶状态过滤规则中获取采集开始时间、采集结束时间和采集列表；
[0029]采用所述切换时间和所述采集开始时间计算开始时间；
[0030]采用所述切换时间和所述采集结束时间计算结束时间；
[0031]采用所述开始时间、所述结束时间和所述采集列表生成过滤表记录。
[0032]本专利技术还提供了一种车上数据清理装置，应用于自动驾驶系统；所述自动驾驶系统存储有自动驾驶状态过滤规则表；所述装置包括：
[0033]车辆状态日志文件读取模块，用于读取车辆状态日志文件；
[0034]过滤表生成模块，用于采用所述自动驾驶状态过滤规则表和所述车辆状态日志文件生成过滤表；
[0035]bag文件获取模块，用于获取bag文件；
[0036]过滤模块，用于采用所述过滤表过滤所述bag文件，得到目标bag文件，并删除所述bag文件。
[0037]可选地，所述过滤表生成模块，包括：
[0038]未处理的车辆状态日志读取子模块，用于从所述车辆状态日志文件中读取未处理的车辆状态日志；
[0039]匹配子模块，用于在所述自动驾驶状态过滤规则表中匹配所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则；
[0040]过滤表记录生成子模块，用于若匹配成功，采用所述目标自动驾驶状态过滤规则和所述未处理的车辆状态日志生成过滤表记录；
[0041]判断子模块，用于判断所述车辆状态日志文件中是否存在未处理的车辆状态日志；
[0042]第一返回子模块，用于若是，返回从所述车辆状态日志文件中读取未处理的车辆状态日志的步骤；
[0043]过滤表生成子模块，用于若否，采用所有所述过滤表记录生成过滤表。
[0044]可选地，所述自动驾驶状态过滤规则表中记录有多条自动驾驶状态过滤规则；所述匹配子模块，包括：
[0045]第一初始状态和第一目标状态获取单元，用于从所述未处理的车辆状态日志中获取状态变化前的第一初始状态和状态变化后的第一目标状态；
[0046]第二初始状态和第二目标状态获取单元，用于从所述自动驾驶状态过滤规则中获取第二初始状态和第二目标状态；
[0047]目标自动驾驶状态过滤规则确定单元，用于将第二初始状态与所述第一初始状态相同、且第二目标状态与所述第二目标状态相同的自动驾驶状态过滤规则确定为所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则。
[0048]本专利技术还提供了一种电子设备，所述设备包括处理器以及存储器：
[0049]所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0050]所述处理器用于根据所述程序代码中的指令执行如上任一项所述的车上数据清理方法。
[0051]本专利技术还提供本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种车上数据清理方法，其特征在于，应用于自动驾驶系统；所述自动驾驶系统存储有自动驾驶状态过滤规则表；所述方法包括：读取车辆状态日志文件；采用所述自动驾驶状态过滤规则表和所述车辆状态日志文件生成过滤表；获取bag文件；采用所述过滤表过滤所述bag文件，得到目标bag文件，并删除所述bag文件。2.根据权利要求1所述的方法，其特征在于，所述采用所述自动驾驶状态过滤规则和所述车辆状态日志文件生成过滤表的步骤，包括：从所述车辆状态日志文件中读取未处理的车辆状态日志；在所述自动驾驶状态过滤规则表中匹配所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则；若匹配成功，采用所述目标自动驾驶状态过滤规则和所述未处理的车辆状态日志生成过滤表记录；判断所述车辆状态日志文件中是否存在未处理的车辆状态日志；若是，返回从所述车辆状态日志文件中读取未处理的车辆状态日志的步骤；若否，采用所有所述过滤表记录生成过滤表。3.根据权利要求2所述的方法，其特征在于，所述自动驾驶状态过滤规则表中记录有多条自动驾驶状态过滤规则；所述在所述自动驾驶状态过滤规则表中匹配所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则的步骤，包括：从所述未处理的车辆状态日志中获取状态变化前的第一初始状态和状态变化后的第一目标状态；从所述自动驾驶状态过滤规则中获取第二初始状态和第二目标状态；将第二初始状态与所述第一初始状态相同、且第二目标状态与所述第二目标状态相同的自动驾驶状态过滤规则确定为所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则。4.根据权利要求2所述的方法，其特征在于，还包括：若在所述自动驾驶状态过滤规则表中匹配不到所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则，则将所述未处理的车辆状态日志确定为已处理的车辆状态日志，并返回从所述车辆状态日志文件中读取未处理的车辆状态日志的步骤。5.根据权利要求2所述的方法，其特征在于，所述采用所述目标自动驾驶状态过滤规则和所述未处理的车辆状态日志生成过滤表记录的步骤，包括：从所述未处理的车辆状态日志中获取切换时间；从所述目标自动驾驶状态过滤规则中获取采集开始时间、采集结束时间和采集列表；采用所述切换时间和所述采集开始时间计算开始时间；采用所述切换时间和所述采集结束时间计算结束时间；采用所述开始时间、所述结束时间和所述采集列表生成...
【专利技术属性】
技术研发人员：何旭，
申请(专利权)人：白犀牛智达北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。