一种数据处理方法和装置制造方法及图纸

本发明专利技术公开了一种数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：监测可行驶设备的自动驾驶数据，确定监测到的自动驾驶数据的第一数据级别和第一时间区间；将产生时刻在第一时间区间内的自动驾驶数据的数据信息与第一数据级别对应存储在数据信息表中；当执行数据删除时，根据数据信息表中数据级别和对应的数据信息中的产生时刻，按预设的删除顺序逐一删除自动驾驶数据，直到数据存储空间满足预设要求。该实施方式能以精简便捷的方式定时维护数据与磁盘状态，减少冗余数据产生的网络需求与磁盘压力，有条件地保留或删除数据，兼容不同容量磁盘，满足自动驾驶场景处理需求，提高该场景中数据处理的自动化程度。

A data processing method and device

【技术实现步骤摘要】
一种数据处理方法和装置
本专利技术涉及计算机
，尤其涉及一种数据处理方法和装置。
技术介绍
每台可行驶设备(例如自动驾驶车辆)在日常测试或运营过程中会产生大量数据，例如源数据、中间数据等，这些数据使得可行驶设备(车端)磁盘容量面临较大压力。如不及时处理车端数据，将会造成数据丢失、磁盘报错等局面。自动驾驶车端产生的数据存储在磁盘上，虽然可挂载大容量的硬盘，但使用和维护大容量硬盘中的数据也多有不便。例如，打满时如采用更换硬盘的方式，则硬盘需获得物理空间的转移才能到达使用者手中；而采用清理磁盘空间的方式，若磁盘空间容量大，则累计的历史数据较多，清理时间较长，若磁盘空间容量较小，则可能遗漏、丢失或无法获得相应的场景数据，十分不便。另外，大批量上传数据则对网络、流量要求较高，数据量大时上传时间较长，由于可行驶设备常处于移动状态，即使装载流量卡，网络状态也不完全稳定，且对流量要求较大，不适于大量数据的传输。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：数据维护不便，对网络需求较大，不能有效减少可行驶设备的磁盘压力，无法满足自动驾驶场景的数据处理需求。
技术实现思路
有鉴于此，本专利技术实施例提供一种数据处理方法和装置，能够以精简、便捷的方式定时维护数据与磁盘状态，减少冗余数据产生的网络需求与磁盘压力，有条件地保留或删除数据，可兼容不同容量的磁盘，满足自动驾驶场景的数据处理需求，提高自动驾驶场景中数据处理的自动化程度。为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据处理方法。一种数据处理方法，包括：监测可行驶设备在各时刻产生的自动驾驶数据，每当监测到所述自动驾驶数据后，确定监测到的自动驾驶数据的第一数据级别和第一时间区间，所述第一时间区间包括第一时刻，所述第一时刻为所述监测到的自动驾驶数据的产生时刻；将产生时刻在所述第一时间区间内的所述自动驾驶数据的数据信息与所述第一数据级别对应存储在数据信息表中，所述数据信息包括对应的所述自动驾驶数据的产生时刻和存储路径；当执行数据删除时，根据所述数据信息表中的数据级别和对应的所述数据信息中的所述自动驾驶数据的产生时刻，按照预设的删除顺序逐一删除所述存储路径下的所述自动驾驶数据，直到所述可行驶设备的数据存储空间满足预设要求时，停止所述数据删除的操作。可选地，确定所述监测到的自动驾驶数据的第一数据级别的步骤包括：确定所述监测到的自动驾驶数据的来源模块，所述来源模块为所述可行驶设备上自动驾驶程序中的功能模块；根据所述来源模块的处理逻辑，对所述监测到的自动驾驶数据进行预设处理，并根据得到的处理结果确定所述监测到的自动驾驶数据的第一数据级别。可选地，确定所述监测到的自动驾驶数据的第一时间区间的步骤包括：以所述第一时刻之前的第一选定时间点和所述第一时刻之后的第二选定时间点构成的时间区间作为待定时间区间；在级别区间表中查找是否存在与所述待定时间区间存在交集的目标时间区间，所述级别区间表用于存储各数据级别与对应的时间区间；在存在所述目标时间区间的情况下，如果所述目标时间区间对应的数据级别高于所述第一数据级别，则将所述待定时间区间与所述目标时间区间相交之外的部分作为所述第一时间区间；如果所述目标时间区间对应的数据级别低于所述第一数据级别，则将所述待定时间区间作为所述第一时间区间；如果所述目标时间区间对应的数据级别与所述第一数据级别相同，则将所述目标时间区间与所述待定时间区间的并集作为所述第一时间区间；在不存在所述目标时间区间的情况下，将所述待定时间区间作为所述第一时间区间。可选地，所述确定监测到的自动驾驶数据的第一数据级别和第一时间区间之后，还包括：在所述级别区间表中对应存储所述第一数据级别和所述第一时间区间；所述方法还包括：定时根据所述级别区间表中数据级别与时间区间的对应关系更新所述数据信息表，其中包括：轮询所述存储路径下的各所述自动驾驶数据，根据轮询到的自动驾驶数据的产生时刻所在的时间区间，确定所述轮询到的自动驾驶数据的第二数据级别，将所述轮询到的自动驾驶数据的数据信息插入所述数据信息表中与所述第二数据级别对应的数据信息的列表中。可选地，还包括：当执行数据上传时，在上传指令指定待上传的自动驾驶数据的情况下，从所述存储路径获取该指定的待上传的自动驾驶数据并上传到服务器，所述上传指令是在达到所述数据上传的触发条件时产生的；在所述上传指令未指定待上传的自动驾驶数据的情况下，根据所述数据信息表中的数据级别和对应的所述数据信息中的所述自动驾驶数据的产生时刻，按照预设的上传顺序逐一上传所述存储路径下的所述自动驾驶数据，其中，当一上传完毕的自动驾驶数据为特定数据级别时，将该上传完毕的自动驾驶数据的数据信息从所述数据信息表的第一列表删除，并添加到所述数据信息表的第二列表中，所述第一列表为所述数据信息表中与所述特定数据级别对应的数据信息的列表，所述第二列表为所述数据信息表中与优先删除级别对应的数据信息的列表，所述特定数据级别与所述优先删除级别为两种不同的数据级别，且所述特定数据级别的重要性高于所述优先删除级别。可选地，所述预设的删除顺序为：对于不同数据级别的所述自动驾驶数据，按照对应的数据级别重要性由低到高的顺序删除，且对同一数据级别的所述自动驾驶数据，按照所述产生时刻由前向后的顺序删除；所述预设的上传顺序为：对于不同数据级别的所述自动驾驶数据，按照对应的数据级别重要性由高到低的顺序上传，且对同一数据级别的所述自动驾驶数据，按照所述产生时刻由前向后的顺序上传。可选地，所述当执行数据删除时，根据所述数据信息表中的数据级别和对应的所述数据信息中的所述自动驾驶数据的产生时刻，按照预设的删除顺序逐一删除所述存储路径下的所述自动驾驶数据，包括：当执行所述数据删除时，将所述存储路径下的所述产生时刻在预设的一个或多个时间阈值之前的所述自动驾驶数据进行分步删除，其中，每步删除操作对应一个所述时间阈值，执行完所述分步删除后，在所述数据存储空间仍不满足所述预设要求的情况下，根据所述数据信息表中的数据级别和对应的所述数据信息中的产生时刻，按照预设的删除顺序逐一删除所述存储路径下的所述自动驾驶数据。根据本专利技术实施例的另一方面，提供了一种数据处理装置。一种数据处理装置，包括：标记监测单元，用于监测可行驶设备在各时刻产生的自动驾驶数据，每当监测到所述自动驾驶数据后，确定监测到的自动驾驶数据的第一数据级别和第一时间区间，所述第一时间区间包括第一时刻，所述第一时刻为所述监测到的自动驾驶数据的产生时刻；更新单元，用于将产生时刻在所述第一时间区间内的所述自动驾驶数据的数据信息与所述第一数据级别对应存储在数据信息表中，所述数据信息包括对应的所述自动驾驶数据的产生时刻和存储路径；自动删除单元，用于当执行数据删除时，根据所述数据信息表中的数据级别和对应的所述数据信息中的所述自动驾驶数据的产生时刻，按照预设的删除顺序逐一删除所述存储路径下的所述自动驾驶数据，直到所述可行驶设备的数据存储空间满足预设要求时，停止所述数据删除的操作。可选地，所述标记监测单本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n监测可行驶设备在各时刻产生的自动驾驶数据，每当监测到所述自动驾驶数据后，确定监测到的自动驾驶数据的第一数据级别和第一时间区间，所述第一时间区间包括第一时刻，所述第一时刻为所述监测到的自动驾驶数据的产生时刻；/n将产生时刻在所述第一时间区间内的所述自动驾驶数据的数据信息与所述第一数据级别对应存储在数据信息表中，所述数据信息包括对应的所述自动驾驶数据的产生时刻和存储路径；/n当执行数据删除时，根据所述数据信息表中的数据级别和对应的所述数据信息中的所述自动驾驶数据的产生时刻，按照预设的删除顺序逐一删除所述存储路径下的所述自动驾驶数据，直到所述可行驶设备的数据存储空间满足预设要求时，停止所述数据删除的操作。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
监测可行驶设备在各时刻产生的自动驾驶数据，每当监测到所述自动驾驶数据后，确定监测到的自动驾驶数据的第一数据级别和第一时间区间，所述第一时间区间包括第一时刻，所述第一时刻为所述监测到的自动驾驶数据的产生时刻；
将产生时刻在所述第一时间区间内的所述自动驾驶数据的数据信息与所述第一数据级别对应存储在数据信息表中，所述数据信息包括对应的所述自动驾驶数据的产生时刻和存储路径；
当执行数据删除时，根据所述数据信息表中的数据级别和对应的所述数据信息中的所述自动驾驶数据的产生时刻，按照预设的删除顺序逐一删除所述存储路径下的所述自动驾驶数据，直到所述可行驶设备的数据存储空间满足预设要求时，停止所述数据删除的操作。


2.根据权利要求1所述的方法，其特征在于，确定所述监测到的自动驾驶数据的第一数据级别的步骤包括：
确定所述监测到的自动驾驶数据的来源模块，所述来源模块为所述可行驶设备上自动驾驶程序中的功能模块；
根据所述来源模块的处理逻辑，对所述监测到的自动驾驶数据进行预设处理，并根据得到的处理结果确定所述监测到的自动驾驶数据的第一数据级别。


3.根据权利要求1或2所述的方法，其特征在于，确定所述监测到的自动驾驶数据的第一时间区间的步骤包括：
以所述第一时刻之前的第一选定时间点和所述第一时刻之后的第二选定时间点构成的时间区间作为待定时间区间；
在级别区间表中查找是否存在与所述待定时间区间存在交集的目标时间区间，所述级别区间表用于存储各数据级别与对应的时间区间；
在存在所述目标时间区间的情况下，如果所述目标时间区间对应的数据级别高于所述第一数据级别，则将所述待定时间区间与所述目标时间区间相交之外的部分作为所述第一时间区间；如果所述目标时间区间对应的数据级别低于所述第一数据级别，则将所述待定时间区间作为所述第一时间区间；如果所述目标时间区间对应的数据级别与所述第一数据级别相同，则将所述目标时间区间与所述待定时间区间的并集作为所述第一时间区间；
在不存在所述目标时间区间的情况下，将所述待定时间区间作为所述第一时间区间。


4.根据权利要求3所述的方法，其特征在于，所述确定监测到的自动驾驶数据的第一数据级别和第一时间区间之后，还包括：在所述级别区间表中对应存储所述第一数据级别和所述第一时间区间；
所述方法还包括：
定时根据所述级别区间表中数据级别与时间区间的对应关系更新所述数据信息表，其中包括：轮询所述存储路径下的各所述自动驾驶数据，根据轮询到的自动驾驶数据的产生时刻所在的时间区间，确定所述轮询到的自动驾驶数据的第二数据级别，将所述轮询到的自动驾驶数据的数据信息插入所述数据信息表中与所述第二数据级别对应的数据信息的列表中。


5.根据权利要求1所述的方法，其特征在于，还包括：
当执行数据上传时，在上传指令指定待上传的自动驾驶数据的情况下，从所述存储路径获取该指定的待上传的自动驾驶数据并上传到服务器，所述上传指令是在达到所述数据上传的触发条件时产生的；
在所述上传指令未指定待上传的自动驾驶数据的情况下，根据所述数据信息表中的数据级别和对应的所述数据信息中的所述自动驾驶数据的产生时刻，按照预设的上传顺序逐一上传所述存储路径下的所述自动驾驶数据，其中，当一上传完毕的自动驾驶数据为特定数据级别时，将该上传完毕的自动驾驶数据的数据信息从所述数据信息表的第一列表删除，并添加到所述数据信息表的第二列表中，所述第一列表为所述数据信息表中与所述特定数据级别对应的数据信息的列表，所述第二列表为所述数据信息表中与优先删除级别对应的数据信息的列表，所述特定数据级别与所述优先删除级别为两种不同的数据级别，且所述特定数据级别的重要性高于所述优先删除级别。


6.根据权利要求5所述的方法，其特征在于，所述预设的删除顺序为：对于不同数据级别的所述自动驾驶数据，按照对应的数据级别重要性由低到高的顺序删除，且对同一数据级别的所述自动驾驶数据，按照所述产生时刻由前向后的顺序删除；
所述预设的上传顺序为：对于不同数据级别的所述自动驾驶数据，按照对应的数据级别重要性由高到低的顺序上传，且对同一数据级别的所述自动驾驶数据，按照所述产生时刻由前向后的顺序上传。


7.根据权利要求1所述的方法，其特征在于，所述当执行数据删除时，根据所述数据信息表中的数据级别和对应的所述数据信息中的所述自动驾驶数据的产生时刻，按照预设的删除顺序逐一删除所述存储路径下的所述自动驾驶数据，包括：
当执行所述数据删除时，将所述存储路径下的所述产生时刻在预设的一个或多个时间阈值之前的所述自动驾驶数据进行分步删除，其中，每步删除操作对应一个所述时间阈值，执行完所述分步删除后，在所述数据存储空间仍不满足所述预设要求的情况下，根据所述数据信息表中的数据级别和对...

【专利技术属性】
技术研发人员：李春晓，潘余昌，王建伟，
申请(专利权)人：北京京东乾石科技有限公司，
类型：发明
国别省市：北京;11