基于内存进行缓存的自动驾驶数据加载方法、系统和存储介质技术方案

本申请公开了一种基于内存进行缓存的自动驾驶数据加载方法、系统和存储介质，本申请解决了现有技术中热数据在使用时，需从硬盘中读取影响处理速度、不利于高速硬盘的使用寿命等技术问题。本申请通过查询待执行的任务，获得待执行任务所需的数据；基于高频热数据的规模，在内存中分配缓存区域；将所述高频热数据按照预设的数据格式存储在所分配的缓存区域中。通过在内存缓存设置存放高频热数据的内存区域，提高了数据处理的流水线的处理速度；本申请针对内存已满的情况提出了缓存替换的方法，同时提高内存空间的灵活性和利用率。同时提高内存空间的灵活性和利用率。同时提高内存空间的灵活性和利用率。

【技术实现步骤摘要】
基于内存进行缓存的自动驾驶数据加载方法、系统和存储介质


[0001]本申请涉及自动驾驶
，尤其涉及一种基于内存进行缓存的自动驾驶数据加载方法、系统和存储介质。

技术介绍

[0002]自动驾驶技术为提高驾乘人员的驾驶体验，依赖于人工智能算法，感知系统以及全球定位系统等多种技术。由于自动驾驶数据具有数据量庞大、数据类型丰富，数据处理的链条长等特点，自动驾驶数据存在加载效率低、存储成本高的技术问题。针对上述的技术问题，现有技术中采用的主要方式是将数据按照被访问的频次分为冷数据、温数据和热数据，按照分类存储在不同的存储介质中。
[0003]现有技术中将热数据存储在高速硬盘中，一定程度上能够提高数据的读取速度。然而热数据中被高频使用的数据，数据处理速度仍受限于高速硬盘的读取速度。如果每次使用都要从硬盘中读取不仅影响数据处理的流水线的处理速度，且不利于高速硬盘的使用寿命。

技术实现思路

[0004]有鉴于此，针对最经常使用的热数据本申请提出一种基于内存进行缓存的自动驾驶数据加载方法、系统和存储介质，在内存缓存设置存放热数据的内存区域，并针对内存已满的情况提出了缓存替换的方法，提高内存空间的灵活性和利用率。
[0005]本申请一方面提供一种基于内存的自动驾驶数据加载方法，包括：查询待执行的任务，获得待执行任务所需的目标数据；从所述目标数据中提取高频热数据并计算高频热数据的规模；基于所述高频热数据的规模，在内存中为所述高频热数据分配缓存区域；将所述高频热数据按照预设的数据格式存储在所述缓存区域中。
[0006]进一步地，所述获得待执行任务所需的目标数据还包括，判断所述待执行任务是否需要加载新数据，若否，则结束查询；若是，则查找目标数据。
[0007]进一步地，所述目标数据是根据待执行的任务在数据库中查询获得，或是场景处理模块产生的结果数据。
[0008]进一步地，所述计算高频热数据的规模进一步包括，所述目标数据可以根据以下方法至少一种判断是否为高频热数据：目标数据是否是最近获取、目标数据是否被频繁使用、目标数据是否用于并行处理；若是，则判断所述目标数据是高频热数据，并计算所述目标数据的数据规模；若否，则判断所述目标数据不是高频热数据。
[0009]进一步地，所述高频热数据按照预设的数据格式还包括：对所述高频热数据进行
预处理，以获得满足预设的数据格式标准化高频热数据；所述预设的数据格式包括：索引号、热数据优先级以及热数据关联任务ID。
[0010]进一步地，所述将所述高频热数据按照预设的数据格式存储在所分配的缓存区域中，还包括更新所述缓存区域的索引表。
[0011]进一步地，所述更新所述缓存区域的索引表是基于更新顺序进行更新，其中，所述更新顺序是基于所述高频热数据的使用频次和紧急程度决定，所述紧急程度是由所述高频热数据关联任务的优先级决定。
[0012]进一步地，对于相同优先级的多个所述高频热数据，基于所述高频热数据的索引号的大小决定更新顺序，其中，所述索引号小的热数据先更新。
[0013]进一步地，当所述缓存区域已满时，对内存执行缓存替换。
[0014]进一步地，根据缓存优先级选择待释放的所述缓存区域，其中所述缓存优先级是所述热数据使用频次和关联的任务的优先级加权求和决定。
[0015]本申请另一方面还提供一种基于内存进行缓存的自动驾驶数据加载的系统20，所述系统包括处理器21和存储器22，所述存储器22用于存储计算机可执行程序，当所述计算机可执行程序被所述处理器21执行时，所述处理器21执行前述基于内存进行缓存的数据加载的方法。
[0016]本申请另一方面还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，当所述一个或多个程序被处理器执行时，实现前述任一项所述基于内存进行缓存的自动驾驶数据加载的方法。
[0017]本申请不涉及热数据本身的修改，只针对热数据的读取，解决了高频使用的热数据读取效率的问题，极大减少了热数据的访问时间，大大提高了数据的处理效率，优化了整个数据处理流程，使得自动驾驶数据处理的效率有了明显提升。
附图说明
[0018]为了使本申请实施例所解决的技术问题、采用的技术手段及取得的技术效果更加清楚，下面将参照附图详细描述本申请实施例的具体实施例。但需声明的是，下面描述的附图仅仅是本申请实施例本申请实施例示例性实施例的附图，对于本领域的技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他实施例的附图。
[0019]图1是本申请中基于内存进行缓存的自动驾驶数据加载方法的流程图；
[0020]图2是本申请中数据处理模块的工作流程；
[0021]图3本申请中基于内存进行缓存的自动驾驶数据加载方法的又一流程图；
[0022]图4是本申请中基于内存进行缓存的数据加载的自动驾驶系统的结构示意图；
[0023]附图标记：20
‑
基于内存进行缓存的数据加载的系统；21
‑
处理器；22
‑
存储器。
具体实施方式
[0024]现在将参考附图更全面地描述本申请实施例的示例性实施例。然而，示例性实施例能够以多种形式实施，且不应被理解为本申请实施例仅限于在此阐述的实施例。相反，提供这些示例性实施例能够使得本申请实施例更加全面和完整，更加便于将专利技术构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的元件、组件或部分，因
而将省略对它们的重复描述。
[0025]在符合本申请实施例的技术构思的前提下，在某个特定的实施例中描述的特征、结构、特性或其他细节不排除可以以合适的方式结合在一个或更多其他的实施例中。
[0026]在对于具体实施例的描述中，本申请实施例描述的特征、结构、特性或其他细节是为了使本领域的技术人员对实施例进行充分理解。但是，并不排除本领域技术人员可以实践本申请实施例的技术方案而没有特定特征、结构、特性或其他细节的一个或更多。
[0027]附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0028]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0029]应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但这不应受这些定语限制。这些定语乃是用以区分一者与另一者。例如，第一器件亦可称为第二器件而不偏离本申请实施例实质的技术方案。
[0030]术语“和/或”或者“及/或”包括相关联的列出项目中的任一个及一或多者的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于内存进行缓存的自动驾驶数据加载方法，其特征在于，包括：查询待执行的任务，获得待执行任务所需的目标数据；从所述目标数据中提取高频热数据并计算高频热数据的规模；基于所述高频热数据的规模，在内存中为所述高频热数据分配缓存区域；将所述高频热数据按照预设的数据格式存储在所述缓存区域中。2.如权利要求1所述的基于内存进行缓存的自动驾驶数据加载方法，其特征在于，所述获得待执行任务所需的目标数据还包括，判断所述待执行任务是否需要加载新数据，若否，则结束查询；若是，则查找目标数据。3.如权利要求2所述的基于内存进行缓存的自动驾驶数据加载方法，其特征在于，所述目标数据是根据待执行的任务在数据库中查询获得，或是场景处理模块产生的结果数据。4.如权利要求1所述的基于内存进行缓存的自动驾驶数据加载方法，其特征在于，所述计算高频热数据的规模进一步包括，可以根据以下方法至少一种判断所述目标数据是否为高频热数据：所述目标数据是否是最近获取、所述目标数据是否被频繁使用、所述目标数据是否用于并行处理；若是，则判断所述目标数据是高频热数据，并计算所述目标数据的数据规模；若否，则判断所述目标数据不是高频热数据。5.如权利要求1所述的基于内存进行缓存的自动驾驶数据加载方法，其特征在于，所述高频热数据按照预设的数据格式存储在所述缓存区域中至少包括：对所述高频热数据进行预处理，以获得标准化高频热数据；所述预设的数据格式包括：索引号、热数据优先级以及热数据关联任务ID。6.如权利要求5所述的基于内存进行缓存的自动驾驶数据加载方法，其特征在于，所述将所述高频热数据按照预设的数据格式存...

【专利技术属性】
技术研发人员：周鹏，
申请(专利权)人：北京宾理信息科技有限公司，
类型：发明
国别省市：