数据处理方法、装置、车辆、存储介质及芯片制造方法及图纸

本公开涉及一种数据处理方法、装置、车辆、存储介质及芯片，属于自动驾驶领域，所述方法包括：通过拓扑排序确定计算图中目标数据处理节点依赖的至少一个目标数据加载节点，所述目标数据处理节点为所述计算图中的任意一个或多个数据处理节点，所述计算图是一个有向无环图，包括多个节点，所述多个节点包括数据加载节点以及数据处理节点；响应于确定所述目标数据加载节点将目标数据加载至缓存，调用所述目标数据处理节点；通过所述目标数据处理节点对所述缓存中的所述目标数据进行数据处理，得到数据处理结果。数据处理结果。数据处理结果。

【技术实现步骤摘要】
数据处理方法、装置、车辆、存储介质及芯片


[0001]本公开涉及自动驾驶领域，尤其涉及数据处理方法、装置、车辆、存储介质及芯片。

技术介绍

[0002]在车辆自动驾驶过程中以及自动驾驶研发过程中，会采集海量的数据需要对这些数据进行处理以高效的筛选和利用。在相关技术中，会将这些数据从分布式文件系统或者非临时性存储介质中读取，并输入若干个模型，然后进行数据处理，在多模型推理的过程中同一份数据可能会输入多个模型，在海量数据的场景下，同一份数据的反复读取极大的影响了整体的数据处理效率。

技术实现思路

[0003]为克服相关技术中存在的问题，本公开提供一种数据处理方法、装置、车辆、存储介质及芯片。
[0004]根据本公开实施例的第一方面，提供一种数据处理方法，所述方法包括：通过拓扑排序确定计算图中目标数据处理节点依赖的至少一个目标数据加载节点，所述目标数据处理节点为所述计算图中的任意一个或多个数据处理节点，所述计算图是一个有向无环图，包括多个节点，所述多个节点包括数据加载节点以及数据处理节点；响应于确定所述目标数据加载节点将目标数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：通过拓扑排序确定计算图中目标数据处理节点依赖的至少一个目标数据加载节点，所述目标数据处理节点为所述计算图中的任意一个或多个数据处理节点，所述计算图是一个有向无环图，包括多个节点，所述多个节点包括数据加载节点以及数据处理节点；响应于确定所述目标数据加载节点将目标数据加载至缓存，调用所述目标数据处理节点；通过所述目标数据处理节点对所述缓存中的所述目标数据进行数据处理，得到数据处理结果。2.根据权利要求1所述的方法，其特征在于，所述方法包括：通过所述目标数据加载节点，将所述目标数据存储至所述缓存；并，基于所述目标数据加载节点对应的节点名以及数据标识，生成数据指针；将所述数据指针发送至所述目标数据处理节点，并确定所述目标数据加载节点将数据加载至所述缓存；所述通过所述目标数据处理节点对所述缓存中的所述目标数据进行数据处理包括：基于所述数据指针，在所述缓存中获取所述目标数据。3.根据权利要求1所述的方法，其特征在于，所述确定所述计算图中目标数据处理节点依赖的目标数据加载节点之后，包括：将所述目标数据处理节点加入待调度队列；所述响应于确定所述目标数据加载节点将目标数据加载至缓存，调用所述目标数据处理节点包括：依次扫描所述待调度队列，在扫描至所述目标数据处理节点的情况下，确定所述目标数据是否加载至所述缓存；在确定所述目标数据加载至所述缓存情况下，所述将所述目标数据处理节点加入就绪队列；依次扫描所述就绪队列，在扫描至所述目标数据处理节点的情况下，调用所述目标数据处理节点；并，在所述目标数据处理节点调用完成后，将所述目标数据处理节点加入所述待调度队列。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述计算图包括输出节点，每一所述数据处理节点均连接至所述输出节点，所述调用所述目标数据处理节点之后，包括：将所述目标数据处理节点加入计算队列；依次扫描所述计算队列，在扫描至所述目标数据处理节点的情况下，若所述目标数据处理节点处理完成，将所述目标数据处理节点的数据处理结果存储至所述缓存；并，基于所述目标数据处理节点对应的节点名以及数据标识，生成数...

【专利技术属性】
技术研发人员：谭哲越，路卫杰，褚向阳，
申请(专利权)人：小米汽车科技有限公司，
类型：发明
国别省市：