多并发的数据处理方法和装置制造方法及图纸

本发明专利技术公开了一种多并发的数据处理方法和装置。其中，该方法包括：获取车辆采集到的路测数据；将路测数据进行分解，生成多个待并行处理的车辆工作任务，其中，车辆工作任务为控制车辆按照指定的控制指令工作的任务；将多个待并行处理的车辆工作任务提交至容器集群管理器，其中，容器集群管理器用于编排和调度服务器集群中的计算资源；通过容器集群管理器调度多个处理容器分别对每个待并行处理的车辆工作任务进行并行处理，生成处理结果，其中，每个处理容器具有一组所述计算资源，计算资源用于处理车辆工作任务。本发明专利技术解决了现有技术中无法充分利用硬件资源进行高并发任务处理的技术问题。技术问题。技术问题。

【技术实现步骤摘要】
多并发的数据处理方法和装置


[0001]本专利技术涉及车辆领域，具体而言，涉及一种多并发的数据处理方法和装置。

技术介绍

[0002]目前，需要及时通过使用海量高质量数据对不同模块进行训练，才能实现不断优化自动驾驶系统。
[0003]在相关技术中，一方面硬件资源不可能无限扩充，另一方面自动驾驶车每天所采集的数据又在急速增加，一辆车每秒就会采集到700MB数据，一天下来数据量将会达到10T级别，同时算法迭代速度又取决于高质量数据的产生速度，所以如果不能及时对路测采集数据进行处理，就会极大地影响自动驾驶系统的优化速度，而现有的处理逻辑仍存在无法充分利用硬件资源进行高并发任务处理的问题。
[0004]针对上述现有技术中无法充分利用硬件资源进行高并发任务处理的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种多并发的数据处理方法和装置，以至少解决现有技术中无法充分利用硬件资源进行高并发任务处理的技术问题。
[0006]根据本专利技术实施例的一个方面，提供了一种多并发的数据处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多并发的数据处理方法，其特征在于，包括：获取车辆采集到的路测数据；将所述路测数据进行分解，生成多个待并行处理的车辆工作任务，其中，所述车辆工作任务为控制车辆按照指定的控制指令工作的任务；将所述多个待并行处理的车辆工作任务提交至容器集群管理器，其中，所述容器集群管理器用于编排和调度服务器集群中的计算资源；通过所述容器集群管理器调度多个处理容器分别对每个待并行处理的车辆工作任务进行并行处理，生成处理结果，其中，每个所述处理容器具有一组所述计算资源，所述计算资源用于处理所述车辆工作任务。2.根据权利要求1所述的方法，其特征在于，所述服务器集群包括多台服务器，按照所述服务器集群的计算资源的数量划分得到对应数量的所述处理容器，所述计算资源至少包括：处理器资源和存储资源，其中，所述服务器集训部署有至少一主服务器和至少一个从服务器，所述容器集群管理器安装在所述主服务器上，用于监控所述从服务器的工作状态。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：创建所述容器集群管理器的任务处理程序，其中，所述任务处理程序用于按照预设参数确定需要调取的所述处理容器的数量；将所述任务处理程序进行封装，构建任务处理镜像；基于所述任务处理镜像，构建所述车辆工作任务运行时所需的容器，其中，所述容器包括：用于进行调度管理的管理容器和用于运行任务的处理容器。4.根据权利要求3所述的方法，其特征在于，通过所述容器集群管理器调度多个处理容器分别对每个待并行处理的车辆工作任务进行并行处理，包括：接收到所述多个待并行处理的车辆工作任务，调度至少一个管理容器和与所述车辆工作任务数量相同的所述处理容器；每个所述管理容器将对应所述车辆工作任务分发到指定的处理容器；启动所述处理容器，每个所述处理容器分别对分配来的所述车辆工作任务进行运行。5.根据权利要求4所述的方法，其特征在于，在每个所述处理容器分别对分配来的所述车辆工作任务进行运行之后，所述方法还包括：合并每个所述车辆工作任务的子运行结果，生成所述处理结果；将所述处理结果存储至预定的数据库，其中，所述数据库为允许交互查询的数据库。6.一种多并发的数据处理装置，其特征在于，...

【专利技术属性】
技术研发人员：王振东，张伟德，朱军，刘坤鹏，郑朝友，段锐，孙建蕾，任思阳，葛绍亮，刘加银，
申请(专利权)人：中国第一汽车股份有限公司，
类型：发明
国别省市：