数据的处理方法和装置、存储介质及电子装置制造方法及图纸

本申请公开了一种数据的处理方法和装置、存储介质及电子装置，该数据的处理方法包括：从多个异构的数据处理工具包中获取接收到的数据处理业务所对应的一个或者多个目标工具包；创建每个目标工具包对应的初始数据处理容器，得到具有对应关系的目标工具包和初始容器集合；按照具有对应关系的目标工具包和初始容器集合，将每个目标工具包安装至对应的初始数据处理容器中，得到一个或者多个目标容器集合；按照数据处理业务通过数据处理接口调度一个或者多个目标容器集合处理目标数据，采用上述技术方案，解决了相关技术中，数据的处理的效率较低等问题。效率较低等问题。效率较低等问题。

【技术实现步骤摘要】
数据的处理方法和装置、存储介质及电子装置


[0001]本申请涉及计算机领域，具体而言，涉及一种数据的处理方法和装置、存储介质及电子装置。

技术介绍

[0002]目前，在汽车的自动驾驶领域，为了服务于算法的迭代，往往需要多样的工具对大量的数据进行脱敏、清洗、解包、组包等操作，这些工具往往分布在各个业务部门，并且使用不同的语言进行开发，上述不同的语言进行开发的异构工具在数据处理的过程中，通常需要相互调用，实现对数据的分布式计算。
[0003]在数据闭环（采集
‑
存储
‑
训练
‑
仿真
‑
评估
‑
部署）的整个流程中，工具对数据的处理非常重要，各个环节都可能有相应的工具，单个计算节点对数据处理算力不足，同时往往需要把数据提前载入到计算节点中，节点的存储能力有限，最终造成对数据的处理效率不高，并且，有的情况下，工具与工具之间也需要功能调用，如果工具的开发语言不同，互相调用就会存在很大问题，调用过程繁琐，影响数据处理的效率。
[0004]针对相关技术中，数据的处理的效率较低等问题，尚未提出有效的解决方案。

技术实现思路

[0005]本申请实施例提供了一种数据的处理方法和装置、存储介质及电子装置，以至少解决相关技术中，数据的处理的效率较低等问题。
[0006]根据本申请实施例的一个实施例，提供了一种数据的处理方法，包括：从多个异构的数据处理工具包中获取接收到的数据处理业务所对应的一个或者多个目标工具包，其中，所述数据处理业务用于请求处理目标数据，所述目标工具包用于指示实现所述数据处理业务所用到的数据处理工具；创建每个所述目标工具包对应的初始数据处理容器，得到具有对应关系的目标工具包和初始容器集合；按照具有对应关系的目标工具包和初始容器集合，将每个所述目标工具包安装至对应的初始数据处理容器中，得到一个或者多个目标容器集合，其中，所述目标容器集合中的每个目标容器上部署了数据处理接口，所述数据处理接口用于对目标格式和每个所述目标工具包对应的异构格式进行转换；按照所述数据处理业务通过所述数据处理接口调度一个或者多个所述目标容器集合处理所述目标数据。
[0007]可选的，所述创建每个所述目标工具包对应的初始数据处理容器，包括：创建每个所述目标工具包对应的第一配置文件，其中，所述第一配置文件用于指示待为每个所述目标工具包创建的所述初始数据处理容器的属性信息；通过集群控制命令在集群中执行所述第一配置文件，得到每个所述目标工具包对应的所述初始数据处理容器。
[0008]可选的，所述创建每个所述目标工具包对应的第一配置文件，包括：创建每个所述目标工具包对应的第一数据序列化格式yaml文件，其中，所述第一数据序列化格式yaml文件的文件参数包括kind属性为部署Deployment，待创建容器的数量，所述目标工具包的名称及所述目标工具包的地址。
[0009]可选的，所述按照具有对应关系的目标工具包和初始容器集合，将每个所述目标工具包安装至对应的初始数据处理容器中，得到一个或者多个目标容器集合，包括：创建每个所述初始数据处理容器对应的第二配置文件，其中，所述第二配置文件用于指示待安装在所述初始数据处理容器中的所述目标工具包的信息以及所述数据处理接口的接口信息；通过集群控制命令在每个所述初始数据处理容器中执行所述第二配置文件，得到一个或者多个目标容器集合。
[0010]可选的，所述创建每个所述初始数据处理容器对应的第二配置文件，包括：创建每个所述初始数据处理容器对应的第二yaml文件，其中，所述第二yaml文件的文件参数包括kind属性为服务service，选择器Selector为每个所述初始数据处理容器对应的所述目标工具包，以及，所述数据处理接口的接口信息。
[0011]可选的，所述通过集群控制命令在每个所述初始数据处理容器中执行所述第二配置文件，包括：根据所述kind属性在每个所述初始数据处理容器中通过构建service对象的方式安装对应的所述目标工具包，得到参考容器；按照所述数据处理接口的接口信息为所述参考容器部署所述数据处理接口。
[0012]可选的，所述按照所述数据处理业务通过所述数据处理接口调度一个或者多个所述目标容器集合处理所述目标数据，包括：按照所述数据处理业务的操作顺序依次调用每个所述目标容器集合中进行数据处理；获取每个所述目标容器集合返回的数据处理结果；在所述数据处理结果不属于所述目标数据在所述数据处理业务中的最终处理结果的情况下，将所述数据处理结果发送至所述操作顺序中的下一个所述目标容器集合；在所述数据处理结果属于所述目标数据在所述数据处理业务中的最终处理结果的情况下，存储所述数据处理结果。
[0013]可选的，所述调用每个所述目标容器集合中进行数据处理，包括：创建目标格式的第一调用请求，其中，所述第一调用请求中携带了待处理数据的数据链接；按照负载均衡将所述第一调用请求发送至每个所述目标容器集合中的一个目标容器上的所述数据处理接口；通过所述数据处理接口将所述第一调用请求从所述目标格式转换为对应的所述异构格式的第二调用请求；从所述第二调用请求中获取所述数据链接；按照所述数据链接将所述待处理数据加载至所述一个目标容器中进行处理。
[0014]可选的，在所述从多个异构的数据处理工具包中获取接收到的数据处理业务所对
应的一个或者多个目标工具包之前，所述方法还包括：生成多个异构的数据处理工具中每个数据处理工具的工具镜像，得到多个异构的所述数据处理工具包；为每个所述数据处理工具包创建对应的微服务模块，其中，所述微服务模块用于调用每个所述数据处理工具包。
[0015]可选的，在所述按照所述数据处理业务通过所述数据处理接口调度一个或者多个所述目标容器集合处理所述目标数据之后，所述方法还包括：销毁一个或者多个所述目标容器集合；释放一个或者多个所述目标容器集合所占用的存储资源和算力资源。
[0016]根据本申请实施例的另一个实施例，还提供了一种数据的处理装置，包括：获取模块，用于从多个异构的数据处理工具包中获取接收到的数据处理业务所对应的一个或者多个目标工具包，其中，所述数据处理业务用于请求处理目标数据，所述目标工具包用于指示实现所述数据处理业务所用到的数据处理工具；第一创建模块，用于创建每个所述目标工具包对应的初始数据处理容器，得到具有对应关系的目标工具包和初始容器集合；安装模块，用于按照具有对应关系的目标工具包和初始容器集合，将每个所述目标工具包安装至对应的初始数据处理容器中，得到一个或者多个目标容器集合，其中，所述目标容器集合中的每个目标容器上部署了数据处理接口，所述数据处理接口用于对目标格式和每个所述目标工具包对应的异构格式进行转换；调度模块，用于按照所述数据处理业务通过所述数据处理接口调度一个或者多个所述目标容器集合处理所述目标数据。
[0017]根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据的处理方法，其特征在于，包括：从多个异构的数据处理工具包中获取接收到的数据处理业务所对应的一个或者多个目标工具包，其中，所述数据处理业务用于请求处理目标数据，所述目标工具包用于指示实现所述数据处理业务所用到的数据处理工具；创建每个所述目标工具包对应的初始数据处理容器，得到具有对应关系的目标工具包和初始容器集合；按照具有对应关系的目标工具包和初始容器集合，将每个所述目标工具包安装至对应的初始数据处理容器中，得到一个或者多个目标容器集合，其中，所述目标容器集合中的每个目标容器上部署了数据处理接口，所述数据处理接口用于对目标格式和每个所述目标工具包对应的异构格式进行转换；按照所述数据处理业务通过所述数据处理接口调度一个或者多个所述目标容器集合处理所述目标数据。2.根据权利要求1所述的方法，其特征在于，所述创建每个所述目标工具包对应的初始数据处理容器，包括：创建每个所述目标工具包对应的第一配置文件，其中，所述第一配置文件用于指示待为每个所述目标工具包创建的所述初始数据处理容器的属性信息；通过集群控制命令在集群中执行所述第一配置文件，得到每个所述目标工具包对应的所述初始数据处理容器。3.根据权利要求2所述的方法，其特征在于，所述创建每个所述目标工具包对应的第一配置文件，包括：创建每个所述目标工具包对应的第一数据序列化格式yaml文件，其中，所述第一数据序列化格式yaml文件的文件参数包括kind属性为部署Deployment，待创建容器的数量，所述目标工具包的名称及所述目标工具包的地址。4.根据权利要求1所述的方法，其特征在于，所述按照具有对应关系的目标工具包和初始容器集合，将每个所述目标工具包安装至对应的初始数据处理容器中，得到一个或者多个目标容器集合，包括：创建每个所述初始数据处理容器对应的第二配置文件，其中，所述第二配置文件用于指示待安装在所述初始数据处理容器中的所述目标工具包的信息以及所述数据处理接口的接口信息；通过集群控制命令在每个所述初始数据处理容器中执行所述第二配置文件，得到一个或者多个目标容器集合。5.根据权利要求4所述的方法，其特征在于，所述创建每个所述初始数据处理容器对应的第二配置文件，包括：创建每个所述初始数据处理容器对应的第二yaml文件，其中，所述第二yaml文件的文件参数包括kind属性为服务service，选择器Selector为每个所述初始数据处理容器对应的所述目标工具包，以及，所述数据处理接口的接口信息。6.根据权利要求5所述的方法，其特征在于，所述通过集群控制命令在每个所述初始数据处理容器中执行所述第二配置文件，包括：根据所述kind属性在每个所述初始数据处理容器中通过构建service对象的方式安装
对应的所述目标工具包，得到参考容器；按照所述数据处理接口的接口信息为所述参考容器部署所述数据处理接口。7.根据权利要求1所述的方法，其特征在于，所述按照所述数据处理业务通过所述数据处理接口调度一个或者多个所述目标容器集合处理所述目...

【专利技术属性】
技术研发人员：王明明，陈立燚，朱子凌，李俊良，杨冶，黄登，郑杨韬，王鹏博，王国彦，王怡，
申请(专利权)人：福瑞泰克智能系统有限公司，
类型：发明
国别省市：