本申请公开了一种数据管理系统和数据管理方法、装置及电子设备。其中，该数据管理系统包括：客户端，客户端包括数据定义单元和数据处理单元，数据定义单元用于接收目标对象上传的待处理的原始数据和目标镜像，数据处理单元用于构建任务流，其中，目标镜像是用于处理待处理的原始数据的自定义算子对应的镜像，任务流是用于处理待处理的原始数据；服务器，服务器用于基于任务流和目标镜像对待处理的原始数据进行处理，得到目标数据集。本申请解决了相关技术中没有对自动驾驶云场景下的各类型数据的处理平台，导致数据处理效率低的技术问题。题。题。
【技术实现步骤摘要】
数据管理系统和数据管理方法、装置及电子设备
[0001]本申请涉及数据处理
，具体而言，涉及一种数据管理系统和数据管理方法、装置及电子设备。
技术介绍
[0002]自动驾驶行业中，在车辆实地采集、外部采买、模拟生成、仿真运行、人工标注、算法开发等过程中，会产生海量的数据，这些数据，需要经过各类处理，例如滤波、标定、融合、标注(自动/人工)等。因此需要一个数据管理系统进行自动驾驶生产线上的各类数据的导入、分类管理、数据处理、人工数据操作、数据检索预览、数据输出等工作。但是现有技术中没有针对自动驾驶云场景下的各类型数据的处理平台，使得数据处理的效率比较低。
[0003]针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
[0004]本申请实施例提供了一种数据管理系统和数据管理方法、装置及电子设备，以至少解决相关技术中没有对自动驾驶云场景下的各类型数据的处理平台，导致数据处理效率低的技术问题。
[0005]根据本申请实施例的一个方面，提供了一种数据管理系统，包括：客户端，所述客户端包括数据定义单元和数据处理单元，所述数据定义单元用于接收目标对象上传的待处理的原始数据和目标镜像，所述数据处理单元用于构建任务流，并将所述任务流传输至服务器，其中，所述目标镜像是用于处理所述待处理的原始数据的自定义算子对应的镜像，所述任务流用于处理所述待处理的原始数据，所述目标镜像存储在镜像仓库中，所述待处理的原始数据存储在所述目标对象对应的存储集群中；服务器，所述服务器基于所述任务流和所述目标镜像对所述待处理的原始数据进行处理，得到目标数据集。
[0006]进一步地，所述目标镜像中至少包括软件开发工具包，其中，所述软件开发工具包用于所述客户端与所述服务器进行信息交互。
[0007]进一步地，所述数据处理单元包括任务配置界面和任务运维模块，其中，所述任务配置界面用于构建所述任务流，所述任务运维模块用于管控所述任务流的运行结果。
[0008]进一步地，任务配置界面至少包括：任务节点区域和任务画布区域，其中，所述任务节点区域显示至少一个任务节点，所述任务画布区域用于显示所述任务流，其中，所述任务流是由所述目标对象的任务配置操作生成的，所述任务流由至少一个任务节点组成。
[0009]进一步地，所述客户端还包括：数据检索单元，所述数据检索单元用于查询所述目标数据集和依据所述目标数据集模拟目标环境情况。
[0010]根据本申请实施例的另一方面，还提供了一种数据管理方法，包括：获取目标对象上传的待处理的原始数据和目标镜像，所述目标镜像是用于处理所述待处理的原始数据的自定义算子对应的镜像，所述目标镜像存储在镜像仓库中，所述待处理的原始数据存储在所述目标对象对应的存储集群中；响应所述目标对象的任务配置操作，生成所述任务流，其
中，所述任务流用于处理所述待处理的原始数据；通过所述目标镜像中的软件开发工具包将所述任务流发送至服务器，以使所述服务器基于所述任务流和所述目标镜像对所述待处理的原始数据进行处理。
[0011]进一步地，响应所述目标对象的任务配置操作，生成所述任务流包括：确定所述目标对象在数据处理单元中的任务配置界面上触发的任务配置操作，其中，所述任务配置操作至少包括将任务节点区域中的任务节点移动至所述任务配置界面中的任务画布区域；响应所述任务配置操作，在所述任务画布区域中显示与所述任务配置操作对应的配置结果；依据所述配置结果生成所述任务流。
[0012]根据本申请实施例的另一方面，还提供了一种数据管理方法，包括：接收任务流，其中，所述任务流是由目标对象在客户端的任务配置操作生成的；依据所述任务流中的目标镜像对应的存储地址从所述镜像仓库中获取所述目标镜像，其中，所述目标镜像是用于处理所述待处理的原始数据的自定义算子对应的镜像；通过服务器基于所述任务流和所述目标镜像对待处理的原始数据进行处理，得到目标数据集，其中，所述待处理的原始数据由所述目标对象通过所述客户端上传至所述目标对象对应的存储集群。
[0013]进一步地，通过服务器基于所述任务流和所述目标镜像对所述待处理的原始数据进行处理，得到目标数据集包括：从所述目标对象对应的存储集群中获取所述待处理的原始数据；调用所述目标镜像对所述待处理的原始数据进行数据处理，得到所述目标数据集。
[0014]进一步地，若所述待处理的原始数据为自动驾驶云场景下的数据信息，在调用所述目标镜像对所述待处理的原始数据进行数据处理，得到所述目标数据集之后，所述方法还包括：依据所述目标数据集构建自动驾驶仿真场景；通过所述自动驾驶仿真场景模拟目标车辆的行驶过程，并生成所述目标车辆的模拟行驶过程中的空间位置信息；依据所述空间位置信息构建所述目标车辆的自动驾驶路线。
[0015]根据本申请实施例的另一方面，还提供了一种数据管理装置，包括：第一获取单元，用于获取目标对象上传的待处理的原始数据和目标镜像，所述目标镜像是用于处理所述待处理的原始数据的自定义算子对应的镜像，目标镜像存储在镜像仓库中，所述待处理的原始数据存储在目标对象对应的存储集群中；响应单元，用于响应所述目标对象的任务配置操作，生成所述任务流，其中，所述任务流用于处理所述待处理的原始数据；发送单元，用于通过所述目标镜像中的软件开发工具包将所述任务流发送至服务器，以使所述服务器基于所述任务流和所述目标镜像对所述待处理的原始数据进行处理。
[0016]进一步地，所述响应单元包括：确定模块，用于确定所述目标对象在数据处理单元中的任务配置界面上触发的任务配置操作，其中，所述任务配置操作至少包括将任务节点区域中的任务节点移动至所述任务配置界面中的任务画布区域；响应模块，用于响应所述任务配置操作，在所述任务画布区域中显示与所述任务配置操作对应的配置结果；生成模块，用于依据所述配置结果生成所述任务流。
[0017]根据本申请实施例的另一方面，还提供了一种数据管理装置，包括：接收单元，用于接收任务流，其中，所述任务流是由目标对象在客户端的任务配置操作生成的；第二获取单元，用于依据所述任务流中的目标镜像对应的存储地址从所述镜像仓库中获取所述目标镜像，其中，所述目标镜像是用于处理所述待处理的原始数据的自定义算子对应的镜像；处理单元，用于通过服务器基于所述任务流和所述目标镜像对待处理的原始数据进行处理，
得到目标数据集，其中，所述待处理的原始数据由所述目标对象通过所述客户端上传至所述目标对象对应的存储集群。
[0018]进一步地，所述处理单元包括：获取模块，用于从所述目标对象对应的存储集群中获取所述待处理的原始数据；调用模块，用于调用所述目标镜像对所述待处理的原始数据进行数据处理，得到所述目标数据集；存储模块，用于将所述目标数据集存储至所述目标对象对应的存储集群和所述目标对象对应的检索数据库中。
[0019]进一步地，若所述待处理的原始数据为自动驾驶云场景下的数据信息，所述装置还包括：第一构建单元，用于在调用所述目标镜像对所述待处理的原始数据进行数据处理，得到所述本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据管理系统，其特征在于，包括：客户端，所述客户端包括数据定义单元和数据处理单元，所述数据定义单元用于接收目标对象上传的待处理的原始数据和目标镜像，所述数据处理单元用于构建任务流，并将所述任务流传输至服务器，其中，所述目标镜像是用于处理所述待处理的原始数据的自定义算子对应的镜像，所述任务流用于处理所述待处理的原始数据，所述目标镜像存储在镜像仓库中，所述待处理的原始数据存储在所述目标对象对应的存储集群中；服务器，所述服务器用于基于所述任务流和所述目标镜像对所述待处理的原始数据进行处理，得到目标数据集。2.根据权利要求1所述的数据管理系统，其特征在于，所述目标镜像中至少包括软件开发工具包，其中，所述软件开发工具包用于所述客户端与所述服务器进行信息交互。3.根据权利要求1所述的数据管理系统，其特征在于，所述数据处理单元包括任务配置界面和任务运维模块，其中，所述任务配置界面用于构建所述任务流，所述任务运维模块用于管控所述任务流的运行结果。4.根据权利要求3所述的数据管理系统，其特征在于，任务配置界面至少包括：任务节点区域和任务画布区域，其中，所述任务节点区域显示至少一个任务节点，所述任务画布区域用于显示所述任务流，其中，所述任务流是由所述目标对象的任务配置操作生成的，所述任务流由至少一个任务节点组成。5.根据权利要求1至4中任一项所述的数据管理系统，其特征在于，所述客户端还包括：数据检索单元，所述数据检索单元用于查询所述目标数据集和依据所述目标数据集模拟目标环境情况。6.一种数据管理方法，其特征在于，包括：获取目标对象上传的待处理的原始数据和目标镜像，其中，所述目标镜像是用于处理所述待处理的原始数据的自定义算子对应的镜像，所述目标镜像存储在镜像仓库中，所述待处理的原始数据存储在所述目标对象对应的存储集群中；响应所述目标对象的任务配置操作，生成任务流，其中，所述任务流用于处理所述待处理的原始数据；通过所述目标镜像中的软件开发工具包将所述任务流发送至服务器，以使所述服务器基于所述任务流和所述目标镜像对所述待处理的原始数据进行处理。7.根据权利要求6所述的方法，其特征在于，响应所述目标对象的任务配置操作，生成所述任务流包括：确定所述目标对象在数据处理单元中的任务配置界面上触发的任务配置操作，其中，所述任务配置操作至少包括将任务节点区域中的任务节点移动至所述任务配置界面中的任务画布区域；响应所述任务配置操作，在所述任务画布区域中显示与所述任务配置操作对应的配置结果；依据所述配置结果生成所述任务流。8.一种数据管理方法...
【专利技术属性】
技术研发人员：顾佳杰，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。