【技术实现步骤摘要】
数据处理方法和装置
[0001]本申请涉及计算机
，尤其涉及一种数据处理方法和装置。
技术介绍
[0002]在一些业务场景下，比如对于机器学习模型的训练，传统的数据处理方案通常需要由使用方将所需的数据从源端下载到本机，然后根据业务需求对所需的数据进行相应的数据处理操作。但是，如果上述数据需要经过不同的使用方进行相应处理，那么，同一份数据就需要被不同的使用方重复下载，这不仅降低了处理效率，还增加了处理成本。
技术实现思路
[0003]本说明书实施例的目的是提供一种数据处理方法和装置，以解决传统的数据处理方案存在的处理效率低、处理成本高的问题。
[0004]为了实现上述目的，本说明书实施例采用下述技术方案：
[0005]第一方面，提供一种数据处理方法，包括：
[0006]接收针对目标数据的处理请求，所述处理请求中携带对所述目标数据进行处理所需的处理配置参数；
[0007]基于所述处理配置参数，创建用于处理所述目标数据的应用程序；
[0008]将所述应用程序的存储目录挂...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：接收针对目标数据的处理请求，所述处理请求中携带对所述目标数据进行处理所需的处理配置参数；基于所述处理配置参数，创建用于处理所述目标数据的应用程序；将所述应用程序的存储目录挂载到存放所述目标数据的共享目录上，所述应用程序在运行过程中对所述存储目录的访问操作被映射到所述共享目录上；在容器服务集群中创建容器并在所述容器中运行所述应用程序，其中，所述应用程序在运行过程中通过访问所述存储目录获取所述目标数据并进行处理。2.根据权利要求1所述的方法，其特征在于，所述将所述应用程序的存储目录挂载到存放所述目标数据的共享目录上，包括：获取与存放所述目标数据的共享目录绑定的存储申明；将所述应用程序的存储目录挂载到所述存储申明上。3.根据权利要求2所述的方法，其特征在于，在接收针对目标数据的处理请求之前，所述方法还包括：接收针对所述目标数据的共享请求，所述共享请求用于请求在不同使用方之间共享所述目标数据；在云存储平台中为所述目标数据分配相应的共享目录，并将所述目标数据存储至所述共享目录下；创建存储申明，并将所创建的存储申明与所述共享目录进行绑定。4.根据权利要求3所述的方法，其特征在于，在将所述目标数据存储至所述共享目录下之后，所述方法还包括：生成所述目标数据与所述共享目录之间的对应关系信息；向所述共享请求的发起方返回所述对应关系信息。5.根据权利要求1所述的方法，其特征在于，在所述在容器服务集群中创建容器并在所述容器中运行所述应用程序之后，所述方法还包括：从所述应用程序的存储目录中加载对所述目标数据进行处理所得的处理结果；将所述处理结果存储至所述共享目录下。6.根据权利要求5所述的方法，其特征在于，在将所述处理结果存储至所述共享目录下之前，所述方法还包括：基于所述处理结果，确定所述目标数据是否被修改；所述将所述处理结果存储至所述共享目录下，包括：如果所述目标数据被修改，则将修改后的所述目标数据覆盖存储至所述共享目录下。7.根据权利要求1至6中任一项所述的方法，其特征在于，所述目标数据包括语料数据和/或机器学习模型，所述处理配置参数为用于利用所述目标数据进行模型训练的训练脚本。8.一种数据处理系统，其特征在于，包括：管理控制平台...
【专利技术属性】
技术研发人员：张伟，吴海英，权圣，蒋宁，王洪斌，李云彬，韩卫强，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。