数据文件处理方法、装置、设备、存储介质和程序产品制造方法及图纸

技术编号:37721327 阅读:34 留言:0更新日期:2023-06-02 00:20
本申请涉及一种数据文件处理方法、装置、设备、存储介质和程序产品,涉及大数据技术领域。该方法包括:响应于异步调度系统发送的作业请求,对作业请求进行校验;其中,作业请求用于指示对数据文件执行导入和/或导出数据库的操作;若校验通过,则为作业请求分配资源,并基于已分配资源,生成执行作业请求的数据库执行计划分析语句;对数据库执行计划分析语句进行校验;若校验通过,则调用数据库执行计划分析语句,执行数据文件从数据库导入和/或导出的操作。采用本方法能够提高分布式数据库处理数据时的效率与安全性。据时的效率与安全性。据时的效率与安全性。

【技术实现步骤摘要】
数据文件处理方法、装置、设备、存储介质和程序产品


[0001]本申请涉及大数据
,特别是涉及一种数据文件处理方法、装置、设备、存储介质和程序产品。

技术介绍

[0002]随着大数据
的发展,集群式部署的分布式数据库也得到了广泛的应用。数据的导入、查询和导出是集群式部署的分布式数据库最基本的应用场景。
[0003]但是,随着数据处理业务的大量增加,现有的数据库集群的导入导出数据方式会存在数据处理可行性差和安全性低等问题,进而无法保证在数据处理时的效率与安全性。因此,如何提高分布式数据库处理数据时的效率与安全性是当前亟需解决的问题。

技术实现思路

[0004]基于此,有必要针对上述技术问题,提供一种能够提高分布式数据库处理数据时的效率与安全性的数据文件处理方法、装置、设备、存储介质和程序产品。
[0005]第一方面,本申请提供了一种数据文件处理方法。该方法包括:
[0006]响应于异步调度系统发送的作业请求,对作业请求进行校验;其中,作业请求用于指示对数据文件执行导入和/或导出数据库的操作;...

【技术保护点】

【技术特征摘要】
1.一种数据文件处理方法,其特征在于,所述方法包括:响应于异步调度系统发送的作业请求,对所述作业请求进行校验;其中,所述作业请求用于指示对数据文件执行导入和/或导出数据库的操作;若校验通过,则为所述作业请求分配资源,并基于已分配资源,生成执行所述作业请求的数据库执行计划分析语句;对所述数据库执行计划分析语句进行校验;若校验通过,则调用所述数据库执行计划分析语句,执行所述数据文件从所述数据库导入和/或导出的操作。2.根据权利要求1所述的方法,其特征在于,所述对所述作业请求进行校验,包括如下至少一项:对所述作业请求中的输入参数进行合法性校验;对所述作业请求的可用性进行校验;对外部系统的连通性进行校验;其中,所述外部系统为协助本地服务器处理作业请求的其他系统。3.根据权利要求1所述的方法,其特征在于,为所述作业请求分配资源,包括:根据所述作业请求的类型,为作业请求分配资源。4.根据权利要求3所述的方法,其特征在于,所述根据所述作业请求的类型,为作业请求分配资源,包括:若所述作业请求的类型为端口注册类型,则对所述作业请求进行解析,得到解析结果;根据所述解析结果,生成端口资源更新语句;调用所述端口资源更新语句,将所述作业请求对应的端口资源注册到数据库中,并更新所述数据库的端口资源参数表。5.根据权利要求3所述的方法,其特征在于,所述根据所述作业请求的类型,为作业请求分配资源,包括:若所述作业请求的类型为服务进程管理类型,则根据所述数据库的端口资源参数表,生成所述服务进程启动配置文件;根据所述服务进程启动配置文件,为所述作业请求分配服务进程。6.根据权利要求3所述的方法,其特征在于,所述根据所述作业请求的类型,为作业请求分配资源,包括:若所述作业请求的类型为端口资源申请类型,则根据所述数据库的端口资源参数表,为所述作业请求分配端口资源。7.根据权利要求1所述的方法,其特征在于,所述对所述数据库执行计...

【专利技术属性】
技术研发人员:雷经纬徐嘉禛于子烨罗响
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1