【技术实现步骤摘要】
一种数据处理方法、装置及存储介质
本专利技术属于通信
，尤其涉及一种数据处理方法、装置及存储介质。
技术介绍
数据处理指的是对数据(包括数值的和非数值的)进行采集、转换、存储、检索、分析、加工和传输等处理的过程。随着计算机的推广和普及，采用计算机进行数据处理已经成为数据处理的常用方式。然而，采用计算机进行数据处理通常需要编写大量的脚本以完成数据处理的工作。具体地，目前采用计算机进行数据处理时，需要对每一个脚本单独编码，然而，由于通常每一个脚本都需要执行数据库操作、日志操作和邮件操作等常用操作，因此编写大量的脚本容易出现许多重复代码，从而导致用于数据处理的脚本的开发效率低下。即使目前提供了将执行例如数据库操作、日志操作和邮件操作等常用操作的脚本代码进行封装的方案，然而该方案仅能够少量地减少编写脚本的过程中的重复代码，无法显著地提高用于数据处理的脚本的开发效率。
技术实现思路
本专利技术的目的在于提供一种数据处理方法、装置及存储介质，旨在显著地提高用于数据处理的脚本的开发效率。为解决上述技术问题，本专利技术实施例提供以下技术方案：一种数据处理方法，其中包括：获取数据...
【技术保护点】
1.一种数据处理方法，其特征在于，包括：获取数据处理任务；根据所述数据处理任务，获取预设的控制脚本集合；根据所述预设的控制脚本集合，生成相应的自定义脚本集合；根据所述自定义脚本集合和所述控制脚本集合，生成数据处理脚本集合；基于所述数据处理脚本集合，对相应的目标数据进行相应的处理。
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取数据处理任务；根据所述数据处理任务，获取预设的控制脚本集合；根据所述预设的控制脚本集合，生成相应的自定义脚本集合；根据所述自定义脚本集合和所述控制脚本集合，生成数据处理脚本集合；基于所述数据处理脚本集合，对相应的目标数据进行相应的处理。2.根据权利要求1所述的数据处理方法，其特征在于，在所述根据所述自定义脚本集合和所述控制脚本集合，生成数据处理脚本集合之前，还包括：通过预设的调度脚本集合启动所述自定义脚本集合；所述根据所述自定义脚本集合和所述控制脚本集合，生成数据处理脚本集合，包括：根据启动的自定义脚本集合和所述控制脚本集合，生成数据处理脚本集合。3.根据权利要求2所述的数据处理方法，其特征在于，所述通过预设的调度脚本集合启动所述自定义脚本集合之前，还包括：根据所述自定义脚本集合，生成第二调度脚本集合；将所述第二调度脚本集合添加至预设的调度脚本集合。4.根据权利要求2所述的数据处理方法，其特征在于，所述通过预设的调度脚本集合启动所述自定义脚本集合，包括：根据所述自定义脚本集合以及预设的调度脚本集合，加载脚本配置文件；基于所述脚本配置文件，通过所述调度脚本集合按照预设时间启动所述自定义脚本集合。5.根据权利要求2所述的数据处理方法，其特征在于，所述根据启动的自定义脚本集合和所述控制脚本集合，生成数据处理脚本集合，包括：根据启动的自定义脚本集合生成相应的脚本连接文件，其中所述脚本连接文件为启动的自定义脚本集合调用所述控制脚本集合所需的资源；控制启动的自定义脚本集合，通过所述脚本连接文件调用所述控制脚本集合，生成数据处理脚本集合。6.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理任务的任务类型包括以下的一种或多种：数据同步任务、数据分析任务以及数据监控任务；所述控制脚本集合包括以下的一种或多种：数据同步脚本集合、数据分析脚本集合以及数据监控脚本集合；在所述根据所述数据处理任务，获取预设的控制脚本集合之前，还包括：确定所述数据处理任务的任务类型；若所述任务类型是数据同步任务，则将所述数据同步脚本集合确认为控制脚本集合；若所述任务类型是数据分析任务，则将所述数据分析脚本集合确认为控制脚本集合；若所述任务类型是数据监控任务，则将所述数据监控脚本集合确认为控制脚本集合。7.根据权利要求6所述的数据处理方法，其特征在于，所述基于所述数据处理脚本集合，对相应的目标数据进行相应的处理，包括以下的一种或多种：基于所述数据同步任务，通过所述数据处理脚本集合对所述目标数据进行相应的同步配置，生成预处理数据；将所述预处理数据传输至待处理数据库；基于所述数据分析任务，通过所述数据处理脚本集合对所述目标数据进行逻辑解析，生成解析数据；控制所述数据处理脚本集合对所述解析数据进行统计分析，生成统计分析结果；基于所述数据监控任务，通过所述数据处理脚本集合对所述目标数据进行监控，生成监控结果。8.一种数据处理装置，其...
【专利技术属性】
技术研发人员：陈其荣，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。