【技术实现步骤摘要】
一种数据处理方法、装置及智能设备、计算机存储介质
[0001]本专利技术涉及计算机
，尤其涉及一种数据处理方法、装置及智能设备、计算机存储介质。
技术介绍
[0002]随着计算机技术、通信技术的发展，人类已步入了数字化社会，人们在日常工作、生活、学习中会产生各种各样的数据，也会利用各种各样的数据。各种关于数据获取、存储、管理以及传输等功能的方案、产品也广泛应用到各行各业。同时，海量的数据可以通过云技术存储到云服务器中，在云服务器中存储的数据可以应用到医疗、金融、银行、政务、游戏、物联等等行业中。
[0003]对零散的数据，可以通过数据构建的方式将这些数据转换成可以使用的形式，比如通过数据表的方式构建数据。通过不同的数据构建方式进行数据构建的目的在于满足不同的用户对特性化数据的需求。为了一些新的数据需求而构建数据的过程中，现有的技术方案是需要用户人为地从数据存储环境中挑选数据，再进行数据复制、转存等一系列手动操作，耗费时间，效率较低。
技术实现思路
[0004]本申请实施例提供一种数据处理方法、装...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取数据构建任务，其中，所述数据构建任务是根据检测到的数据构建事件生成的；解析所述数据构建任务，获取与所述数据构建任务关联的数据选取脚本，并通过执行所述数据选取脚本得到源数据，所述数据选取脚本用于从源数据环境设备中获取源数据；获取与所述数据构建任务关联的数据加载脚本，并通过执行所述数据加载脚本将目标数据加载到目标数据环境设备中，其中，所述目标数据是根据所述源数据得到的；向管理平台反馈关于所述目标数据被加载到目标数据环境设备的通知消息，所述通知消息用于指示所述管理平台响应所述数据构建事件，对目标数据环境设备中的目标数据进行处理。2.如权利要求1所述的方法，其特征在于，在执行所述数据选取脚本得到源数据之后、在执行所述数据加载脚本以将目标数据加载到目标数据环境设备中之前，所述方法还包括：获取与所述数据构建任务关联的数据提取脚本，并通过执行所述数据提取脚本从所述得到的源数据中提取满足筛选条件的中间数据；获取与所述数据构建任务关联的数据转换脚本，并通过执行所述数据转换脚本将所述中间数据转换为满足转换条件的目标数据。3.如权利要求2所述的方法，其特征在于，所述通过执行所述数据提取脚本从所述得到的源数据中提取满足筛选条件的中间数据，包括：按照源数据中各个数据项之间的数据关系对所述源数据进行分块，得到源分块数据，并按照数据关系将源分块数据添加到对应的队列中，得到多个源分块队列；通过执行所述数据提取脚本分别同步从各个源分块队列中的各个源分块数据中提取满足筛选条件的中间数据，得到多个中间数据分块队列；所述通过执行所述数据转换脚本将所述中间数据转换为满足转换条件的目标数据，包括：通过执行所述数据转换脚本同步对各个中间数据分块队列中的中间数据分块进行转换，分别得到满足转换条件的目标数据，并输出各目标数据。4.如权利要求1-3任一项所述的方法，其特征在于，所述数据构建任务中包括任务配置信息，所述任务配置信息是在配置界面上设置的；所述配置界面包括以下配置项的任意一项或多项：用于配置源数据环境设备标识的配置项；用于配置目标数据环境设备标识的配置项；用于配置待构建数据的数据类型的配置项；数据指示信息的配置项，所述数据指示信息包括：需要通过数据选取脚本选取的数据的来源类型和/或数据关联信息；数据存储信息的配置项，所述数据存储信息包括：需要通过数据加载脚本加载的数据的存储类型和/或数据存储信息。5.如权利要求4所述的方法，其特征在于，所述配置界面还包括有数据提取脚本的上传配置项，所述数据提取脚本的上传配置项中包括：
用于记录上传的数据提取脚本的脚本标识的记录框；用于响应用户点击操作而获取用户确认的数据提取脚本并上传该获取的数据提取脚本的上传输入按钮；用于响应用户下载操作而向用户显示数据提取脚本模板，并获取根据该数据提...
【专利技术属性】
技术研发人员：陈瑶，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。