一种数据处理方法、装置及智能设备、计算机存储介质制造方法及图纸

本申请实施例公开了一种数据处理方法、装置及智能设备、计算机存储介质，其中，所述方法包括：解析获取的数据构建任务，通过执行与所述数据构建任务关联的数据选取脚本从源数据环境设备中得到源数据，源数据环境设备中进行文件存储，源数据可以存储在各类数据库中，方便管理与读取，在必要时还可以加入关于源数据中各个数据存储和读取的日志；通过执行与所述数据构建任务关联的数据加载脚本将与所述源数据对应的目标数据加载到目标数据环境设备中；向管理平台反馈关于所述目标数据被加载到目标数据环境设备的通知消息，以对目标数据环境设备中的目标数据进行处理。采用本申请，节省用户的数据构建时间，满足数据构建的自动化需求。需求。需求。

【技术实现步骤摘要】
一种数据处理方法、装置及智能设备、计算机存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种数据处理方法、装置及智能设备、计算机存储介质。

技术介绍

[0002]随着计算机技术、通信技术的发展，人类已步入了数字化社会，人们在日常工作、生活、学习中会产生各种各样的数据，也会利用各种各样的数据。各种关于数据获取、存储、管理以及传输等功能的方案、产品也广泛应用到各行各业。同时，海量的数据可以通过云技术存储到云服务器中，在云服务器中存储的数据可以应用到医疗、金融、银行、政务、游戏、物联等等行业中。
[0003]对零散的数据，可以通过数据构建的方式将这些数据转换成可以使用的形式，比如通过数据表的方式构建数据。通过不同的数据构建方式进行数据构建的目的在于满足不同的用户对特性化数据的需求。为了一些新的数据需求而构建数据的过程中，现有的技术方案是需要用户人为地从数据存储环境中挑选数据，再进行数据复制、转存等一系列手动操作，耗费时间，效率较低。

技术实现思路

[0004]本申请实施例提供一种数据处理方法、装置及智能设备、计算机存储介质，可基于脚本自动化地从源数据环境中选取数据并加载到目标数据环境中。
[0005]一方面，本申请实施例提供了一种数据处理方法，包括：
[0006]获取数据构建任务，其中，所述数据构建任务是根据检测到的数据构建事件生成的；
[0007]解析所述数据构建任务，获取与所述数据构建任务关联的数据选取脚本，并通过执行所述数据选取脚本得到源数据，所述数据选取脚本用于从源数据环境设备中获取源数据；
[0008]获取与所述数据构建任务关联的数据加载脚本，并通过执行所述数据加载脚本将目标数据加载到目标数据环境设备中，其中，所述目标数据是根据所述源数据得到的；
[0009]向管理平台反馈关于所述目标数据被加载到目标数据环境设备的通知消息，所述通知消息用于指示所述管理平台响应所述数据构建事件，对目标数据环境设备中的目标数据进行处理。
[0010]另一方面，本申请实施例还提供了一种数据处理装置，包括：
[0011]获取模块，用于获取数据构建任务，其中，所述数据构建任务是根据检测到的数据构建事件生成的；
[0012]处理模块，用于解析所述数据构建任务，获取与所述数据构建任务关联的数据选取脚本，并通过执行所述数据选取脚本得到源数据，所述数据选取脚本用于从源数据环境设备中获取源数据；获取与所述数据构建任务关联的数据加载脚本，并通过执行所述数据
加载脚本将目标数据加载到目标数据环境设备中，其中，所述目标数据是根据所述源数据得到的；
[0013]通知模块，用于向管理平台反馈关于所述目标数据被加载到目标数据环境设备的通知消息，所述通知消息用于指示所述管理平台响应所述数据构建事件，对目标数据环境设备中的目标数据进行处理。
[0014]相应地，本申请实施例还提供了一种智能设备，其特征在于，该智能设备包括存储装置和处理器，所述存储装置中存储有计算机程序，所述处理器调用所述计算机程序，实现上述的数据处理方法。
[0015]相应地，本申请实施例还提供了一种计算机存储介质，该计算机存储介质中存储有计算机程序，该计算机程序被处理器执行的过程中，上述的数据处理方法将被实现。
[0016]本申请实施例通过自动运行数据选取脚本，能够从源数据环境设备中获取部分所需的数据，通过自动运行数据加载脚本，能够自动将获取到的数据加载到目标环境中，既能够满足数据构建的自动化需求，又能够满足用户的个性化数据需求。整个过程中，用户只需要编写部分脚本并将脚本配置到数据构建任务，通过本申请对应的应用执行该数据构建任务即可实现数据自动化的选取和加载，选取和加载不需要用户手动参与，节省了用户时间，满足了数据构建的自动化需求。
附图说明
[0017]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1是本申请实施例的数据构建过程的其中一种流程示意图；
[0019]图2是本申请实施例的一种关于数据构建的框架示意图；
[0020]图3是对本申请实施例的数据处理相关环境的构建以及管理的示意图；
[0021]图4是本申请实施例的一种数据处理方法的流程示意图；
[0022]图5a是本申请实施例的一种数据处理方法的流程示意图；
[0023]图5b是本申请实施例的对源数据进行分块以便于同步进行数据的提取与转换的流程示意图；
[0024]图6是本申请实施例的一种数据处理的交互方法的流程示意图；
[0025]图7是本申请实施例的一种配置界面的示意图；
[0026]图8是本专利技术实施例的一种数据处理装置的结构示意图；
[0027]图9是本专利技术实施例的一种智能设备的结构示意图。
具体实施方式
[0028]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]在本申请实施例中，对于数据构建任务，可以在获取到数据构建任务后，基于该数据构建任务中任务配置信息指示的数据选取脚本、数据加载脚本自动实现从源数据环境设备中获取源数据，并将根据源数据得到的目标数据自动加载到目标数据环境设备中，以便于一些可从目标数据环境设备中获取数据的功能平台或应用能够便捷地获取到所需的目标数据。其中，数据选取脚本被执行后，能够从源数据环境设备中获取部分源数据，至于那些数据为所需的数据可以在数据选取脚本中自定义，同时数据加载脚本能够将选取的源数据所对应的目标数据加载到目标数据环境中供使用，如此既能够满足数据构建的自动化需求，又能够满足用户的个性化数据需求。整个过程中，用户只需要编写脚本，基于编写的脚本，通过本申请对应的应用即可实现数据选取和加载的自动化处理，选取和加载过程不需要用户手动参与，节省了用户时间，满足了数据构建的自动化需求。
[0030]本申请各实施例所涉及的服务器(例如实施例中提及的智能设备、管理平台中包括的设备)可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
[0031]本申请实施例可以基于云技术来实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取数据构建任务，其中，所述数据构建任务是根据检测到的数据构建事件生成的；解析所述数据构建任务，获取与所述数据构建任务关联的数据选取脚本，并通过执行所述数据选取脚本得到源数据，所述数据选取脚本用于从源数据环境设备中获取源数据；获取与所述数据构建任务关联的数据加载脚本，并通过执行所述数据加载脚本将目标数据加载到目标数据环境设备中，其中，所述目标数据是根据所述源数据得到的；向管理平台反馈关于所述目标数据被加载到目标数据环境设备的通知消息，所述通知消息用于指示所述管理平台响应所述数据构建事件，对目标数据环境设备中的目标数据进行处理。2.如权利要求1所述的方法，其特征在于，在执行所述数据选取脚本得到源数据之后、在执行所述数据加载脚本以将目标数据加载到目标数据环境设备中之前，所述方法还包括：获取与所述数据构建任务关联的数据提取脚本，并通过执行所述数据提取脚本从所述得到的源数据中提取满足筛选条件的中间数据；获取与所述数据构建任务关联的数据转换脚本，并通过执行所述数据转换脚本将所述中间数据转换为满足转换条件的目标数据。3.如权利要求2所述的方法，其特征在于，所述通过执行所述数据提取脚本从所述得到的源数据中提取满足筛选条件的中间数据，包括：按照源数据中各个数据项之间的数据关系对所述源数据进行分块，得到源分块数据，并按照数据关系将源分块数据添加到对应的队列中，得到多个源分块队列；通过执行所述数据提取脚本分别同步从各个源分块队列中的各个源分块数据中提取满足筛选条件的中间数据，得到多个中间数据分块队列；所述通过执行所述数据转换脚本将所述中间数据转换为满足转换条件的目标数据，包括：通过执行所述数据转换脚本同步对各个中间数据分块队列中的中间数据分块进行转换，分别得到满足转换条件的目标数据，并输出各目标数据。4.如权利要求1-3任一项所述的方法，其特征在于，所述数据构建任务中包括任务配置信息，所述任务配置信息是在配置界面上设置的；所述配置界面包括以下配置项的任意一项或多项：用于配置源数据环境设备标识的配置项；用于配置目标数据环境设备标识的配置项；用于配置待构建数据的数据类型的配置项；数据指示信息的配置项，所述数据指示信息包括：需要通过数据选取脚本选取的数据的来源类型和/或数据关联信息；数据存储信息的配置项，所述数据存储信息包括：需要通过数据加载脚本加载的数据的存储类型和/或数据存储信息。5.如权利要求4所述的方法，其特征在于，所述配置界面还包括有数据提取脚本的上传配置项，所述数据提取脚本的上传配置项中包括：
用于记录上传的数据提取脚本的脚本标识的记录框；用于响应用户点击操作而获取用户确认的数据提取脚本并上传该获取的数据提取脚本的上传输入按钮；用于响应用户下载操作而向用户显示数据提取脚本模板，并获取根据该数据提...

【专利技术属性】
技术研发人员：陈瑶，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：