一种数据处理方法技术

本申请涉及一种数据处理方法，该方法中数据处理端在接收到交互服务端的指定文件的情况下，从指定文件中解析出用于接入数据源的账号和密码，其中，数据源中存储有待处理数据；采用账号和密码，与数据源建立连接；根据数据源中的待处理数据的类型，确定待处理数据对应的任务的类型，作为指定类型；根据待处理数据，得到对应于指定类型的任务；对任务进行处理，得到处理结果。该方法中，交互服务端通过指定文件将获取待处理数据所需的账号和密码发送至数据处理端，则数据处理端无需为接入数据源重新进行系统架构的搭建，即能够从数据源获取待处理数据，降低数据处理端从数据源获取待处理数据的门槛，有利于降低数据处理的成本。有利于降低数据处理的成本。有利于降低数据处理的成本。

【技术实现步骤摘要】
一种数据处理方法


[0001]本申请涉及数据处理
，尤其涉及一种数据处理方法。

技术介绍

[0002]随着移动互联网技术不断成熟，大量的数据充斥着人们的生产、生活。对数据的应用方式种类繁多，为企业、团体(以下统称用户)提供数据处理服务的数据处理平台应运而生。
[0003]通常情况下，不同用户对数据的处理结果的需求不同，需要数据处理平台为不同用户提供与其需求适配的框架和接口。在对接的用户的量较多的情况下，数据处理平台对框架和接口的维护、管理的工作量也较大。若有新的数据源接入，则需要为该新的用户开发新的框架和接口，提高了用户接入的成本。

技术实现思路

[0004]本申请提供了一种数据处理方法，以解决现有技术中存在的数据源接入效率较低、数据处理平台维护、管理成本较高的问题。
[0005]第一方面，本申请提供了第一种数据处理方法，所述方法应用于数据处理端，所述方法包括：在接收到交互服务端的指定文件的情况下，从所述指定文件中解析出用于接入数据源的账号和密码，其中，所述数据源中存储有待处理数据；采用所述账号和密码，与所述数据源建立连接；根据数据源中的待处理数据的类型，确定所述待处理数据对应的任务的类型，作为指定类型，所述任务的类型包括以下至少一种：Simple类型、Stream类型、Script类型；根据所述待处理数据，得到对应于所述指定类型的任务；对所述任务进行处理，得到处理结果。
[0006]在本说明书一个可选的实施例中，所述指定文件包括jar包。
[0007]在本说明书一个可选的实施例中，在接收到交互服务端的指定文件的情况下，从所述指定文件中解析出用于接入数据源的账号和密码之前，所述方法还包括：将所述数据处理端的第一接口信息注册至服务发现平台，其中，所述第一接口信息用于实现与交互服务端的通信连接。
[0008]在本说明书一个可选的实施例中，所述数据处理端基于任务处理系统，所述任务处理系统包括注册中心和若干个节点，其中，对所述任务进行处理，得到处理结果，包括：所述若干个节点中的主节点对所述任务进行分片处理，得到若干个分片；所述主节点将所述若干个分片的分片标记持久化至所述注册中心；所述若干节点中的每一个节点，针对所述注册中心中的每一个分片标记，抓取所述分片标记对应的分片，作为目标分片；若所述目标分片的状态为处于运行中，则采用所述目标分片所属的任务的类型对应的处理方式，对所述目标分片进行处理，得到所述目标分片对应的子处理结果；对各分片各自对应的子处理结果进行汇总，得到处理结果。分片的规则是根据当前节点的cpu和内存占用情况来处理，当cpu和内存占比很高的情况下，就不会在该节点上运行任务。
[0009]在本说明书一个可选的实施例中，在检测到指定文件的情况下，从所述指定文件中解析出用于获取待处理数据的账号和密码之后，所述方法还包括：若接收到交互服务端发送的新的账号和密码，则根据所述新的账号和密码，更新从所述指定文件中解析出的账号和密码。
[0010]此外，若数据处理端采用从指定文件中解析出的账号和密码无法与数据源建立连接，则数据处理端生成指定文件错误提示信息发送至交互服务端，使得用户根据交互服务端展示的指定文件错误提示信息，重新生成指定文件。
[0011]在本说明书一个可选的实施例中，获取所述指定文件之前，所述方法还包括：将数据源信息模板发送至交互服务端，使得交互服务端生成展示有数据源信息模板的前端页面，其中，所述数据源信息模板中包括用于添加账号和密码的若干个字段。
[0012]第二方面，本申请提供了第二种数据处理方法，所述方法应用于交互服务端，所述方法包括：
[0013]在获取到指定文件的情况下，将所述指定文件发送至数据处理端，使得所述数据处理端从所述指定文件中解析出用于获取待处理数据的账号和密码，之后根据所述账号和密码，从所述账号和密码对应的数据源获取待处理数据，根据获取到的待处理数据的类型，确定所述待处理数据对应的任务的类型，作为指定类型，所述任务的类型包括以下至少一种：Simple类型、Stream类型、 Script类型；根据所述待处理数据，得到对应于所述指定类型的任务；对所述任务进行处理，得到处理结果。
[0014]在本说明书一个可选的实施例中，在获取到指定文件的情况下，将所述指定文件发送至数据处理端之前，所述方法还包括：生成前端页面，获取通过所述前端页面上传的指定文件；和/或，将所述交互服务端的第二接口信息注册至服务发现平台，其中，所述第二接口信息用于实现与数据处理端的通信连接。
[0015]在本说明书一个可选的实施例中，生成前端页面，包括：接收所述数据处理端的数据源信息模板，其中，所述数据源信息模板中包括用于添加账号和密码的若干个字段；生成前端页面，其中，所述前端页面中展示有数据源信息模板。
[0016]第三方面，本申请提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
[0017]存储器，用于存放计算机程序；
[0018]处理器，用于执行存储器上所存放的程序时，实现第一方面中任一种数据处理方法的步骤或实现第二方面中任一种数据处理方法的步骤。
[0019]第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一种数据处理方法的步骤或实现第二方面中任一种数据处理方法的步骤。
[0020]本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
[0021]本申请实施例提供的方法应用于数据能力领域，可以应用于数据传输。本说明书中的数据处理方法，交互服务端通过指定文件将获取待处理数据所需的账号和密码发送至数据处理端，则数据处理端无需为接入数据源重新进行系统架构的搭建，即能够从数据源获取待处理数据，降低数据处理端从数据源获取待处理数据的门槛，有利于降低数据处理的成本。
附图说明
[0022]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。
[0023]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0024]图1为本申请实施例提供的数据处理过程涉及的场景示意图；
[0025]图2为本申请实施例提供的数据处理过程的流程示意图；
[0026]图3为本申请实施例提供的数据处理过程的处理任务的过程示意图；
[0027]图4为对应于图2方法过程中部分步骤的第一种数据处理装置示意图；
[0028]图5为对应于图2方法过程中部分步骤的第二种数据处理装置示意图；
[0029]图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0030]为使本申请实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法应用于数据处理端，所述方法包括：在接收到交互服务端的指定文件的情况下，从所述指定文件中解析出用于接入数据源的账号和密码，其中，所述数据源中存储有待处理数据；采用所述账号和密码，与所述数据源建立连接；根据数据源中的待处理数据的类型，确定所述待处理数据对应的任务的类型，作为指定类型，所述任务的类型包括以下至少一种：Simple类型、Stream类型、Script类型；根据所述待处理数据，得到对应于所述指定类型的任务；对所述任务进行处理，得到处理结果。2.根据权利要求1所述的方法，其特征在于，所述指定文件包括jar包，和/或，在接收到交互服务端的指定文件的情况下，从所述指定文件中解析出用于接入数据源的账号和密码之前，所述方法还包括：将所述数据处理端的第一接口信息注册至服务发现平台，其中，所述第一接口信息用于实现与交互服务端的通信连接。3.根据权利要求1所述的方法，其特征在于，所述数据处理端基于任务处理系统，所述任务处理系统包括注册中心和若干个节点，其中，对所述任务进行处理，得到处理结果，包括：所述若干个节点中的主节点对所述任务进行分片处理，得到若干个分片；所述主节点将所述若干个分片的分片标记持久化至所述注册中心；所述若干节点中的每一个节点，针对所述注册中心中的每一个分片标记，抓取所述分片标记对应的分片，作为目标分片；若所述目标分片的状态为处于运行中，则采用所述目标分片所属的任务的类型对应的处理方式，对所述目标分片进行处理，得到所述目标分片对应的子处理结果；对各分片各自对应的子处理结果进行汇总，得到处理结果。4.根据权利要求1所述的方法，其特征在于，在检测到指定文件的情况下，从所述指定文件中解析出用于获取待处理数据的账号和密码之后，所述方法还包括：若接收到交互服务端发送的新的账号和密码，则根据所述新的账号和密码，更新从所述指定文件中解析出的账号和密码。5.根据权利要求1所述的方法，其特征在于，获取所述指定...

【专利技术属性】
技术研发人员：苏进文，
申请(专利权)人：北京明略软件系统有限公司，
类型：发明
国别省市：