【技术实现步骤摘要】
本说明书的一个或多个实施例涉及数据处理，特别的涉及一种数据采集装置、数据平台服务器、数据采集方法。
技术介绍
1、互联网技术可以为用户提供丰富的业务服务，在此过程中也产生了大量业务数据，业务数据承载了用户需求信息。
2、通过对业务数据进行处理及分析，可以更好地挖掘用户需求信息，为用户提供优质服务。这其中，如何高效采集业务数据成为业界面临的一个课题。
技术实现思路
1、本说明书一个或多个实施例描述了一种数据采集装置、数据平台服务器、数据采集方法，能够基于采集任务将采集过程中涉及的数据存储表单、数据采集模式、数据处理关联在一起，快速完成数据采集和处理。
2、第一方面，本说明书实施例提供了一种数据采集装置，包括：
3、元数据配置模块，用于配置采集任务、采集表、资产表、采集模式、数据处理节点；每一个采集任务与其相关的采集表、资产表、采集模式、数据处理节点进行关联配置；
4、数据采集模块，用于基于采集任务的配置信息采集外部系统数据；
5、数据处理模块，用于调用若干个数据处理节点对采集的数据和/或采集表的数据进行处理；
6、其中，所述采集表用于存储由所述数据采集模块采集的数据，或存储经所述数据处理节点对所述数据采集模块采集的数据处理后的数据；所述资产表用于存储对所述采集表的数据经数据处理节点处理后的数据。
7、第二方面，本说明书实施例提供了一种数据平台服务器，配置有上述数据采集装置；所述数据平台服务器获取业务方
8、第三方面，本说明书实施例提供了数据采集方法，包括：
9、基于业务方的数据采集需求信息，对采集任务进行配置，配置后的采集任务关联配置有采集表、资产表、采集模式、数据处理节点；
10、基于采集任务的配置信息，采集外部系统数据，并将采集数据存入采集表或经数据处理节点处理后存入采集表，对采集表的数据经数据处理节点处理后存入资产表；所述资产表用于反馈给业务方。
11、第四方面，本说明书实施例提供了电子设备，包括处理器以及存储器；
12、所述处理器与所述存储器相连；
13、所述存储器，用于存储可执行程序代码；
14、所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行上述方法。
15、第五方面，本说明书实施例提供了计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。
16、本说明书一些实施例提供的技术方案带来的有益效果至少包括：
17、在本说明书一个或多个实施例中，本说明书实施例的数据采集装置具有可配置的元数据配置模块，可实现运营配置自主化。具体地，可配置采集表、资产表、采集模式和数据处理节点。其中，数据处理节点的数量、数据处理节点处理数据的位置、数据处理节点处理功能都可根据需要进行灵活配置。进一步，本说明书实施例的数据采集装置，利用该元数据配置模块以采集任务为核心，将采集表、资产表、采集模式、数据处理节点串联起来，可快速实现数据采集、数据处理。此外，数据采集装置可实现在线、离线数据采集处理。配置有数据采集装置的数据平台服务器能在响应业务方的数据采集需求时，通过与外部系统的开放接口对外部系统的数据进行采集，并将采集获得的资产表反馈给业务方。
本文档来自技高网...【技术保护点】
1.数据采集装置，包括：
2.根据权利要求1所述的装置，所述元数据配置模块包括：
3.根据权利要求2所述的装置，所述采集模式配置单元包括：
4.根据权利要求2所述的装置，所述数据处理节点可被配置为前置数据处理节点或后置数据处理节点；所述前置数据处理节点用于处理存储到采集表前的数据，所述后置数据处理节点用于处理存储到资产表前的数据。
5.根据权利要求2所述的装置，所述数据处理节点可被配置为数据过滤节点或规则引擎处理节点或特征提取节点。
6.根据权利要求2所述的装置，所述数据处理节点可被配置为在线数据处理节点或离线数据处理节点。
7.根据权利要求1所述的装置，所述数据处理模块包括：
8.根据权利要求7所述的装置，所述数据处理模块还包括：
9.根据权利要求1所述的装置，同一采集任务中的采集表和资产表可被配置为同一张数据库表，或者被配置为两张数据库表。
10.根据权利要求1所述的装置，所述采集表和所述资产表可被配置为在线表或离线表。
11.根据权利要求7所述的装置，所述
12.根据权利要求1所述的装置，还包括：
13.根据权利要求1所述的装置，还包括：
14.数据平台服务器，配置有如权利要求1-13之一所述的数据采集装置；所述数据平台服务器获取业务方的数据采集需求信息，所述数据采集装置基于业务方的数据采集需求信息利用元数据配置模块进行配置；所述数据采集装置还基于采集任务的配置信息，采集外部系统数据，并将采集数据存入采集表或经数据处理节点处理后存入采集表，对采集表的数据经数据处理节点处理后存入资产表；所述资产表用于反馈给业务方。
15.数据采集方法，包括：
16.根据权利要求15所述的方法，在所述基于业务方的数据采集需求信息，
17.根据权利要求15所述的方法，所述基于采集任务的配置信息，采集外部系统数据的步骤，在定时调度触发时或在消息触发时执行。
18.根据权利要求15所述的方法，在所述采集外部系统数据之前，还包括：
19.根据权利要求15所述的方法，在所述采集外部系统数据之前，还包括：
20.电子设备，包括处理器以及存储器；
21.计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求15-19任一项所述的方法。
...【技术特征摘要】
1.数据采集装置，包括：
2.根据权利要求1所述的装置，所述元数据配置模块包括：
3.根据权利要求2所述的装置，所述采集模式配置单元包括：
4.根据权利要求2所述的装置，所述数据处理节点可被配置为前置数据处理节点或后置数据处理节点；所述前置数据处理节点用于处理存储到采集表前的数据，所述后置数据处理节点用于处理存储到资产表前的数据。
5.根据权利要求2所述的装置，所述数据处理节点可被配置为数据过滤节点或规则引擎处理节点或特征提取节点。
6.根据权利要求2所述的装置，所述数据处理节点可被配置为在线数据处理节点或离线数据处理节点。
7.根据权利要求1所述的装置，所述数据处理模块包括：
8.根据权利要求7所述的装置，所述数据处理模块还包括：
9.根据权利要求1所述的装置，同一采集任务中的采集表和资产表可被配置为同一张数据库表，或者被配置为两张数据库表。
10.根据权利要求1所述的装置，所述采集表和所述资产表可被配置为在线表或离线表。
11.根据权利要求7所述的装置，所述数据处理模块还包括：
12.根据权利要求1所述的装置，还包...
【专利技术属性】
技术研发人员：胡新磊，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。