【技术实现步骤摘要】
本说明书的一个或多个实施例涉及数据处理，特别的涉及一种数据采集装置、数据平台服务器、数据采集方法。
技术介绍
1、互联网技术可以为用户提供丰富的业务服务，在此过程中也产生了大量业务数据，业务数据承载了用户需求信息。
2、通过对业务数据进行处理及分析，可以更好地挖掘用户需求信息，为用户提供优质服务。这其中，如何高效采集业务数据成为业界面临的一个课题。
技术实现思路
1、本说明书一个或多个实施例描述了一种数据采集装置、数据平台服务器、数据采集方法，能够基于采集任务将采集过程中涉及的数据存储表单、数据采集模式、数据处理关联在一起，快速完成数据采集和处理。
2、第一方面，本说明书实施例提供了一种数据采集装置，包括：
3、元数据配置模块，用于配置采集任务、采集表、资产表、采集模式、数据处理节点；每一个采集任务与其相关的采集表、资产表、采集模式、数据处理节点进行关联配置；
4、数据采集模块，用于基于采集任务的配置信息采集外部系统数据；
5、数...
【技术保护点】
1.数据采集装置，包括：
2.根据权利要求1所述的装置，所述元数据配置模块包括：
3.根据权利要求2所述的装置，所述采集模式配置单元包括：
4.根据权利要求2所述的装置，所述数据处理节点可被配置为前置数据处理节点或后置数据处理节点；所述前置数据处理节点用于处理存储到采集表前的数据，所述后置数据处理节点用于处理存储到资产表前的数据。
5.根据权利要求2所述的装置，所述数据处理节点可被配置为数据过滤节点或规则引擎处理节点或特征提取节点。
6.根据权利要求2所述的装置，所述数据处理节点可被配置为在线数据处理节点或离
【技术特征摘要】
1.数据采集装置，包括：
2.根据权利要求1所述的装置，所述元数据配置模块包括：
3.根据权利要求2所述的装置，所述采集模式配置单元包括：
4.根据权利要求2所述的装置，所述数据处理节点可被配置为前置数据处理节点或后置数据处理节点；所述前置数据处理节点用于处理存储到采集表前的数据，所述后置数据处理节点用于处理存储到资产表前的数据。
5.根据权利要求2所述的装置，所述数据处理节点可被配置为数据过滤节点或规则引擎处理节点或特征提取节点。
6.根据权利要求2所述的装置，所述数据处理节点可被配置为在线数据处理节点或离线数据处理节点。
7.根据权利要求1所述的装置，所述数据处理模块包括：
8.根据权利要求7所述的装置，所述数据处理模块还包括：
9.根据权利要求1所述的装置，同一采集任务中的采集表和资产表可被配置为同一张数据库表，或者被配置为两张数据库表。
10.根据权利要求1所述的装置，所述采集表和所述资产表可被配置为在线表或离线表。
11.根据权利要求7所述的装置，所述数据处理模块还包括：
12.根据权利要求1所述的装置，还包...
【专利技术属性】
技术研发人员：胡新磊，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。