【技术实现步骤摘要】
本申请涉及大数据，尤其涉及一种数据采集系统及方法。
技术介绍
1、大数据云平台通过将采集到的数据变成数据资产，并提供数据能力组件和运行机制，形成聚合数据采集、集成、清洗加工以及挖掘分析的能力，并以共享服务的方式将数据对外提供，从而与业务产生联动，快速强硬业务需求，支撑数据融通共享、分析挖掘和数据运营，创造业务价值。目前，随着大数据云平台对于数据的需求越来越宽泛，用户对于实时数据的采集、处理和应用的场景越来越多，同时对于数据的内容丰富性、数据质量以及数据生产周期的要求也越来越严格。数据采集作为大数据云平台所有数据的入口和开端，其实时数据采集的时效性和质量高低、数据采集功能的完备性和易用性奠定了大数据云平台中后续所有的数据加工操作的基础，也在一定程度上决定了实时数据分析结论的质量可靠性和价值高低。
2、相关技术中，大数据云平台通过采用服务端和数据采集组件相结合的方式进行数据采集，即用户在进行数据采集时，需要将大数据云平台使用和数据采集客户端使用相结合。具体的，通过从大数据云平台下载数据采集组件，将该数据采集组件部署在数据来源所在...
【技术保护点】
1.一种数据采集系统，其特征在于，所述数据采集系统部署在大数据云平台上，在数据来源所在系统的客户端页面部署所述大数据云平台的前端页面，用户基于所述前端页面，通过登录所述大数据云平台进入所述数据采集系统页面，所述数据采集系统包括：数据源配置模块、映射配置模块、运行配置模块以及运维模块；
2.根据权利要求1所述的数据采集系统，其特征在于，所述数据源配置模块包括数据来源配置单元和目标数据源配置单元；
3.根据权利要求1所述的数据采集系统，其特征在于，所述映射配置模块包括接口映射单元和字段映射单元；
4.根据权利要求1所述的数据采集系统，其...
【技术特征摘要】
1.一种数据采集系统，其特征在于，所述数据采集系统部署在大数据云平台上，在数据来源所在系统的客户端页面部署所述大数据云平台的前端页面，用户基于所述前端页面，通过登录所述大数据云平台进入所述数据采集系统页面，所述数据采集系统包括：数据源配置模块、映射配置模块、运行配置模块以及运维模块；
2.根据权利要求1所述的数据采集系统，其特征在于，所述数据源配置模块包括数据来源配置单元和目标数据源配置单元；
3.根据权利要求1所述的数据采集系统，其特征在于，所述映射配置模块包括接口映射单元和字段映射单元；
4.根据权利要求1所述的数据采集系统，其特征在于，所述运行配置页面，还用于提供增量数据采集配置，以及增量与全量结合的数据采集配置。
5.根据权利要求1至4中任一项所述的数据采集系统，其特征在于，所述数据采集系统还包括检核配置模块；
6.根据权利要求1...
【专利技术属性】
技术研发人员：李思维，刘飞，许琳，黄启成，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。