一种数据采集方法及系统技术方案

本发明专利技术涉及数据采集领域，具体提供了一种数据采集方法，具有以下步骤：S1、制定需求；S2、生成采集脚本；S3、脚本验证；S4、脚本自动化生成工具优化；S5、脚本上线；S6、数据巡检及数据质量核查。与现有技术相比，本发明专利技术的一种数据采集方法，可以解决数据分散、脏数据的问题，且能大大提升数据采集的效率，具有良好的推广价值。

【技术实现步骤摘要】
一种数据采集方法及系统
本专利技术涉及数据采集领域，具体提供一种数据采集方法及系统。
技术介绍
数据，作为生产资料已成为社会共识。数据的集中采集、开发和利用能够有效形成产业聚集效应，带来巨大的经济价值和社会效应。近年来由于企业、机构对各种数据的需求越来越大，如何将大量的数据转换成有用的信息，为人民生活和社会发展的各方面提供正确的决策，传统的数据库系统已经无法满足需要。
技术实现思路
本专利技术是针对上述现有技术的不足，提供一种实用性强的数据采集方法。本专利技术进一步的技术任务是提供一种设计合理，安全适用的数据采集系统。本专利技术解决其技术问题所采用的技术方案是：一种数据采集方法，具有以下步骤：S1、制定需求；S2、生成采集脚本；S3、脚本验证；S4、脚本自动化生成工具优化；S5、脚本上线；S6、数据巡检及数据质量核查。进一步的，在步骤S1中，根据数据需求方对数据的数据需求，对数据进行分析，编写数据字典，汇总数据库信息。进一步的,在步骤S2本文档来自技高网...

【技术保护点】
1.一种数据采集方法，其特征在于，具有以下步骤：/nS1、制定需求；/nS2、生成采集脚本；/nS3、脚本验证；/nS4、脚本自动化生成工具优化；/nS5、脚本上线；/nS6、数据巡检及数据质量核查。/n

【技术特征摘要】
1.一种数据采集方法，其特征在于，具有以下步骤：
S1、制定需求；
S2、生成采集脚本；
S3、脚本验证；
S4、脚本自动化生成工具优化；
S5、脚本上线；
S6、数据巡检及数据质量核查。


2.根据权利要求1所述的一种数据采集方法，其特征在于，在步骤S1中，根据数据需求方对数据的数据需求，对数据进行分析，编写数据字典，汇总数据库信息。


3.根据权利要求1或2所述的一种数据采集方法，其特征在于，在步骤S2中，将要待采集的需求数据字典表及数据库信息输入数据采集脚本自动化生成工具，点击脚本生成按钮，生成Informatica三层采集脚本。


4.根据权利要求3所述的一种数据采集方法，其特征在于，在步骤S3中，包括：
S301、在对应的数据库中创建验证表；
S302、将生成的Informatica三层采集脚本按采集流程顺序一、二、三层导入到Informatica中；
S303、点击运行一、二、三层采集程序；
S304、运行完毕，查看数据库中表数据是否准确采集到表中，若数据能正常采集到表中，则表明脚本正确；
若数据未能准确的采集到表中，则表明脚本有误。


5.根据权利要求4所述的一...

【专利技术属性】
技术研发人员：王家海，国靖，祖佳征，
申请(专利权)人：浪潮卓数大数据产业发展有限公司，
类型：发明
国别省市：江苏;32