【技术实现步骤摘要】
一种基于配置化管理的数据采集方法及系统
本专利技术涉及大数据采集
，具体地说是一种基于配置化管理的数据采集方法及系统。
技术介绍
随着大数据时代的到来，对数据的收集、处理、挖掘、分析以及应用成为十分重要的工作，数据采集是数据利用的第一步，同时也是最重要的一步，如何按照数据采集的需求，快速的、高效的、正确的进行数据采集成为当今的一个重要课题。
技术实现思路
本专利技术的技术任务是针对以上不足之处，提供一种基于配置化管理的数据采集方法及系统，通过配置快速实现不同应用场景下的数据采集需求，解决应急情况下的数据采集时效性问题，提高数据采集的效率。本专利技术解决其技术问题所采用的技术方案是：一种基于配置化管理的数据采集方法，将需要进行采集的数据对象抽象为数据对象模型，将需要采集的数据对象拥有的数据项抽象为数据对象模型属性，并对将要采集的数据对象进行配置，形成数据采集对象模型。该方法针对需要进行数据采集的数据对象，通过配置快速的实现数据采集需求，解决应急情况下的数据采集时效性问题。
【技术保护点】
1.一种基于配置化管理的数据采集方法，其特征在于，将需要进行采集的数据对象抽象为数据对象模型，将需要采集的数据对象拥有的数据项抽象为数据对象模型属性，并对将要采集的数据对象进行配置，形成数据采集对象模型。/n
【技术特征摘要】
1.一种基于配置化管理的数据采集方法，其特征在于，将需要进行采集的数据对象抽象为数据对象模型，将需要采集的数据对象拥有的数据项抽象为数据对象模型属性，并对将要采集的数据对象进行配置，形成数据采集对象模型。
2.根据权利要求1所述的一种基于配置化管理的数据采集方法，其特征在于，对数据对象模型的配置包括校验规则、采集方式、可见范围以及是否需要审核。
3.根据权利要求1或2所述的一种基于配置化管理的数据采集方法，其特征在于，该方法的实现包括：
创建数据模型：对需要采集的数据对象进行数据建模，生成数据模型；
创建数据采集模型：选取已创建的数据模型，配置数据项的信息，包括校验规则、数据字典、数据类型；
发布数据采集事项：选取已创建的数据采集模型，配置采集事项的信息，包括可见范围、采集方式和事项所属组织机构；
数据采集及处理引擎：将数据采集流程切分为数据读取、数据处理、数据写入，在数据处理中按照已配置的数据校验规则进行校验，通过后进行数据写入。
4.根据权利要求3所述的一种基于配置化管理的数据采集方法，其特征在于，还包括数据缓存：将长期固定不变的数据进行数据缓存，使用时优先从数据缓存中获取，若缓存中没有，再从数据库中进行获取并将数据放入缓存中进行保存。
5.根据权利要求3所述的一种基于配置化管理的数据采集方法，其特征在于，其实现步骤如下：
1)、将需要进行数据采集的数据表结构抽象为数据模型，并将数据模型保存于系统数据库；
2)、根据已保存的数据模型，为其配置每个数据项的信息，包括校验规则、数据字典项、数据类型和默认值，并生成数据采集模型；
3)、选取已生成的数据采集模型，进行数据采集方式配置；
4)、选取已经配置完毕的数据采集对象，进行数据采集事项发布，配置数据采集信息，包括可见范围、事项所属机构、是否需要审批，并将数据采集事项发布上线；
5)、使用者通过数据采集事项进行数据上报，按照不同的数据采集方式，对上报的数据进行处理...
【专利技术属性】
技术研发人员：宋晗，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。