一种管理数据的方法、设备及介质技术

本发明专利技术公开了一种管理数据的方法，包括以下步骤：基于数据源的类型和数据检测规则配置模板库；响应于接收到数据采集任务，基于数据采集任务在模板库中匹配对应的数据源并建立连接；判断待采集的数据是否为实时数据；响应于待采集的数据为实时数据，将数据转换成消息；基于消息从对应的数据源采集数据并基于模板库的规则判断采集到的数据是否满足要求；以及响应于采集到的数据不能满足要求，对采集到的数据进行修复。本发明专利技术还公开了一种计算机设备和可读存储介质。本发明专利技术提出的管理数据的方法、设备及介质通过可配置模板库，实现自动减少冗余、提升数据质量和降低存储占用，有利于企业开展数据分析和应用。

A method, equipment and medium for data management

【技术实现步骤摘要】
一种管理数据的方法、设备及介质
本专利技术涉及信息化
，更具体地，特别是指一种管理数据的方法、设备及可读介质。
技术介绍
随着新型互联网技术和大数据技术的广泛应用，企业信息化发展更加重视数据资产的管理。企业要进行信息化建设首要任务就是建立自己的数据管理系统，而数据管理系统的建设涉及对企业各业务系统数据进行汇聚整合。企业日常生产经营过程中，一般涉及多源异构的业务系统，包括：人力资源系统(HR)、财务管理系统(FM)、企业资源管理系统(ERP)、产品生命周期管理系统(PLM)、产品数据管理系统(PDM)、供应链管理系统(SCM)、客户关系管理系统(CRM)、制造执行系统(MES)等。由于管理的数据对象不同，这些系统的类型、存储格式、数据通讯协议差异较大。例如，他们分别管理了结构化、半结构化、非结构化的异构数据，同时按照时间维度还管理了历史数据和实时数据。在整合以上多源异构业务系统过程中，即便含有较强关联关系的业务系统之间，由于其业务系统来自不同厂商，数据结构不能有效匹配和挂接，导致数据“硬聚合”，从而造成大量冗余、缺失和错误等数据质量问题。更本文档来自技高网...

【技术保护点】
1.一种管理数据的方法，其特征在于，包括以下步骤：/n基于数据源的类型和数据检测规则配置模板库；/n响应于接收到数据采集任务，基于所述数据采集任务在所述模板库中匹配对应的数据源并建立连接；/n判断待采集的数据是否为实时数据；/n响应于所述待采集的数据为实时数据，将数据转换成消息；/n基于所述消息从所述对应的数据源采集数据并基于所述模板库的所述规则判断采集到的数据是否满足要求；以及/n响应于采集到的数据不能满足要求，对所述采集到的数据进行修复。/n

【技术特征摘要】
1.一种管理数据的方法，其特征在于，包括以下步骤：
基于数据源的类型和数据检测规则配置模板库；
响应于接收到数据采集任务，基于所述数据采集任务在所述模板库中匹配对应的数据源并建立连接；
判断待采集的数据是否为实时数据；
响应于所述待采集的数据为实时数据，将数据转换成消息；
基于所述消息从所述对应的数据源采集数据并基于所述模板库的所述规则判断采集到的数据是否满足要求；以及
响应于采集到的数据不能满足要求，对所述采集到的数据进行修复。


2.根据权利要求1所述的方法，其特征在于，还包括：
基于数据的结构配置数据结构知识库；以及
响应于所述待采集的数据为非实时数据，基于所述待采集的数据的结构在所述数据结构知识库中匹配对应的数据结构，并根据匹配后的数据结构对数据进行采集。


3.根据权利要求2所述的方法，其特征在于，还包括：
判断数据的采集比是否超过阈值；以及
响应于数据的采集比未超过阈值，调整数据结构知识库和/或匹配关系。


4.根据权利要求1所述的方法，其特征在于，所述将数据转换成消息包括：
将预定条数的数据转换成一条消息，将多条消息按照顺序写入消息队列中以供采集。


5.根据权利要求1所述的方法，其特征在于，所述对所述采集到的数据进行修复包括：
对所述采集到的数据进行冗余清除和/或缺失填补和/或错误修正。


6.一种计算机设备，其特征在于，包括：
至少一个处理器；以...

【专利技术属性】
技术研发人员：宗云兵，李富宠，王相成，王腾江，
申请(专利权)人：山东浪潮通软信息科技有限公司，
类型：发明
国别省市：山东;37