一种数据采集方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据采集方法、装置、电子设备及存储介质。该方法应用于数据采集引擎，包括：监测业务数据的规则配置信息；在所述规则配置信息发生变更的情况下，基于变更后的规则配置信息更新规则配置文件和存储物理表，得到目标规则配置文件和目标存储物理表；基于所述目标规则配置文件对所述业务数据进行质量检测，得到检测结果；将所述检测结果存储至对应的目标存储物理表中，得到目标治理数据。本发明专利技术通过数据采集引擎监测规则配置信息的变化，并更新规则配置文件和存储物理表，实现了规则配置文件和存储物理表的自动更新，减少了规则配置文件和存储物理表的配置时间，提高了数据采集的效率。了数据采集的效率。了数据采集的效率。

【技术实现步骤摘要】
一种数据采集方法、装置、电子设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据采集方法、装置、电子设备及存储介质。

技术介绍

[0002]随着数据集市、数据仓库等技术的成熟，推动了各业务领域数据应用的迅速发展，业务数据的数据治理成为不可或缺的一部分。
[0003]目前，在数据治理过程中，通常采用硬编码的方式对数据进行治理，该方法在待治理数据采集过程中，只能通过人工编辑源代码和重新编译可执行文件来进行调整规则等信息，采集效率较低。

技术实现思路

[0004]本专利技术提供了一种数据采集方法、装置、电子设备及存储介质，以实现提高数据采集的效率。
[0005]根据本专利技术的一方面，提供了一种数据采集方法，应用于数据采集引擎，包括：
[0006]监测业务数据的规则配置信息；
[0007]在所述规则配置信息发生变更的情况下，基于变更后的规则配置信息更新规则配置文件和存储物理表，得到目标规则配置文件和目标存储物理表；
[0008]基于所述目标规则配置文件对所述业务数据进行质本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据采集方法，其特征在于，应用于数据采集引擎，包括：监测业务数据的规则配置信息；在所述规则配置信息发生变更的情况下，基于变更后的规则配置信息更新规则配置文件和存储物理表，得到目标规则配置文件和目标存储物理表；基于所述目标规则配置文件对所述业务数据进行质量检测，得到检测结果；将所述检测结果存储至对应的目标存储物理表中，得到目标治理数据。2.根据权利要求1所述的方法，其特征在于，所述基于变更后的规则配置信息更新规则配置文件和存储物理表，得到目标规则配置文件和目标存储物理表，包括：提取变更后的规则配置信息的关键标识，对所述关键标识进行属性划分，基于属性划分后的关键标识构建目标存储物理表；以所述目标存储物理表为单位，根据预设文件配置规则对所述变更后的规则配置信息进行编制，得到目标规则配置文件。3.根据权利要求1所述的方法，其特征在于，在基于变更后的规则配置信息更新规则配置文件和存储物理表，得到目标规则配置文件和目标存储物理表之后，所述方法还包括：将所述目标规则配置文件进行拆解，将拆解后的配置信息存储至关系型数据库，并生成所述拆解后的配置信息的索引信息。4.根据权利要求3所述的方法，其特征在于，在基于所述目标规则配置文件对所述业务数据进行质量检测之前，所述方法还包括：在采集任务满足预设判断条件的情况下，获取所述拆解后的配置信息的索引信息；将所述索引信息在所述关系型数据库中进行匹配，得到所述索引信息对应的拆解后的配置信息；对所述索引信息对应的拆解后的配置信息进行组装，得到目标规则配置文件。5.根据权利要求4所述的方法，其特征在于，所述预设判断条件用于判断所述采集任务是否满足调度要求，其中，所述预设判断条件包括预设时间、预设时间间隔或者预设任务执行次数中的任一项。6.根据权利要求1所述的方法，其特征在于，所述基于...

【专利技术属性】
技术研发人员：石花，刘煜东，牛向远，杨森，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：