数据处理方法、装置、设备和存储介质制造方法及图纸

本申请提供一种数据处理方法、装置、设备和存储介质，本申请中的方法包括：响应数据接入请求，获取所述数据接入请求关联的目标业务数据；查询所述目标业务数据对应的目标数据字典，根据所述目标数据字典配置所述目标业务数据的目标接入文件；调用预设的调度任务模块对所述目标业务数据进行数据检测，得到目标校验数据，将所述目标校验数据接入所述目标接入文件，生成数据缓存文件；获取所述目标校验数据对应的目标数据表，将所述数据缓存文件加载到所述目标数据表。实现通过数据字典和调度任务模块自动接入目标业务数据，提高批量接入数据效率，降低接入错误率。降低接入错误率。降低接入错误率。

【技术实现步骤摘要】
数据处理方法、装置、设备和存储介质


[0001]本申请涉及计算机
，具体涉及一种数据处理方法、装置、设备和存储介质。

技术介绍

[0002]目前，随着大数据运算与分析的飞速发展，现有的金融、银行等服务类企业在处理相关业务时需要应用大数据进行分析处理。而采用大数据分析之前，需要进行数据接入，而现有的数据接入方式需要人工配置大量文件，导致批量接入大量表需要耗费大量人力和时间，并且人工配置作业时容易配置出错，可能会造成重大业务风险，影响下游开发进度及项目交付。

技术实现思路

[0003]本申请实施例提供一种数据处理方法、装置、设备和存储介质，旨在解决现有技术中数据对接过程中接入效率较低且错误率较高的技术问题。
[0004]一方面，本申请实施例提供一种数据处理方法，所述数据处理方法包括以下步骤：
[0005]响应数据接入请求，获取所述数据接入请求关联的目标业务数据；
[0006]查询所述目标业务数据对应的目标数据字典，根据所述目标数据字典配置所述目标业务数据的目标接入文件；
[0007]调用预设的调度任务模块对所述目标业务数据进行数据检测，得到目标校验数据，将所述目标校验数据接入所述目标接入文件，生成数据缓存文件；
[0008]获取所述目标校验数据对应的目标数据表，将所述数据缓存文件加载到所述目标数据表。
[0009]在本申请一种可能的实现方式，所述查询所述目标业务数据对应的目标数据字典，根据所述目标数据字典配置所述目标业务数据的目标接入文件，包括：/>[0010]查询预设的数据字典数据库，得到所述目标业务数据对应的目标数据字典；
[0011]获取所述目标数据字典中的数据结构字段和存储规则字段，根据所述数据结构字段和存储规则字段配置所述目标业务数据的目标建表语句；
[0012]将所述目标建表语句输入预设模板文件，配置得到所述目标业务数据的目标接入文件。
[0013]在本申请一种可能的实现方式，所述调用预设的调度任务模块对所述目标业务数据进行数据检测，得到目标校验数据，将所述目标校验数据接入所述目标接入文件，生成数据缓存文件，包括：
[0014]获取所述调度任务模块，得到所述调度任务模块中的数据检测子模块和检测日志子模块；
[0015]调用所述数据检测子模块对所述目标业务数据进行数据检测，得到目标校验数据，调用所述检测日志子模块输出数据检测日志；
[0016]将所述目标校验数据和所述数据检测日志录入所述目标接入文件，得到数据缓存文件。
[0017]在本申请一种可能的实现方式，所述调用所述数据检测子模块对所述目标业务数据进行数据检测，得到目标校验数据，调用所述检测日志子模块输出数据检测日志，包括：
[0018]获取所述数据检测子模块中的业务检测标识和类型检测标识；
[0019]将所述业务检测标识和所述目标业务数据的业务标识进行比较，并将所述类型检测标识和所述目标业务数据的数据类型进行比较；
[0020]将所述业务标识和所述业务检测标识相同且数据类型和所述类型检测标识相同的目标业务数据设置为目标校验数据；
[0021]将所述目标校验数据录入所述检测日志子模块，得到数据检测日志。
[0022]在本申请一种可能的实现方式，所述获取所述目标校验数据对应的目标数据表，将所述数据缓存文件中的目标校验数据加载到所述目标数据表，包括：
[0023]获取所述目标校验数据的业务类型和数据类型；
[0024]根据所述业务类型和所述数据类型与预设数据集群中的预设数据表进行匹配，得到目标数据表；
[0025]调用预设同步模块将所述数据缓存文件传入所述目标数据集群，根据预设接入配置将所述数据缓存文件中的目标校验数据加载到所述目标数据集群中的目标数据表。
[0026]在本申请一种可能的实现方式，所述调用预设的调度任务模块对所述目标业务数据进行数据检测，得到目标校验数据，将所述目标校验数据接入所述目标接入文件，生成数据缓存文件，包括：
[0027]获取预设的发版配置文件，按照所述发版配置文件对所述目标接入文件进行发版处理，得到目标发版文件；
[0028]调用预设的调度任务模块对所述目标业务数据进行数据检测，得到目标校验数据，并将所述目标校验数据接入所述目标发版文件，生成数据缓存文件。
[0029]在本申请一种可能的实现方式，所述查询所述目标业务数据对应的目标数据字典，根据所述目标数据字典配置所述目标业务数据的目标接入文件之后，还包括：
[0030]响应配置更新请求，获取所述配置更新请求关联的更新数据字典；
[0031]获取所述更新数据字典中的更新结构字段和更新规则字段，按照所述更新结构字段和所述更新规则字段配置更新表语句；
[0032]根据所述更新表语句对所述目标接入文件进行更新配置，得到更新后的目标接入文件。
[0033]另一方面，本申请提供一种数据处理装置，所述数据处理装置包括：
[0034]数据获取模块，被配置为响应数据接入请求，获取所述数据接入请求关联的目标业务数据；
[0035]文件配置模块，被配置为查询所述目标业务数据对应的目标数据字典，根据所述目标数据字典配置所述目标业务数据的目标接入文件；
[0036]数据检测模块，被配置为调用预设的调度任务模块对所述目标业务数据进行数据检测，得到目标校验数据，将所述目标校验数据接入所述目标接入文件，生成数据缓存文件；
[0037]数据加载模块，被配置为获取所述目标校验数据对应的目标数据表，将所述数据缓存文件加载到所述目标数据表。
[0038]另一方面，本申请还提供一种数据处理设备，所述数据处理设备包括：
[0039]一个或多个处理器；
[0040]存储器；以及
[0041]一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现所述的数据处理方法的步骤。
[0042]另一方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的数据处理方法中的步骤。
[0043]本申请中通过响应数据接入请求，获取所述数据接入请求关联的目标业务数据；查询所述目标业务数据对应的目标数据字典，根据所述目标数据字典配置所述目标业务数据的目标接入文件；调用预设的调度任务模块对所述目标业务数据进行数据检测，得到目标校验数据，将所述目标校验数据接入所述目标接入文件，生成数据缓存文件；获取所述目标校验数据对应的目标数据表，将所述数据缓存文件加载到所述目标数据表。实现通过数据字典和调度任务模块自动接入目标业务数据，提高批量接入数据效率，降低接入错误率。
附图说明
[0044]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述数据处理方法包括：响应数据接入请求，获取所述数据接入请求关联的目标业务数据；查询所述目标业务数据对应的目标数据字典，根据所述目标数据字典配置所述目标业务数据的目标接入文件；调用预设的调度任务模块对所述目标业务数据进行数据检测，得到目标校验数据，将所述目标校验数据接入所述目标接入文件，生成数据缓存文件；获取所述目标校验数据对应的目标数据表，将所述数据缓存文件加载到所述目标数据表。2.如权利要求1所述的数据处理方法，其特征在于，所述查询所述目标业务数据对应的目标数据字典，根据所述目标数据字典配置所述目标业务数据的目标接入文件，包括：查询预设的数据字典数据库，得到所述目标业务数据对应的目标数据字典；获取所述目标数据字典中的数据结构字段和存储规则字段，根据所述数据结构字段和存储规则字段配置所述目标业务数据的目标建表语句；将所述目标建表语句输入预设模板文件，配置得到所述目标业务数据的目标接入文件。3.如权利要求1所述的数据处理方法，其特征在于，所述调用预设的调度任务模块对所述目标业务数据进行数据检测，得到目标校验数据，将所述目标校验数据接入所述目标接入文件，生成数据缓存文件，包括：获取所述调度任务模块，得到所述调度任务模块中的数据检测子模块和检测日志子模块；调用所述数据检测子模块对所述目标业务数据进行数据检测，得到目标校验数据，调用所述检测日志子模块输出数据检测日志；将所述目标校验数据和所述数据检测日志录入所述目标接入文件，得到数据缓存文件。4.如权利要求3所述的数据处理方法，其特征在于，所述调用所述数据检测子模块对所述目标业务数据进行数据检测，得到目标校验数据，调用所述检测日志子模块输出数据检测日志，包括：获取所述数据检测子模块中的业务检测标识和类型检测标识；将所述业务检测标识和所述目标业务数据的业务标识进行比较，并将所述类型检测标识和所述目标业务数据的数据类型进行比较；将所述业务标识和所述业务检测标识相同且数据类型和所述类型检测标识相同的目标业务数据设置为目标校验数据；将所述目标校验数据录入所述检测日志子模块，得到数据检测日志。5.如权利要求1所述的数据处理方法，其特征在于，所述获取所述目标校验数据对应的目标数据表，将所述数据缓存文件加载到所述目标数据表，包括：获取所述目标校验数据的业务类型和数据类型；根据所述业务类...

【专利技术属性】
技术研发人员：林国房，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：