本说明书提供了一种数据处理方法、装置和服务器。基于该方法，数据湖服务器在检测到接收到上游应用更新下传的目标数据时，可以在将该目标数据加载到目标数据湖之前，先对该目标数据进行预处理检查；在确定目标数据预处理检查通过的情况下，再将该目标数据以贴源入湖的方式加载到目标数据湖中，以保证加载到目标数据湖的数据是可靠的且与上游系统保持一致的数据；再获取并根据目标数据湖的血缘关系，确定出与该目标数据关联的下游应用；调用下游应用来批量加载和/或处理该目标数据。从而可以自动且高效地完成与数据湖相关的数据处理，保证加载入湖的数据准确、可靠，并能及时地调用相应的下游应用批量完成针对新入湖数据的加载和/或处理。载和/或处理。载和/或处理。
【技术实现步骤摘要】
数据处理方法、装置和服务器
[0001]本说明书属于大数据
，尤其涉及数据处理方法、装置和服务器。
技术介绍
[0002]在大数据
，常常会使用数据湖来对系统或平台接入的海量业务数据进行数据存储和数据共享。
[0003]但是，基于现有的数据处理方法，在对数据湖进行相关数据处理时，往往存在数据处理过程繁琐、复杂，处理效率低等技术问题。
[0004]针对上述问题，目前尚未提出有效的解决方案。
技术实现思路
[0005]本说明书提供了一种数据处理方法、装置和服务器，以能够自动且高效地完成与数据湖相关的数据处理。
[0006]本说明书实施例提供了一种数据处理方法，应用于数据湖服务器，包括：
[0007]检测是否接收到上游应用下传的目标数据；
[0008]确定接收到上游应用下传的目标数据的情况下，对所述目标数据进行预处理检查；接收所述服务提供方返回的服务。
[0009]在确定目标数据预处理检查通过的情况下，将所述目标数据以贴源入湖的方式加载到目标数据湖中；其中，所述目标数据湖用于存储上游应用、下游应用共享的数据；
[0010]获取并根据目标数据湖的血缘关系，确定出与目标数据关联的下游应用；
[0011]调用所述下游应用批量加载和/或处理所述目标数据。
[0012]在一些实施例中，所述目标数据还携带有下传时间。
[0013]在一些实施例中，在确定接收到上游应用下传的目标数据之后，所述方法还包括：
[0014]获取上一次接收到的应用标识相同的上游应用下传的目标数据的下传时间，作为参考时间；
[0015]通过比较所述参考时间和所目标数据的下传时间，确定所述目标数据是否有效。
[0016]在一些实施例中，对所述目标数据进行预处理检查，包括：
[0017]根据预设的数据检查规则，对目标数据的目标特征进行检查，以确定目标特征是否符合预设要求；其中，所述目标特征包括以下至少之一：数据的长度、数据的码制、数据的名称、数据的传输信息、数据的结构、数据的存储路径、数据的存储格式；
[0018]在确定目标特征符合预设要求的情况下，确定目标数据预处理检查通过。
[0019]在一些实施例中，将所述目标数据以贴源入湖的方式加载到目标数据湖中，包括：
[0020]获取与上游应用匹配的数据质量检查规则；
[0021]在将所述目标数据加载到目标数据湖的同时；根据所述数据质量检查规则，从入湖的目标数据中抽取关键数据，并对所述关键数据进行数据质量检查，以使得入湖的目标数据与上游应用匹配。
[0022]在一些实施例中，在调用所述下游应用批量加载和/或处理所述目标数据之后，所述方法还包括：
[0023]确定调用所述下游应用批量加载和/或处理所述目标数据的处理结果是否为失败；
[0024]在确定处理结果为失败的情况下，生成错误日志；
[0025]向所述下游应用发送所述错误日志。
[0026]在一些实施例中，所述目标数据包括接口文件。
[0027]在一些实施例中，所述上游应用包括银行卡应用；所述下游应用包括账户风控应用。
[0028]本说明书实施例还提供了一种数据处理装置，应用于数据湖服务器，包括：
[0029]检测模块，用于检测是否接收到上游应用下传的目标数据；
[0030]检查模块，用于在确定接收到上游应用下传的目标数据的情况下，对所述目标数据进行预处理检查；
[0031]加载模块，用于在确定目标数据预处理检查通过的情况下，将所述目标数据以贴源入湖的方式加载到目标数据湖中；其中，所述目标数据湖用于存储上游应用、下游应用共享的数据；
[0032]确定模块，用于获取并根据目标数据湖的血缘关系，确定出与目标数据关联的下游应用；
[0033]调用模块，用于调用所述下游应用批量加载和/或处理所述目标数据。
[0034]本说明书实施例还提供了一种服务器，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现以下内容：检测是否接收到上游应用下传的目标数据；在确定接收到上游应用下传的目标数据的情况下，对所述目标数据进行预处理检查；在确定目标数据预处理检查通过的情况下，将所述目标数据以贴源入湖的方式加载到目标数据湖中；其中，所述目标数据湖用于存储上游应用、下游应用共享的数据；获取并根据目标数据湖的血缘关系，确定出与目标数据关联的下游应用；调用所述下游应用批量加载和/或处理所述目标数据。
[0035]本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现：检测是否接收到上游应用下传的目标数据；在确定接收到上游应用下传的目标数据的情况下，对所述目标数据进行预处理检查；在确定目标数据预处理检查通过的情况下，将所述目标数据以贴源入湖的方式加载到目标数据湖中；其中，所述目标数据湖用于存储上游应用、下游应用共享的数据；获取并根据目标数据湖的血缘关系，确定出与目标数据关联的下游应用；调用所述下游应用批量加载和/或处理所述目标数据。
[0036]本说明书提供的一种数据处理方法、装置和服务器，基于该方法，数据湖服务器在检测到接收到上游应用更新下传的目标数据时，可以在将该目标数据加载到目标数据湖之前，先对该目标数据进行预处理检查；在确定目标数据预处理检查通过的情况下，再将该目标数据以贴源入湖的方式加载到目标数据湖中，以保证加载到目标数据湖的数据是准确可靠的，且与上游系统保持一致的数据；再获取并根据目标数据湖的血缘关系，确定出与该目标数据关联的下游应用；再有针对性地调用下游应用来批量加载和/或处理该目标数据。从而可以有效地简化与数据湖相关的数据处理，实现自动且高效地完成与数据湖相关的数据
处理，保证加载入湖的数据准确、可靠，并能及时且有针对性地调用相应的下游应用来批量完成针对新入湖数据的加载和/或处理，提高整体的处理效率。
附图说明
[0037]为了更清楚地说明本说明书实施例，下面将对实施例中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]图1是本说明书的一个实施例提供的数据处理方法的流程示意图；
[0039]图2是本说明书的一个实施例提供的服务器的结构组成示意图；
[0040]图3是本说明书的一个实施例提供的数据处理装置的结构组成示意图；
[0041]图4是在一个场景示例中，应用本说明书实施例提供的数据处理方法的一种实施例的示意图；
[0042]图5是在一个场景示例中，应用本说明书实施例提供的数据处理方法的一种实施例的示意图；
[0043]图6是在一个场景示例中，应用本说明书实施例提供的数据处理方法的一种实施例的示意图；
[0044]图7是在一个场景示例中，应用本说明书实施例提供的数本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据湖服务器，包括：检测是否接收到上游应用下传的目标数据；在确定接收到上游应用下传的目标数据的情况下，对所述目标数据进行预处理检查；在确定目标数据预处理检查通过的情况下，将所述目标数据以贴源入湖的方式加载到目标数据湖中；其中，所述目标数据湖用于存储上游应用、下游应用共享的数据；获取并根据目标数据湖的血缘关系，确定出与目标数据关联的下游应用；调用所述下游应用批量加载和/或处理所述目标数据。2.根据权利要求1所述的方法，其特征在于，所述目标数据还携带有下传时间。3.根据权利要求2所述的方法，其特征在于，在确定接收到上游应用下传的目标数据之后，所述方法还包括：获取上一次接收到的应用标识相同的上游应用下传的目标数据的下传时间，作为参考时间；通过比较所述参考时间和所目标数据的下传时间，确定所述目标数据是否有效。4.根据权利要求1所述的方法，其特征在于，对所述目标数据进行预处理检查，包括：根据预设的数据检查规则，对目标数据的目标特征进行检查，以确定目标特征是否符合预设要求；其中，所述目标特征包括以下至少之一：数据的长度、数据的码制、数据的名称、数据的传输信息、数据的结构、数据的存储路径、数据的存储格式；在确定目标特征符合预设要求的情况下，确定目标数据预处理检查通过。5.根据权利要求1所述的方法，其特征在于，将所述目标数据以贴源入湖的方式加载到目标数据湖中，包括：获取与上游应用匹配的数据质量检查规则；在将所述目标数据加载到目标数据湖的同时；根据所述...
【专利技术属性】
技术研发人员：王颖，李静云，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。