【技术实现步骤摘要】
数据处理方法、装置和服务器
[0001]本说明书属于大数据
，尤其涉及数据处理方法、装置和服务器。
技术介绍
[0002]在大数据
，常常会使用数据湖来对系统或平台接入的海量业务数据进行数据存储和数据共享。
[0003]但是，基于现有的数据处理方法，在对数据湖进行相关数据处理时，往往存在数据处理过程繁琐、复杂，处理效率低等技术问题。
[0004]针对上述问题，目前尚未提出有效的解决方案。
技术实现思路
[0005]本说明书提供了一种数据处理方法、装置和服务器，以能够自动且高效地完成与数据湖相关的数据处理。
[0006]本说明书实施例提供了一种数据处理方法，应用于数据湖服务器，包括：
[0007]检测是否接收到上游应用下传的目标数据；
[0008]确定接收到上游应用下传的目标数据的情况下，对所述目标数据进行预处理检查；接收所述服务提供方返回的服务。
[0009]在确定目标数据预处理检查通过的情况下，将所述目标数据以贴源入湖的方式加载到目标数据湖中；其中...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据湖服务器，包括：检测是否接收到上游应用下传的目标数据；在确定接收到上游应用下传的目标数据的情况下，对所述目标数据进行预处理检查；在确定目标数据预处理检查通过的情况下，将所述目标数据以贴源入湖的方式加载到目标数据湖中；其中，所述目标数据湖用于存储上游应用、下游应用共享的数据；获取并根据目标数据湖的血缘关系，确定出与目标数据关联的下游应用；调用所述下游应用批量加载和/或处理所述目标数据。2.根据权利要求1所述的方法，其特征在于，所述目标数据还携带有下传时间。3.根据权利要求2所述的方法，其特征在于，在确定接收到上游应用下传的目标数据之后，所述方法还包括：获取上一次接收到的应用标识相同的上游应用下传的目标数据的下传时间，作为参考时间；通过比较所述参考时间和所目标数据的下传时间，确定所述目标数据是否有效。4.根据权利要求1所述的方法，其特征在于，对所述目标数据进行预处理检查，包括：根据预设的数据检查规则，对目标数据的目标特征进行检查，以确定目标特征是否符合预设要求；其中，所述目标特征包括以下至少之一：数据的长度、数据的码制、数据的名称、数据的传输信息、数据的结构、数据的存储路径、数据的存储格式；在确定目标特征符合预设要求的情况下，确定目标数据预处理检查通过。5.根据权利要求1所述的方法，其特征在于，将所述目标数据以贴源入湖的方式加载到目标数据湖中，包括：获取与上游应用匹配的数据质量检查规则；在将所述目标数据加载到目标数据湖的同时；根据所述...
【专利技术属性】
技术研发人员：王颖，李静云，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。