本申请提供了一种基于数据湖的数据处理方法、装置、电子设备及介质，方法包括以下步骤：确定目标企业需要入湖的目标入湖资产数据，以及每种目标入湖资产数据的入湖条件和第一属性信息，搭建数据入湖模型；在目标企业的资产管理平台配置资产数据的第二属性信息；基于资产数据的第二属性信息以及目标入湖资产数据的第一属性信息，从资产管理平台的资产数据中确定出待入湖资产数据；当检测到资产管理平台的待入湖资产数据满足匹配的入湖条件时，将资产管理平台的待入湖资产数据存储至数据湖内，这样，实现资产数据自动入湖，可以有效的减少人工成本，增加历史数据切片保留周期，实现降本增效的结果。现降本增效的结果。现降本增效的结果。
【技术实现步骤摘要】
一种基于数据湖的数据处理方法、装置、电子设备及介质
[0001]本申请涉及数据湖领域，具体而言，涉及一种基于数据湖的数据处理方法、装置、电子设备及介质。
技术介绍
[0002]随着金融科技的发展，在金融交易过程中产生的数据越来越多，对数据的分析方法也越来越丰富。在大数据时代数据入湖是大数据开发领域至关重要的基础环节，数据湖数据的丰富的，完整度，直接影响大数据平台建设的结果和数据资产的使用效果。数据湖的价值主要是将所有不同种类的数据汇聚到一个存储平台，保障数据可以进行统一的分析处理等，目前的大数据架构是可扩展的，并且可与为用户提供越来越多的离线以及实时的数据分析场景，在大数据平台与数据厂库发展正盛的当下，数据湖正在向更健全且更智能化的场景等方向发展，以便快速即时的支持数据分析等应用场景。
[0003]当前大部分公司局限于自身的发展及投入限制，数据湖的建设也是相对比较传统，绝大多数都是采用人工手动的方式按需求进行存量及增量数据入湖的开发工作。该传统手动按需完成数据入湖的方法无法第一时间满足即时查询数据的要求；也无法满足业务即时使用数据的诉求；此外针对历史切片数据，由于在应用数据库是无法保留的，大数据平台手动按需入湖需求也无法保留更多更全的所有业务数据的历史切片数据；此外因为数据湖内数据丰富度不全，也会使得数据仓库建设及数据场景探索的工作缺少大量的数据支撑。
技术实现思路
[0004]有鉴于此，本申请的目的在于提供一种基于数据湖的数据处理方法、装置、电子设备及介质，能够实现数据自动入湖，有效的减少人工成本，增加历史数据切片保留周期，实现降本增效的结果。
[0005]本申请实施例提供的一种基于数据湖的数据处理方法，所述数据处理方法包括以下步骤：
[0006]确定目标企业需要入湖的目标入湖资产数据，以及每种目标入湖资产数据的入湖条件和第一属性信息，搭建数据入湖模型；
[0007]在目标企业的资产管理平台配置资产数据的第二属性信息；
[0008]基于资产数据的第二属性信息以及目标入湖资产数据的第一属性信息，从资产管理平台的资产数据中确定出待入湖资产数据；
[0009]当检测到资产管理平台的待入湖资产数据满足匹配的入湖条件时，将资产管理平台的待入湖资产数据存储至数据湖内。
[0010]在一些实施例中，所述的基于数据湖的数据处理方法中，目标入湖资产数据的入湖条件包括全量入湖条件和增量入湖条件；
[0011]相应的，当检测到资产管理平台的待入湖资产数据满足匹配的入湖条件时，将资
产管理平台的待入湖资产数据存储至数据湖内，包括：
[0012]当检测到资产管理平台的待入湖资产数据满足匹配的全量入湖条件时，将该待入湖资产数据的全部数据存储至数据湖中；
[0013]当检测到资产管理平台的待入湖资产数据满足匹配的增量入湖条件时，将该待入湖资产数据的增量数据存储至数据湖中。
[0014]在一些实施例中，所述的基于数据湖的数据处理方法中，在目标企业的资产管理平台配置资产数据的第二属性信息，包括：
[0015]确定资产数据的数据归属信息、基本元数据信息；
[0016]根据资产数据的数据归属信息、基本元数据信息，并结合目标入湖资产数据的第一属性信息，配置资产数据的第二属性信息。
[0017]在一些实施例中，所述的基于数据湖的数据处理方法中，基于资产数据的第二属性信息以及目标入湖资产数据的第一属性信息，从资产管理平台的资产数据中确定出待入湖资产数据，包括：
[0018]判断资产数据的第二属性信息与目标入湖资产数据的第一属性信息是否匹配；
[0019]若是，则确定所述资产数据为待入湖资产数据。
[0020]在一些实施例中，所述的基于数据湖的数据处理方法还包括：
[0021]基于入湖规则变动信息，修改所述目标入湖资产数据，和/或目标入湖资产数据的入湖条件和第一属性信息；
[0022]基于所述修改的目标入湖资产数和/或目标入湖资产数据的入湖条件和第一属性信息，在目标企业的资产管理平台修改资产数据的第二属性信息。
[0023]在一些实施例中，所述的基于数据湖的数据处理方法中，将资产管理平台的待入湖资产数据存储至数据湖内之后，所述数据处理方法还包括：
[0024]响应待入湖资产数据存储至数据湖，生成第一通知信息。
[0025]在一些实施例中，所述的基于数据湖的数据处理方法中，在目标企业的资产管理平台修改资产数据的第二属性信息之后，所述方法还包括：
[0026]生成入湖规则变动信息的第二通知信息。
[0027]在一些实施例中，还提供一种基于数据湖的数据处理装置，所述数据处理装置包括：
[0028]第一确定模块，用于确定目标企业需要入湖的目标入湖资产数据，以及每种目标入湖资产数据的入湖条件和第一属性信息，搭建数据入湖模型；
[0029]配置模块，用于在目标企业的资产管理平台配置资产数据的第二属性信息；
[0030]第二确定模块，用于基于资产数据的第二属性信息以及目标入湖资产数据的第一属性信息，从资产管理平台的资产数据中确定出待入湖资产数据；
[0031]存储模块，用于当检测到资产管理平台的待入湖资产数据满足匹配的入湖条件时，将资产管理平台的待入湖资产数据存储至数据湖内。
[0032]在一些实施例中，还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行所述的基于数据湖的数据处理方法的步骤。
[0033]在一些实施例中，还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行所述的基于数据湖的数据处理方法的步骤。
[0034]基于此，本申请实施例中提供一种基于数据湖的数据处理方法、装置、电子设备及介质，所述数据处理方法包括以下步骤：确定目标企业需要入湖的目标入湖资产数据，以及每种目标入湖资产数据的入湖条件和第一属性信息，搭建数据入湖模型；在目标企业的资产管理平台配置资产数据的第二属性信息；基于资产数据的第二属性信息以及目标入湖资产数据的第一属性信息，从资产管理平台的资产数据中确定出待入湖资产数据；当检测到资产管理平台的待入湖资产数据满足匹配的入湖条件时，将资产管理平台的待入湖资产数据存储至数据湖内，这样，提前搭建好数据湖中的数据入湖模型，然后在目标企业的资产管理平台中检测资产数据是否满足数据入湖模型中的预设条件，满足时则自动入湖，可以有效的减少人工成本，增加历史数据切片保留周期，实现降本增效的结果；此外，自动入湖的方式也可以有效的根据资产平台修正的入湖信息，实现自动的影响分析穿透能力，保障数据加工，数据分析等用数场景的稳定，提升用数的质量，同时也可以更有效的避免数据问题的产生。
附图说明
[0035]为了更清楚地说明本申请实施例的技术方案，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于数据湖的数据处理方法，其特征在于，所述数据处理方法包括以下步骤：确定目标企业需要入湖的目标入湖资产数据，以及每种目标入湖资产数据的入湖条件和第一属性信息，搭建数据入湖模型；在目标企业的资产管理平台配置资产数据的第二属性信息；基于资产数据的第二属性信息以及目标入湖资产数据的第一属性信息，从资产管理平台的资产数据中确定出待入湖资产数据；当检测到资产管理平台的待入湖资产数据满足匹配的入湖条件时，将资产管理平台的待入湖资产数据存储至数据湖内。2.根据权利要求1所述的基于数据湖的数据处理方法，其特征在于，目标入湖资产数据的入湖条件包括全量入湖条件和增量入湖条件；相应的，当检测到资产管理平台的待入湖资产数据满足匹配的入湖条件时，将资产管理平台的待入湖资产数据存储至数据湖内，包括：当检测到资产管理平台的待入湖资产数据满足匹配的全量入湖条件时，将该待入湖资产数据的全部数据存储至数据湖中；当检测到资产管理平台的待入湖资产数据满足匹配的增量入湖条件时，将该待入湖资产数据的增量数据存储至数据湖中。3.根据权利要求1所述的基于数据湖的数据处理方法，其特征在于，在目标企业的资产管理平台配置资产数据的第二属性信息，包括：确定资产数据的数据归属信息、基本元数据信息；根据资产数据的数据归属信息、基本元数据信息，并结合目标入湖资产数据的第一属性信息，配置资产数据的第二属性信息。4.根据权利要求3所述的基于数据湖的数据处理方法，其特征在于，基于资产数据的第二属性信息以及目标入湖资产数据的第一属性信息，从资产管理平台的资产数据中确定出待入湖资产数据，包括：判断资产数据的第二属性信息与目标入湖资产数据的第一属性信息是否匹配；若是，则确定所述资产数据为待入湖资产数据。5.根据权利要求1所述的基于数据湖的数据处理方法，其特征在于，所述方法还包括：基...
【专利技术属性】
技术研发人员：张泽厚，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。