一种数据源评估方法、装置、电子设备及存储介质制造方法及图纸

本公开提供一种数据源评估方法、装置、电子设备及存储介质，属于大数据离线计算领域。该方法包括：获取待评估的目标数据源的历史服务数据；对所述历史服务数据进行指标计算处理，得到所述目标数据源的第一指标统计结果；当基于所述第一指标统计结果确定进行在线评估时，获取所述目标数据源的在线服务数据；对所述在线服务数据进行指标计算处理，得到所述目标数据源的第二指标统计结果；基于所述第一指标统计结果和/或所述第二指标统计结果，确定所述目标数据源的价值评估结果。采用本公开，可以降低资源消耗。可以降低资源消耗。可以降低资源消耗。

【技术实现步骤摘要】
一种数据源评估方法、装置、电子设备及存储介质


[0001]本专利技术涉及大数据离线计算领域，尤其涉及一种数据源评估方法、装置、电子设备及存储介质。

技术介绍

[0002]数据价值评估的本质是对数据的解析计算和存储，涉及到的是大数据计算相关领域的技术。随着信息行业的快速发展，用户的数量、网络服务以及计算设备都在呈指数级别的增长，直接带来的影响是“数据流量”井喷式增长。面对着TB、PB甚至更大数量级的数据产生，“大数据”一词在数据计算、数据挖掘与分析行业快速提升知名度。为了处理海量的服务数据，各领域相继推出各种数据处理架构模型，随着产品的不断迭代和发展，分布式计算和存储的数据处理框架得到了越来越多互联网企业的青睐和应用。
[0003]目前，大数据技术在面向金融领域的数据价值评估模型中有很好的应用发展，大数据应用技术在金融行业的应用提升了资源配置效率，强化了风险管控能力。在传统方法中违约风险评估基于历史的交易和信贷数据进行分析，这种方式缺少前瞻性，而利用大数据技术对信贷风险进行评估更趋于事实，而且目前金融领域的外部服务数据源众多、格式复杂多样，同时由于金融领域的特殊性，数据需要存储3年甚至更长，因此数据量级可以轻松达到TB甚至PB级别。
[0004]现有的数据价值评估模型面向中小数据集时是满足业务需求的，但是当应用于金融行业，需要处理TB甚至PB级别的数据量的时候会暴露出很多弊端，例如，超大规模的数据集需要依赖超强的算力，而算力的基础是物理资源的支撑，因此面向超大规模数据集时，目前的数据价值评估模型会消耗过多的资源。

技术实现思路

[0005]有鉴于此，本公开实施例提供了一种数据源评估方法、装置、电子设备及存储介质，以解决资源消耗过多的问题。
[0006]根据本公开的一方面，提供了一种数据源评估方法，上述方法包括：
[0007]获取待评估的目标数据源的历史服务数据；
[0008]对所述历史服务数据进行指标计算处理，得到所述目标数据源的第一指标统计结果；
[0009]当基于所述第一指标统计结果确定进行在线评估时，获取所述目标数据源的在线服务数据；
[0010]对所述在线服务数据进行指标计算处理，得到所述目标数据源的第二指标统计结果；
[0011]基于所述第一指标统计结果和/或所述第二指标统计结果，确定所述目标数据源的价值评估结果。
[0012]根据本公开的另一方面，提供了一种数据源评估装置，上述装置包括：
[0013]第一获取模块，用于获取待评估的目标数据源的历史服务数据；
[0014]指标计算模块，用于对所述历史服务数据进行指标计算处理，得到所述目标数据源的第一指标统计结果；
[0015]第二获取模块，用于当基于所述第一指标统计结果确定进行在线评估时，获取所述目标数据源的在线服务数据；
[0016]所述指标计算模块，还用于对所述在线服务数据进行指标计算处理，得到所述目标数据源的第二指标统计结果；
[0017]评估模块，用于基于所述第一指标统计结果和/或所述第二指标统计结果，确定所述目标数据源的价值评估结果。
[0018]根据本公开的另一方面，提供了一种电子设备，包括：
[0019]处理器；以及
[0020]存储程序的存储器，
[0021]其中，上述程序包括指令，上述指令在由上述处理器执行时使上述处理器执行上述数据源评估方法。
[0022]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使计算机执行上述数据源评估方法。
[0023]本公开中，通过对目标数据源的历史服务数据进行指标计算处理，得到第一指标统计结果，并基于第一指标统计结果判断是否对目标数据源进行在线评估。若判断出继续进行在线评估，则对目标数据源的在线服务数据进行指标计算处理，得到第二指标统计结果。最终可以基于第一指标统计结果和/或第二指标统计结果，确定目标数据源的价值评估结果。由于设置了在线评估的条件，可以避免对不满足在线评估条件的数据源进行评估，降低资源消耗，并且，也可以提高评估的精准度。
附图说明
[0024]在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：
[0025]图1示出了根据本公开示例性实施例提供的数据源评估方法流程图；
[0026]图2示出了根据本公开示例性实施例提供的客户维度示意图图；
[0027]图3示出了根据本公开示例性实施例提供的构建第一客群的待评估数据的方法流程图；
[0028]图4示出了根据本公开示例性实施例提供的构建第二客群的待评估数据的方法流程图；
[0029]图5示出了根据本公开示例性实施例提供的数据源评估装置的示意性框图；
[0030]图6示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
[0031]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的
是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0032]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0033]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0034]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0035]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0036]本公开提供了一种数据源评估方法，该方法应用于数据源价值评估系统，可以由终端、服务器和/或其他具备处理能力的设备完成。本公开实施例提供的方法可以由上述任一设备完成，也可以由多个设备共同完成，本公开对此不作限定。
[0037]下面将参照图1示出的数据源评估方法流程图，对该方法进行介绍。该方法包括如下步骤101
‑
105。
[0038]步骤101，获取待评估的目标数据源的历史服务数据。
[0039]在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据源评估方法，其特征在于，所述方法包括：获取待评估的目标数据源的历史服务数据；对所述历史服务数据进行指标计算处理，得到所述目标数据源的第一指标统计结果；当基于所述第一指标统计结果确定进行在线评估时，获取所述目标数据源的在线服务数据；对所述在线服务数据进行指标计算处理，得到所述目标数据源的第二指标统计结果；基于所述第一指标统计结果和/或所述第二指标统计结果，确定所述目标数据源的价值评估结果。2.根据权利要求1所述的方法，其特征在于，所述在线服务数据为访问服务数据流；所述对所述在线服务数据进行指标计算处理，得到所述目标数据源的第二指标统计结果，包括：基于访问服务数据流的访问时间信息，在所述在线服务数据中分别确定第一客群数据流和第二客群数据流；获取第一客群对应的第一用户属性数据和第一借据数据，并与所述第一客群数据流相结合，以确定所述第一客群对应的第一服务数据；获取第二客群对应的第二用户属性数据、第二借据数据和贷后流水数据，并与所述第二客群数据流相结合，以确定所述第二客群对应的第二服务数据；根据预先设置的评估指标，对所述第一服务数据和所述第二服务数据进行指标计算处理，得到所述评估指标的统计结果，作为所述目标数据源的第二指标统计结果。3.根据权利要求2所述的方法，其特征在于，所述第一客群包括多个第一客户；所述获取第一客群对应的第一用户属性数据和第一借据数据，并与所述第一客群数据流相结合，以确定所述第一客群对应的第一服务数据，包括：获取预先存储的用户属性信息和借据信息，所述用户属性信息包括每个第一客户的客户标识；基于所述每个第一客户的客户标识，在所述用户属性信息中获取每个第一客户的第一用户属性数据，在所述借据信息中获取每个第一客户的第一借据数据，在所述第一客群数据流中获取每个第一客户的第一客户数据；基于每个第一客户的第一用户属性数据、第一借据数据和第一客户数据，构建所述第一客群对应的第一服务数据。4.根据权利要求2所述的方法，其特征在于，所述第二客群包括多个第二客户；所述获取第二客群对应的第二用户属性数据、第二借据数据和贷后流水数据，并与所述第二客群数据流相结合，以确定所述第二客群对应的第二服务数据，包括：获取预先存储的借据信息和贷后流水信息；基于所述预先存储的借据信息和贷后流水信息，确定每个第二客户的客户标识；基于所述每个第二客户的客户标识，在预先存储的用户属性信息中获取每个第二客户的第二用户属性数据，在所述借据信息中获取每个第二客户的第二借据数据，在所述贷后流水信息中获取每个第二客户的贷后流水数据，在所述第二客群数据流中获取每个第二客户的第二客户数据；基于每个第二客户的第二用户属性数据、第二借据数据、贷后流水数据和第二客户数
据，构建所述第二客群对应的第二服务数据。5.根据权利要求4所述的方法，其特征在于，...

【专利技术属性】
技术研发人员：杨立鹏，
申请(专利权)人：度小满科技北京有限公司，
类型：发明
国别省市：