本申请公开了一种关联数据的处理方法，用于业务数据库处理，所述业务数据库包含记载属性状态的时间值的序列及与每一个所述时间值相对应的变化量，包括：响应于业务数据库关联请求，在请求中指定时间段内，根据有关联关系的多个业务数据库中关联属性的变化时间来创建一个或多个日期切片；生成或更新关联数据集，按照所述日期切片的开始日期或结束日期从小到大顺序，基于至少1个业务数据库生成所述关联属性对应所述日期切片的累计字段。还公开了相应的处理装置。本申请解决了有关联关系的海量数据处理时大量消耗存储资源、处理时间长等问题，实现了多业务数据库之间海量数据的关联、处理及更新。处理及更新。处理及更新。
【技术实现步骤摘要】
一种关联数据的处理方法及装置
[0001]本申请涉及数据库和数据处理
，尤其涉及一种关联数据的处理方法及装置。
技术介绍
[0002]对海量数据计算处理时，经常会采用Spark SQL处理。例如，在处理销售领域的数据时，有些产品销售范围广、销售层级多。具体来说，有些产品的销售范围包括国内市场和海外市场，销售层级包括国家级、省市级、地区级、门店级。对于复杂的销售体系，各层级每日会产生大量的客户信息和产品交易信息，为全盘掌握销售情况和市场动态，采用大数据技术计算各渠道层级的货物采购、销售和库存情况，可提高日常运营效率，辅助决策。
[0003]由于业务数据库（也称为业务从表）每日都增加新数据，数据积累越来越多，当需要对关联关系的多个业务数据库的数据进行累计计算时，需要消耗系统的大量计算能力，甚至拉低整个平台的运算效率，使得前端数据处理出现功能无法使用的严重情况。为了避免平台崩溃只能缩小处理范围。例如，以日期为限定条件处理产品库存数据时，需要对产品的入库数据和出库数据进行关联，再按照每日所发生的业务量从开始日期到结束日期进行累计，获得指定时间段内的累计值。当所需要处理的时间跨度大、入库数据和出库数据关系复杂时，需要消耗大量的存储和计算资源。只能被迫缩小时间跨度，从而影响了处理效果，无法满足累计的需要。
[0004]另外，对于有多个海量数据表相互关联，并且，在时间上做大跨度累计处理时，需要考虑如何减少关联数据的数量、简化数据处理复杂度、采用快速计算方法来减少处理计算时间和增大处理的时间跨度，进而实现快速、大跨度累计。
技术实现思路
[0005]本申请提出一种关联数据的处理方法及装置，解决了有关联的多个业务数据库处理时大量消耗存储资源、处理时间长等问题，实现了多业务数据库之间海量数据的关联、处理及更新，为海量数据的高效快捷处理及更新提供了解决办法，提高了关联海量数据的处理能力。
[0006]第一方面，本申请实施例提供一种关联数据的处理方法，用于业务数据库处理，所述业务数据库包含记载属性状态的时间值的序列及与每一个所述时间值相对应的变化量，包括：响应于业务数据库关联请求，在请求中指定时间段内，根据有关联关系的多个业务数据库中关联属性的变化时间来创建一个或多个日期切片，所述日期切片是包括开始日期、结束日期、日期切片厚度和累计字段的数据簇，其中，所述开始日期是至少1个业务数据库中任意1个变化量所对应的日期，所述日期切片厚度表示未发生变化的时长，直到所述结束日期；生成或更新关联数据集，按照所述日期切片的开始日期或结束日期从小到大顺
序，基于至少1个业务数据库生成所述关联属性对应所述日期切片的累计字段；所述累计字段用于表示所述关联属性从所述指定时间段起点至所述日期切片开始日期的变化量累计值。
[0007]在一些实施例中，生成所述累计字段，包括：根据某个日期切片的前一日期切片的关联属性的变化量累计值，与所述某个日期切片的开始日期到结束日期之间的关联属性的变化量之和，确定所述某个日期切片内关联属性的累计字段的值。
[0008]在一些实施例中，生成所述累计字段，包括：在所述日期切片的开始日期到结束日期范围内，根据所述关联关系的多个业务数据库中的关联属性的变化量，根据所述关联关系，合并计算关联数据集中的关联属性的累计字段的值。
[0009]第二方面，本申请实施例还提供了一种关联数据的处理装置，包括：包括业务数据输入模块、日期切片处理模块和关联数据集处理模块，所述业务数据输入模块，用于输入业务数据库，所述业务数据库包含记载属性状态的时间值的序列及与每一个所述时间值相对应的变化量，还用于发起业务数据库关联请求；所述日期切片处理模块，用于响应于业务数据库关联请求，在请求中指定时间段内，根据有关联关系的多个业务数据库中关联属性的变化时间来创建一个或多个日期切片，所述日期切片是包括开始日期、结束日期、日期切片厚度和累计字段的数据簇，其中，所述开始日期是至少1个业务数据库中任意1个变化量所对应的日期，所述日期切片厚度表示未发生变化的时长，直到所述结束日期；所述关联数据集处理模块，用于生成或更新关联数据集，按照所述日期切片的开始日期或结束日期从小到大顺序，基于至少1个业务数据库生成所述关联属性对应所述日期切片的累计字段，所述累计字段用于表示所述关联属性从所述指定时间段起点至所述日期切片开始日期的变化量累计值。
[0010]本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：解决了有关联关系的海量数据处理时大量消耗存储资源、处理时间长等问题，实现了多业务数据库之间海量数据的关联、处理及更新，为海量数据的高效快捷处理及更新提供了解决办法，提高了有关联海量数据的处理能力。
附图说明
[0011]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本申请实施例提供的一种关联数据的处理方法流程图；图2为本申请实施例提供的一种关联数据的处理装置结构图；图3为本申请另一实施例提供的一种关联数据的处理装置结构图；图4为本申请实施例提供的缩减累计范围处理流程图；图5为本申请实施例提供的日期切片的行处理流程图；图6为本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0012]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0013]以下结合附图，详细说明本申请各实施例提供的技术方案。
[0014]如图1所示，本申请实施例提供了一种关联数据的处理方法，用于业务数据库处理，所述业务数据库包含记载属性状态的时间值的序列及与每一个所述时间值相对应的变化量，该方法包括步骤100~130：步骤100、设置关联关系，按照所述关联关系搜索所述多个业务数据库，确定满足所述关联关系的1个或多个属性，作为所述关联属性；在所述多个业务数据库中读取所述关联属性状态的时间值和对应的变化量值，生成初始的关联数据集。
[0015]具体的，所述关联关系可以表示一个业务数据库中的多个有关的属性间的处理逻辑，也可以是分布在多个业务数据库中的有关的属性间的处理逻辑。
[0016]在一实施例中，入库数据集中的产品ID、入库日、产品入库与出库数据集中的产品ID、出库日、产品出库与产品的当日库存存在关联关系，由关联关系可进一步生成关联数据集。此时，关联属性为产品ID，关联关系为任意一日的增量是当日的入库数量减去当日的出库数量。
[0017]再例如，统计向某地的贸易值，产品1数据集包含目的地ID、出库日、销售额，产品2数据集包含目的地ID、出库日、销售额，由关联关系可进一步生成关联数据集。此时，关联属性为目的地ID，关联关系为任意一日的销售本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种关联数据的处理方法，用于业务数据库处理，所述业务数据库包含记载属性状态的时间值的序列及与每一个所述时间值相对应的变化量；其特征在于，包括：响应于业务数据库关联请求，在请求中指定时间段内，根据有关联关系的多个业务数据库中关联属性的变化时间来创建一个或多个日期切片，所述日期切片是包括开始日期、结束日期、日期切片厚度和累计字段的数据簇，其中，所述开始日期是至少1个业务数据库中任意1个变化量所对应的日期，所述日期切片厚度表示未发生变化的时长，直到所述结束日期；生成或更新关联数据集，按照所述日期切片的开始日期或结束日期从小到大顺序，基于至少1个业务数据库生成所述关联属性对应所述日期切片的累计字段；所述累计字段用于表示所述关联属性从所述指定时间段起点至所述日期切片开始日期的变化量累计值。2.根据权利要求1所述的方法，其特征在于，生成所述累计字段，包括：根据某个日期切片的前一日期切片的关联属性的变化量累计值，与所述某个日期切片的开始日期到结束日期之间的关联属性的变化量之和，确定所述某个日期切片内关联属性的累计字段的值。3.根据权利要求1所述的方法，其特征在于，生成所述累计字段，包括：在所述日期切片的开始日期到结束日期范围内，根据所述关联关系的多个业务数据库中的关联属性的变化量，根据所述关联关系，合并计算关联数据集中的关联属性的累计字段的值。4.根据权利要求1所述的方法，其特征在于，查询在所述指定时间段内发生在某个日期切片之前的累计字段，获得初始的变化量累计值和对应的日期值；以所述初始的变化量累计值和对应的日期为基础，累计计算至少1个业务数据库的中的变化量值，直到所述某个日期切片的开始日期，得到所述日期切片的累计字段的值。5.根据权利要求1所述的方法，其特征在于，还包括以下步骤：根据所述日期切片厚度，在每个日期切片的范围内生成从开始日期到结束日期的连续日期值，每个日期值对应于所述日期切片中的累计字段；在所述关联数据集中，生成所述连续日期值...
【专利技术属性】
技术研发人员：解静雅，李勇，陈曦，王若凡，
申请(专利权)人：中国邮电器材集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。