动态压缩存储及分位数据分析方法、装置、设备及介质制造方法及图纸

本申请涉及金融大数据领域，尤其是一种动态压缩存储及分位数据分析方法、装置、设备及介质。该方法识别统计请求对应的目标指标和统计条件，在满足统计条件下将获取的目标指标对应的目标实体及其目标属性内容暂存于内存的等待列表中，在检测到内存中存在目标实体时将目标属性内容与内存中目标实体的已有属性内容进行聚合，在检测到内存中不存在目标实体时将目标实体及其目标属性内容存储于内存中，一个实体仅存储一次实体的信息，无需对不同属性内容的实体一一存储，从而实现了压缩性的存储，降低内存占用的情况发生，压缩后存储的数据可以实现统计，在金融等业务的大数据场景下压缩不影响数据的使用。压缩不影响数据的使用。压缩不影响数据的使用。

【技术实现步骤摘要】
动态压缩存储及分位数据分析方法、装置、设备及介质


[0001]本申请适用于金融大数据领域，尤其涉及一种动态压缩存储及分位数据分析方法、装置、设备及介质。

技术介绍

[0002]目前，随着金融下的银行、保险、券商等业务系统的开发，每时每刻都会有大量的数据涌入业务系统和对应的数据库中，大量占用存储、处理线程等，亟需通过压缩的方式来减少数据占用。
[0003]在程序运行时必定会产生各种各样的数据，而在内存中对数据做数值统计也是业界较为常用的业务。例如，统计5min内数据的调用量，统计5min内数据的耗时区间等，对于叠加性的统计，可以直接使用value sum直接进行叠加，如调用量，但是如果需要统计区间内数值的50分位，75分位，95分位等，则需要将全部数据都保存于内存中，等时间周期达5min时，才会去做统一计算，此时计算一般使用定时任务来执行。当数据极大的时候，等待计算的数据会导致内存占用过大，影响主体业务。因此，如何保证数据分析能够准确执行的情况下，对存储于内存中数据进行压缩成为亟待解决的问题。

技术实现思路

[0004]有鉴于此，本申请实施例提供了一种动态压缩存储及分位数据分析方法、装置、设备及介质，以解决如何保证数据分析能够准确执行的情况下，对存储于内存中数据进行压缩的问题。
[0005]第一方面，本申请实施例提供一种数值型实体的动态压缩存储方法，所述动态压缩存储方法包括：
[0006]在检测到统计请求时，识别所述统计请求对应的目标指标和统计条件；
[0007]在满足所述统计条件下，将获取的所述目标指标对应的目标实体及其目标属性内容暂存于内存的等待列表中，检测所述内存中是否存在所述目标实体；
[0008]若检测到所述内存中存在所述目标实体，则将所述目标属性内容与所述内存中所述目标实体的已有属性内容进行聚合，或者若检测到所述内存中不存在所述目标实体，则将所述目标实体及其目标属性内容存储于所述内存中。
[0009]在一实施方式中，将所述目标属性内容与所述内存中所述目标实体的已有属性内容进行聚合包括：
[0010]获取所述目标属性内容中的目标耗时数据；
[0011]检测所述内存中所述目标实体的已有属性内容中是否包含所述目标耗时数据；
[0012]若检测到所述内存中所述目标实体的已有属性内容中包含所述目标耗时数据，则将所述目标耗时数据的记录次数增加一；
[0013]若检测到所述内存中所述目标实体的已有属性内容中不包含所述目标耗时数据，则在所述内存中所述目标实体的已有属性内容中创建所述目标耗时数据，并初始化记录次
数为一。
[0014]在一实施方式中，在所述内存中所述目标实体的已有属性内容中创建所述目标耗时数据之前，还包括：
[0015]获取所述内存中所述目标实体的已有属性内容中所有存储的耗时数据；
[0016]按照耗时从小到大的顺序，在所有存储的耗时数据中确定所述目标耗时数据的排序位置；
[0017]根据所述排序位置，更新所有存储的耗时数据以及所述目标耗时数据的存储位置。
[0018]第二方面，本申请实施例提供一种基于动态压缩存储的分位数据分析方法，所述分位数据分析方法包括：
[0019]在检测到统计请求时，识别所述统计请求对应的目标指标和统计条件；
[0020]在满足所述统计条件下，将获取的所述目标指标对应的目标实体及其目标属性内容暂存于内存的等待列表中，检测所述内存中是否存在所述目标实体；
[0021]若检测到所述内存中存在所述目标实体，则将所述目标属性内容与所述内存中所述目标实体的已有属性内容进行聚合，或者若检测到所述内存中不存在所述目标实体，则将所述目标实体及其目标属性内容存储于所述内存中；
[0022]获取预设的分位值，对存储于所述内存中所述目标实体的目标属性内容的耗时数据进行统计，确定所述预设的分位值对应的耗时。
[0023]在一实施方式中，将所述目标属性内容与所述内存中所述目标实体的已有属性内容进行聚合包括：
[0024]获取所述目标属性内容中的目标耗时数据；
[0025]检测所述内存中所述目标实体的已有属性内容中是否包含所述目标耗时数据；
[0026]若检测到所述内存中所述目标实体的已有属性内容中包含所述目标耗时数据，则将所述目标耗时数据的记录次数增加一；
[0027]若检测到所述内存中所述目标实体的已有属性内容中不包含所述目标耗时数据，则在所述内存中所述目标实体的已有属性内容中创建所述目标耗时数据，并初始化记录次数为一。
[0028]在一实施方式中，在所述内存中所述目标实体的已有属性内容中创建所述目标耗时数据之前，还包括：
[0029]获取所述内存中所述目标实体的已有属性内容中所有存储的耗时数据；
[0030]按照耗时从小到大的顺序，在所有存储的耗时数据中确定所述目标耗时数据的排序位置；
[0031]根据所述排序位置，更新所有存储的耗时数据以及所述目标耗时数据的存储位置；
[0032]相应地，获取预设的分位值，对存储于所述内存中所述目标实体的目标属性内容的耗时数据进行统计，确定所述预设的分位值对应的耗时包括：
[0033]针对所述内存中存储的所述目标实体，获取所述目标实体对应的所有耗时数据的记录次数的和；
[0034]获取预设的分位值，根据所述的和和所述预设的分位值，确定目标值；
[0035]按照所述目标实体中所有耗时数据的存储位置的顺序，依次对耗时数据对应的记录次数进行统计，直至统计结果等于所述目标值，确定统计停止时的存储位置；
[0036]根据所述存储位置，确定对应的耗时数据的值为所述预设的分位值的耗时。
[0037]第三方面，本申请实施例提供一种数值型实体的动态压缩存储装置，所述动态压缩存储装置包括：
[0038]第一识别模块，用于在检测到统计请求时，识别所述统计请求对应的目标指标和统计条件；
[0039]第一检测模块，用于在满足所述统计条件下，将获取的所述目标指标对应的目标实体及其目标属性内容暂存于内存的等待列表中，检测所述内存中是否存在所述目标实体；
[0040]第一存储模块，用于若检测到所述内存中存在所述目标实体，则将所述目标属性内容与所述内存中所述目标实体的已有属性内容进行聚合，或者若检测到所述内存中不存在所述目标实体，则将所述目标实体及其目标属性内容存储于所述内存中。
[0041]在一实施方式中，所述第一存储模块包括：
[0042]第一获取单元，用于获取所述目标属性内容中的目标耗时数据；
[0043]第一检测单元，用于检测所述内存中所述目标实体的已有属性内容中是否包含所述目标耗时数据；
[0044]第一存储操作单元，用于若检测到所述内存中所述目标实体的已有属性内容中包含所述目标耗时数据，则将所述目标耗时数据的记录次数增加一；
[0045]第二存储操作单元，用于若检测到所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数值型实体的动态压缩存储方法，其特征在于，所述动态压缩存储方法包括：在检测到统计请求时，识别所述统计请求对应的目标指标和统计条件；在满足所述统计条件下，将获取的所述目标指标对应的目标实体及其目标属性内容暂存于内存的等待列表中，检测所述内存中是否存在所述目标实体；若检测到所述内存中存在所述目标实体，则将所述目标属性内容与所述内存中所述目标实体的已有属性内容进行聚合，或者若检测到所述内存中不存在所述目标实体，则将所述目标实体及其目标属性内容存储于所述内存中。2.根据权利要求1所述的动态压缩存储方法，其特征在于，将所述目标属性内容与所述内存中所述目标实体的已有属性内容进行聚合包括：获取所述目标属性内容中的目标耗时数据；检测所述内存中所述目标实体的已有属性内容中是否包含所述目标耗时数据；若检测到所述内存中所述目标实体的已有属性内容中包含所述目标耗时数据，则将所述目标耗时数据的记录次数增加一；若检测到所述内存中所述目标实体的已有属性内容中不包含所述目标耗时数据，则在所述内存中所述目标实体的已有属性内容中创建所述目标耗时数据，并初始化记录次数为一。3.根据权利要求2所述的动态压缩存储方法，其特征在于，在所述内存中所述目标实体的已有属性内容中创建所述目标耗时数据之前，还包括：获取所述内存中所述目标实体的已有属性内容中所有存储的耗时数据；按照耗时从小到大的顺序，在所有存储的耗时数据中确定所述目标耗时数据的排序位置；根据所述排序位置，更新所有存储的耗时数据以及所述目标耗时数据的存储位置。4.一种基于动态压缩存储的分位数据分析方法，其特征在于，所述分位数据分析方法包括：在检测到统计请求时，识别所述统计请求对应的目标指标和统计条件；在满足所述统计条件下，将获取的所述目标指标对应的目标实体及其目标属性内容暂存于内存的等待列表中，检测所述内存中是否存在所述目标实体；若检测到所述内存中存在所述目标实体，则将所述目标属性内容与所述内存中所述目标实体的已有属性内容进行聚合，或者若检测到所述内存中不存在所述目标实体，则将所述目标实体及其目标属性内容存储于所述内存中；获取预设的分位值，对存储于所述内存中所述目标实体的目标属性内容的耗时数据进行统计，确定所述预设的分位值对应的耗时。5.根据权利要求4所述的分位数据分析方法，其特征在于，将所述目标属性内容与所述内存中所述目标实体的已有属性内容进行聚合包括：获取所述目标属性内容中的目标耗时数据；检测所述内存中所述目标实体的已有属性内容中是否包含所述目标耗时数据；若检测到所述内存中所述目标实体的已有属性内容中包含所述目标耗时数据，则将所述目标耗时数据的记录次数增加一；若检测到所述内存中所述目标实体的已有属性内容中不包含所述目标耗时数据，则在
所述内存中所述目标实体的已有属性内容中创建所述目标耗时数据，并初始化记录次数为一。6.根据权利要求5所述的分位数据分析方法，其特...

【专利技术属性】
技术研发人员：余荣基，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：