数据处理方法及装置制造方法及图纸

本发明专利技术提供一种数据处理方法及装置，该方法包括：获取分位数，从数据库中获取计算分位数所需的数据组；确定数据组的数据总数，并按照从小到大顺序对数据组进行排序，获取每个数据在数据组中的序号；确定满足小于或等于分位数与总数之积，并且加一后大于分位数与总数之积的第一序号；确定满足大于或等于分位数与总数之积，并且减一后小于分位数与总数之积的第二序号；根据第一序号和第二序号对应的数值，确定分位数的数值。该方法解决了gbase等数据库中分位数计算问题，通用性较好，同时计算过程透明，便于分析与调整，可使用sql的常用语法与函数，通过select查询结合其他函数与语法来完成每一步计算，可通过sql实现分位数计算。可通过sql实现分位数计算。可通过sql实现分位数计算。

【技术实现步骤摘要】
数据处理方法及装置


[0001]本专利技术涉及大数据领域，尤其涉及一种数据处理方法及装置。

技术介绍

[0002]分位数，是指将一个随机变量的概率分布范围分为几个等份的数值点，常用的有中位数(即二分位数)和四分位数等。例如，分位数是在一组数据中，第x％位置对应的数值，分位数的计算即计算P(X<＝A)＝x％对应的A的值。
[0003]现有的数据库中的分位数计算的实现都是将计算逻辑封装成函数，然后在代码中通过调用函数，输入不同的参数来完成的。如Oracle的percentile_cont()、median()等函数，hive的percentile_approx()等函数。
[0004]不同的数据库具有不同的特点，甚至是具有独有的函数，使得部分代码无法在不同数据库中通用，如Oracle中的分位数相关函数，在gbase等数据库中就不存在。由于这些函数都是已经封装好的，不同数据库中的此类函数的名称与用法也大多不一致，所以仅能在单个数据库中使用，通用性较低。

技术实现思路

[0005]针对现有技术存在的问题，本专利技术提供一种数据处理方法及装置。
[0006]本专利技术提供一种数据处理方法，包括：获取分位数，以及从数据库中获取计算分位数所需的数据组；确定数据组的数据总数，并按照从小到大顺序对数据组进行排序，以及获取每个数据在数据组中的序号；确定满足小于或等于分位数与总数之积，并且加一后大于分位数与总数之积的第一序号；以及确定满足大于或等于分位数与总数之积，并且减一后小于分位数与总数之积的第二序号；根据所述第一序号和所述第二序号对应的数值，确定分位数的数值。
[0007]根据本专利技术提供的一种数据处理方法，所述根据所述第一序号和所述第二序号对应的数值，确定分位数的数值，包括：对于每一数据组，根据每一数据组的第一序号和第二序号对应的数值，确定每一数据组各自分位数的数值；或者，所述分位数有多个，相应地，所述根据所述第一序号和所述第二序号对应的数值，确定分位数的数值，包括：根据每一分位数的第一序号和第二序号对应的数值，确定每一分位数的分位数数值；或者，所述数据组和所述分位数均有多个，相应地，所述根据所述第一序号和所述第二序号对应的数值，确定分位数的数值，包括：对于每一数据组，根据每一数据组每一分位数的第一序号和第二序号对应的数值，确定每一数据组每一分位数的分位数数值。
[0008]根据本专利技术提供的一种数据处理方法，所述从数据库中获取计算分位数所需的数据组之后，还包括：去掉数值为空的数据。
[0009]根据本专利技术提供的一种数据处理方法，所述确定数据组的数据总数，包括：根据数据组总数据个数减去一，确定数据组的数据总数；相应地，所述获取每个数据在数据组中的序号，具体为，每个数据在数据组中的序号减去一，作为每个数据在数据组中的序号。
[0010]根据本专利技术提供的一种数据处理方法，所述根据所述第一序号和所述第二序号对应的数值，确定分位数的数值，包括根据下式确定分位数的数值：
[0011][0012]其中，r
min
为第一序号和第二序号中的较小者，r
max
为第一序号和第二序号中的较大者，p为分位数，c为数据总数。
[0013]根据本专利技术提供的一种数据处理方法，所述从数据库中获取计算分位数所需的数据组，直至所述确定分位数的数值，包括：使用sql的基础语法和函数，从数据库中获取计算分位数所需的数据组；根据所述数据组，使用sql的基础语法和函数，依次确定数据组的数据总数，按照从小到大顺序对数据组进行排序，获取每个数据在数据组中的序号，以及确定第一序号和确定第二序号；使用sql的基础语法和函数，根据所述第一序号和所述第二序号对应的数值，确定分位数的数值。
[0014]本专利技术还提供一种数据处理装置，包括：输入模块，用于获取分位数，以及从数据库中获取计算分位数所需的数据组；处理模块，用于确定数据组的数据总数，并按照从小到大顺序对数据组进行排序，以及获取每个数据在数据组中的序号；处理模块，还用于确定满足小于或等于分位数与总数之积，并且加一后大于分位数与总数之积的第一序号；以及确定满足大于或等于分位数与总数之积，并且减一后小于分位数与总数之积的第二序号；展示模块，用于根据所述第一序号和所述第二序号对应的数值，确定分位数的数值。
[0015]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数据处理方法。
[0016]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据处理方法。
[0017]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述数据处理方法。
[0018]本专利技术提供的数据处理方法及装置，通过对数据组进行排序，以及获取每个数据在数据组中的序号，结合两个判断条件得到第一序号和第二序号，最终得到分位数的数值，便于所有数据库的应用，解决了gbase等数据库中分位数计算问题，通用性较好，同时计算过程透明，便于分析与调整。此外，该方法过程中无需复杂的参数调用，可通过数据库的sql语句实现，使用sql的常用语法与函数，通过select查询结合其他函数与语法来完成每一步计算，最终可通过select的嵌套查询，仅使用一个sql即可实现分位数计算的步骤。
附图说明
[0019]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是本专利技术提供的数据处理方法的流程示意图；
[0021]图2是本专利技术提供的数据处理装置的结构示意图；
[0022]图3是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0023]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0024]下面结合图1
‑
图3描述本专利技术的数据处理方法及装置。图1是本专利技术提供的数据处理方法的流程示意图，如图1所示，本专利技术提供数据处理方法，包括：
[0025]101、获取分位数，以及从数据库中获取计算分位数所需的数据组
[0026]将需要进行分位数计算的数据组插入数据表中，用于后续的计算使用，如数据组中各数据包括金融数据，金融数据包括银行业务数据、证券业务数据、保险业务数据以及信托数据。例如，为不同账户的股票、基金、存款和外汇的交易额、账户额度、贷款额度、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取分位数，以及从数据库中获取计算分位数所需的数据组；确定数据组的数据总数，并按照从小到大顺序对数据组进行排序，以及获取每个数据在数据组中的序号；确定满足小于或等于分位数与总数之积，并且加一后大于分位数与总数之积的第一序号；以及确定满足大于或等于分位数与总数之积，并且减一后小于分位数与总数之积的第二序号；根据所述第一序号和所述第二序号对应的数值，确定分位数的数值。2.根据权利要求1所述的数据处理方法，其特征在于，所述数据组有多个，相应地，所述根据所述第一序号和所述第二序号对应的数值，确定分位数的数值，包括：对于每一数据组，根据每一数据组的第一序号和第二序号对应的数值，确定每一数据组各自分位数的数值；或者，所述分位数有多个，相应地，所述根据所述第一序号和所述第二序号对应的数值，确定分位数的数值，包括：根据每一分位数的第一序号和第二序号对应的数值，确定每一分位数的分位数数值；或者，所述数据组和所述分位数均有多个，相应地，所述根据所述第一序号和所述第二序号对应的数值，确定分位数的数值，包括：对于每一数据组，根据每一数据组每一分位数的第一序号和第二序号对应的数值，确定每一数据组每一分位数的分位数数值。3.根据权利要求1所述的数据处理方法，其特征在于，所述从数据库中获取计算分位数所需的数据组之后，还包括：去掉数值为空的数据。4.根据权利要求1或2所述的数据处理方法，其特征在于，所述确定数据组的数据总数，包括：根据数据组总数据个数减去一，确定数据组的数据总数；相应地，所述获取每个数据在数据组中的序号，具体为，每个数据在数据组中的序号减去一，作为每个数据在数据组中的序号。5.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述第一序号和所述第二序号对应的数值，确定分位数的数值，包括根据下式确定分...

【专利技术属性】
技术研发人员：郭淳，段晖，
申请(专利权)人：中银金融科技有限公司，
类型：发明
国别省市：