一种数据处理方法和装置制造方法及图纸

本申请实施例提供一种数据处理方法和装置，其中，方法包括：通过确定待分析指标的维度集合中的维度项，该维度集合中的维度项包括单一维度项和交叉维度项，根据获取的分析日期和参考日期中各维度项的剪枝参数，对待分析指标的维度集合中的维度项进行剪枝，基于维度筛选系数，从剪枝后的维度集合中确定候选维度；基于维度项排序参数，从候选维度的维度项中确定待分析指标的目标维度项。本申请实施例可以实现交叉维度的剪枝问题，且当维度较多时仍能快速准确处理得到归因结果，提高数据异常归因处理的效率和准确率。理的效率和准确率。理的效率和准确率。

【技术实现步骤摘要】
一种数据处理方法和装置


[0001]本申请涉及数据处理领域，具体涉及一种数据处理方法和装置。

技术介绍

[0002]所有业务都会面对“为什么涨、为什么降、原因是什么？”这种简单粗暴又不易定位的业务问题。如在业务发展过程中，由于投放、产品迭代、热点事件等因素的变化，会带来业务核心指标的波动，业务面临每次较大波动都需要进行问题定位分析，然后再采取进一步措施。例如，在产品研发和迭代过程中，需要时刻关注各种指标及其变化。如：每日活跃用户、用户总时长、留存率等。由于产品迭代、关键事件营销、投放策略等的改变可能会影响指标的变化，但由于影响指标的因子的多样性，因此在某些指标出现异常波动时，需要逐项去排查可疑因素。
[0003]传统的解决方案中，由分析师针对目标指标，按照目标指标所涉及的维度一个一个的逐项去排查可疑因素，单次执行一个维度所对应的任务的时间占用在5～10min之间，通常维度有30～50个，在所有维度排查完之后，才能找到最关键的指标影响维度因素，如此耗时较长，如耗时0.5天～2天等。这种传统数据异常归因方式非常耗时，且精准度较低容易遗漏关键因子，难以沉淀系统的知识库，降低了数据异常归因的效率和准确率。

技术实现思路

[0004]本申请实施例提供一种数据处理方法和装置，可提高数据异常归因的效率和准确率。
[0005]本申请实施例提供了一种数据处理方法，包括：
[0006]获取待分析指标、以及分析日期和参考日期；
[0007]获取待分析指标的至少两个归因维度，各归因维度包括至少两个单一维度项；
[0008]获取分析日期和参考日期中各维度项的剪枝参数；
[0009]根据各维度项的剪枝参数，对待分析指标的维度集合中的维度项进行剪枝，维度集合中的维度项包括单一维度项和交叉维度项，交叉维度项由属于不同归因维度的单一维度项组合形成；
[0010]基于维度筛选参数，从剪枝后的维度集合中确定候选维度；
[0011]基于维度项排序参数，从候选维度的维度项中确定待分析指标的目标维度项。
[0012]本申请实施例还提供了一种数据处理装置，包括：
[0013]第一获取单元，用于获取待分析指标、以及分析日期和参考日期；
[0014]第二获取单元，用于获取待分析指标的至少两个归因维度，各归因维度包括至少两个单一维度项；
[0015]第三获取单元，用于获取分析日期和参考日期中各维度项的剪枝参数；
[0016]剪枝单元，用于根据各维度项的剪枝参数，对待分析指标的维度集合中的维度项进行剪枝，维度集合中的维度项包括单一维度项和交叉维度项，交叉维度项由属于不同归
因维度的单一维度项组合形成；
[0017]候选确定单元，用于基于维度筛选参数，从剪枝后的维度集合中确定候选维度；
[0018]目标确定单元，用于基于维度项排序参数，从候选维度的维度项中确定待分析指标的目标维度项。
[0019]本申请实施例还提供了一种电子设备，该电子设备包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述处理器和所述存储器相连接，所述一个或多个计算机程序被存储于所述存储器中，并配置为由所述处理器执行以实现上述任一种数据处理方法。
[0020]本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时，实现上述任一种数据处理方法。
[0021]本申请实施例通过确定待分析指标的维度集合中的维度项，该维度集合中的维度项包括单一维度项和交叉维度项，根据获取的分析日期和参考日期中各维度项的剪枝参数，对待分析指标的维度集合中的维度项进行剪枝，如此，一方面，在对指标异常归因的过程中，加入交叉维度项，以使地指标异常归因的归因结果更细分，使地指标异常归因的归因结果更准确；另一方面，根据剪枝参数对待分析的维度集合中的维度项进行剪枝，降低处理的维度项的数量，且当维度较多时仍能快速准确的得到归因结果。对维度集合中的维度项进行剪枝后，基于维度筛选系数，从剪枝后的维度集合中确定候选维度，以从剪枝后的维度集合中筛选出维度项波动较大的维度，将维度项波动较大的维度确定为候选维度；确定候选维度之后，基于维度项排序参数，从候选维度的维度项中确定待分析指标的目标维度项，以从波动较大的维度中确定目标维度项。本申请实施例可以实现交叉维度的剪枝问题，且当维度较多时仍能快速准确处理得到归因结果，提高数据异常归因处理的效率和准确率。
附图说明
[0022]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1a是本申请实施例提供的数据处理系统的场景示意图；
[0024]图1b是本申请实施例提供的请求界面的示意图；
[0025]图2是本申请实施例提供的数据处理方法的流程示意图；
[0026]图3a是本申请实施例提供的基尼系数的原始应用场景示意图；
[0027]图3b是本申请实施例提供的三个不同维度的每个维度项的JS散度值的示意图；
[0028]图4a是本申请实施例提供的数据处理方法的流程示意图；
[0029]图4b是本申请实施例提供的结果界面的示意图；
[0030]图5是本申请实施例提供的数据处理方法的另一流程示意图；
[0031]图6是本申请实施例提供的数据处理装置的结构示意图；
[0032]图7是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0033]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0034]本申请涉及人工智能(Artificial Intelligence,AI)技术，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
[0035]本申请实施例提供一种数据处理方法、装置、电子设备和存储介质。
[0036]本申请实施例提供了一种数据处理系统，包括本申请实施例任一提供的数据处理装置。该数据处理装置可以集成在电子设备等网络设备中。电子设备可以是服务器，也可以是终端设备，如包括台式机、智能手机、便携式电脑、掌上电脑(Personal Digital Assistant，PDA)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待分析指标、以及分析日期和参考日期；获取所述待分析指标的至少两个归因维度，各归因维度包括至少两个单一维度项；获取所述分析日期和所述参考日期中各维度项的剪枝参数；根据所述各维度项的剪枝参数，对所述待分析指标的维度集合中的维度项进行剪枝，所述维度集合中的维度项包括单一维度项和交叉维度项，所述交叉维度项由属于不同归因维度的单一维度项组合形成；基于维度筛选参数，从剪枝后的维度集合中确定候选维度；基于维度项排序参数，从所述候选维度的维度项中确定所述待分析指标的目标维度项。2.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述各维度项的剪枝参数，对所述待分析指标的维度集合中的维度项进行剪枝的步骤，包括：根据所述归因维度中的单一维度确定所述归因维度中的交叉维度；将所述单一维度和所述交叉维度作为所述待分析指标的维度集合；确定所述维度集合中的维度项；根据所述各维度项的剪枝参数，对所述待分析指标的所述维度项进行剪枝。3.根据权利要求2所述的数据处理方法，其特征在于，所述根据所述各维度项的剪枝参数，对所述待分析指标的所述维度项进行剪枝的步骤，包括：根据所述各维度项的剪枝参数，确定所述各维度项的离析度值；根据所述离析度值，对所述待分析指标的交叉维度项进行剪枝。4.根据权利要求3所述的数据处理方法，其特征在于，所述根据所述离析度值，对所述待分析指标的交叉维度项进行剪枝的步骤，包括：当所述交叉维度项的离析度值大于所述交叉维度项中各单一维度项的离析度值时，确定所述交叉维度项无需进行剪枝；当所述交叉维度项的离析度值不大于所述交叉维度项中各单一维度项的离析度值时，确定所述交叉维度项需进行剪枝，并对所述交叉维度项进行剪枝。5.根据权利要求1所述的数据处理方法，其特征在于，所述基于维度筛选参数，从剪枝后的维度集合中确定候选维度的步骤，包括：确定所述分析日期和所述参考日期中各维度项的维度项参数值；根据所述各维度项的维度项参数值确定维度筛选参数；根据所述维度筛选参数，从剪枝后的维度集合中确定候选维度。6....

【专利技术属性】
技术研发人员：王欢，胡仲旻，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：