移动数据监控分析方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及基架运维领域，具体涉及一种移动数据监控分析方法、装置、计算机设备和存储介质。方法包括：获取移动端传输的监控数据；从所述监控数据中提取与时间对应的包含维度变量的待存储数据，所述待存储数据携带有维度标识；将具有相同维度标识的所述待存储数据进行统计归类处理，得到列数据，所述列数据用于表征维度标识和时间的对应关系；将所述列数据分布式存储在各个数据库中，当接收到查询请求时，将所述查询请求分发到各个所述数据库中，获取每个所述数据库反馈的查询结果；对获得的所述查询结果进行数据聚合，得到聚类分组，对所述聚类分组进行可视化展示。采用本方法能够对海量日志信息快速分析。

Mobile data monitoring and analysis methods, devices, computer equipment and storage media

【技术实现步骤摘要】
移动数据监控分析方法、装置、计算机设备和存储介质
本申请涉及大数据
，特别是涉及一种移动数据监控分析方法、装置、计算机设备和存储介质。
技术介绍
在移动终端运行各应用程序的过程中，移动终端会产生大量的移动端数据。移动端数据包含多个维度变量，例如手机型号、手机软件配置、APP版本、用户所在城市等，对不同维度变量进行组合，移动终端可以生成几十万甚至更多的日志信息。因而，如何快速地对海量的移动端数据进行数据监控，是现在数据分析的一个难点问题。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够对海量移动端传输的监控数据进行快速分析并展示的移动数据监控分析方法、装置、计算机设备和存储介质。一种移动数据监控分析方法，所述方法包括：获取移动端传输的监控数据；从所述监控数据中提取与时间对应的包含维度变量的待存储数据，所述待存储数据携带有维度标识；将具有相同维度标识的所述待存储数据进行统计归类处理，得到列数据，所述列数据用于表征维度标识和时间的对应关系；将所述列数据分布式存储在各个数据库中，当接收到查询请求时，将所述查询请求分发到各个所述数据库中，获取每个所述数据库反馈的查询结果；对获得的所述查询结果进行数据聚合，得到聚类分组，对所述聚类分组进行可视化展示。在其中一个实施例中，所述将所述查询请求分发到各个所述数据库中，包括：将所述查询请求分发到各个所述数据库中，所述数据库中通过位图序列的方式存储所述列数据；所述查询请求用于指示所述数据库通过位图算法将所述查询请求转化为位图获取命令后，获取与所述位图获取命令对应的位图序列，并将所述位图序列通过位图算法逆解析成与所述查询请求对应的列数据。在其中一个实施例中，所述对获得的所述查询结果进行数据聚合，得到聚类分组，包括：计算所述列数据中各维度参数之间的距离；根据所述距离统计所述列数据中每个维度参数的密度值；获取聚类个数；对所述密度值进行降序排序，选择所述密度值排序在前的维度参数为聚类中心，所述聚类中心的数量与所述聚类个数一致；根据所述聚类中心对所述列数据进行聚类，并输出聚类分组。在其中一个实施例中，所述对获得的所述查询结果进行数据聚合，得到聚类分组，包括：将获得的所述查询结果分为预设个数的子结果集；根据所述子结果集生成子任务，并将所述子任务发送至分布式集群进行聚类运算；接收所述分布式集群聚类运算完成的分组，对接收到的分组进行合并，得到与所述维度变量对应的聚类分组。在其中一个实施例中，所述将所述子任务发送至分布式集群进行聚类运算，包括：向所述分布式集群发送任务调度指令，所述任务调度指令用于指示所述分布式集群将所述子任务分配给所述分布式集群中的多个计算节点进行聚类运算，并返回运算得到的分组。在其中一个实施例中，所述对数据聚合的结果进行可视化展示之后，包括：接收管理终端发送的包含故障时段的故障分析请求；基于所述维度标识中的报错标识从与所述故障时段对应的所述监控数据中提取出故障数据；根据所述故障数据和所述聚类分组确定故障分组，并根据所述故障分组生成故障分析报文发送给所述管理终端。在其中一个实施例中，根据所述故障日志和所述聚类分组确定故障分组，包括：对不同所述维度变量的所述聚类分组进行排列得到组合排列，当所述组合排列的系统日志包含所述故障日志时，判定所述组合排列为疑似分组；通过聚类分组在维度变量的概率计算所述疑似分组对应的理论故障率，并根据所述故障数据计算实际故障率；将所述理论故障率与所述实际故障率最接近的疑似分组确定为故障分组。一种移动数据监控分析装置，所述装置包括：监控数据接收模块，用于获取移动端传输的监控数据；待存储数据提取模块，用于从所述监控数据中提取与时间对应的包含维度变量的待存储数据，所述待存储数据携带有维度标识；列数据生成模块，用于将具有相同维度标识的所述待存储数据进行统计归类处理，得到列数据，所述列数据用于表征维度标识和时间的对应关系；列数据提取模块，用于将所述列数据分布式存储在各个数据库中，当接收到查询请求时，将所述查询请求分发到各个所述数据库中，获取每个所述数据库反馈的查询结果；数据展示模块，用于对获得的所述查询结果进行数据聚合，得到聚类分组，对所述聚类分组进行可视化展示。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。上述移动数据监控分析方法、装置、计算机设备和存储介质，服务器获取移动端传输的监控数据，并待存储数据进行统计归类处理，得到列数据，而后将列数据分布式存储在数据库中，因而接收到查询请求时，在数据查询获取的过程中服务器只读取需要的列数据，减少了冗余数据的获取，有效提高了查询获取的速度；服务器对列数据进行数据聚合，得到聚类分组，而后对聚类分组进行实时展示并进行多维的数据分析，方便业务人员进行自助查询和数据分析。附图说明图1为一个实施例中移动数据监控分析方法的应用场景图；图2为一个实施例中移动数据监控分析方法的流程示意图；图3为一个实施例中列数据的存储方法的流程示意图；图4为另一个实施例中聚类分析步骤的流程示意图；图5为另一个实施例中移动数据监控分析方法的流程示意图；图6为一个实施例中移动数据监控分析装置的结构框图；图7为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供的移动数据监控分析方法，可以应用于如图1所示的应用环境中。其中，管理终端102、数据库106、移动端108通过网络与服务器104进行通信。服务器104接收移动端108传输的监控数据；服务器104将具有相同维度标识的待存储数据进行统计归类处理，得到列数据，列数据用于表征维度标识和时间的对应关系；服务器104将列数据分布式存储在各个数据库106中；当服务器104接收到管理终端102发送的查询请求时，将查询请求分发到各个数据库106中，获取每个数据库106反馈的查询结果；服务器104对获得的查询结果进行数据聚合，得到聚类分组，对聚类分组进行可视化展示。其中，管理终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式智能设备，服务器104、数据库106和移动端108均可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在一个实施例中，如图2所示，提供了一种移动数据监控分析方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：步骤202，获取移本文档来自技高网...

【技术保护点】
1.一种移动数据监控分析方法，所述方法包括：/n获取移动端传输的监控数据；/n从所述监控数据中提取与时间对应的包含维度变量的待存储数据，所述待存储数据携带有维度标识；/n将具有相同维度标识的所述待存储数据进行统计归类处理，得到列数据，所述列数据用于表征维度标识和时间的对应关系；/n将所述列数据分布式存储在各个数据库中，当接收到查询请求时，将所述查询请求分发到各个所述数据库中，获取每个所述数据库反馈的查询结果；/n对获得的所述查询结果进行数据聚合，得到聚类分组，对所述聚类分组进行可视化展示。/n

【技术特征摘要】
1.一种移动数据监控分析方法，所述方法包括：
获取移动端传输的监控数据；
从所述监控数据中提取与时间对应的包含维度变量的待存储数据，所述待存储数据携带有维度标识；
将具有相同维度标识的所述待存储数据进行统计归类处理，得到列数据，所述列数据用于表征维度标识和时间的对应关系；
将所述列数据分布式存储在各个数据库中，当接收到查询请求时，将所述查询请求分发到各个所述数据库中，获取每个所述数据库反馈的查询结果；
对获得的所述查询结果进行数据聚合，得到聚类分组，对所述聚类分组进行可视化展示。


2.根据权利要求1所述的方法，其特征在于，所述将所述查询请求分发到各个所述数据库中数据库，包括：
将所述查询请求分发到各个所述数据库中，所述数据库中通过位图序列的方式存储所述列数据；所述查询请求用于指示所述数据库通过位图算法将所述查询请求转化为位图获取命令后，获取与所述位图获取命令对应的位图序列，并将所述位图序列通过位图算法逆解析成与所述查询请求对应的列数据。


3.根据权利要求1所述的方法，其特征在于，所述对获得的所述查询结果进行数据聚合，得到聚类分组，包括：
计算所述列数据中各维度参数之间的距离；
根据所述距离统计所述列数据中每个维度参数的密度值；
获取聚类个数；
对所述密度值进行降序排序，选择所述密度值排序在前的维度参数为聚类中心，所述聚类中心的数量与所述聚类个数一致；
根据所述聚类中心对所述列数据进行聚类，并输出聚类分组。


4.根据权利要求1所述的方法，其特征在于，所述对获得的所述查询结果进行数据聚合，得到聚类分组，包括：
将获得的所述查询结果分为预设个数的子结果集；
根据所述子结果集生成子任务，并将所述子任务发送至分布式集群进行聚类运算；
接收所述分布式集群聚类运算完成的分组，对接收到的分组进行合并，得到与所述维度变量对应的聚类分组。


5.根据权利要求4所述的方法，其特征在于，所述将所述子任务发送至分布式集群进行聚类运算，包括：
向所述分布式集群发送任务调度指令，所述任务调度指令用于指示...

【专利技术属性】
技术研发人员：蔡健，
申请(专利权)人：上海陆家嘴国际金融资产交易市场股份有限公司，
类型：发明
国别省市：上海;31