一种数据分析方法和数据分析平台技术

本发明专利技术提供一种数据分析平台，包括前端模块和后端模块，所述前端模块包括数据操作模块、前端配置模块、数据可视化模块、前端数据交互模块，其中，数据操作模块主要用于接收用户指令并执行操作，前端配置模块用于配置系统的功能，可视化模块用于对后端模块返回的数据进行可视化展示，前端数据交互模块用于将用户指令传输给后端模块，后端模块包括后端数据交互模块，所述后端数据交互模块用于实现后端模块与数据库的数据交互，同时将处理后的数据返回给前端模块。本发明专利技术还包括一种数据分析方法，能够解决现有技术中难以添加或扩展功能，难以实现功能的定制化的问题。实现功能的定制化的问题。实现功能的定制化的问题。

【技术实现步骤摘要】
一种数据分析方法和数据分析平台


[0001]本专利技术属于数据处理领域，更具体地说，涉及一种数据分析方法和数据分析平台。

技术介绍

[0002]在数据分析和处理领域，存在很多的可视化数据分析平台，其提供了完整的前后端服务，做到了开箱即用，但真正应用到产品中时，每个产品的性能和需求不同，现有技术中的可视化数据分析平台难以添加或扩展功能，难以实现功能的定制化。
[0003]另外，现有技术中的可视化数据分析平台在架构上往往是前后端紧耦合，所有的功能集中在一块，如果修改某个地方或增加某些功能，可能需要对整个系统都进行改动，因此用户在进行功能扩展时需要熟悉前后端的实现和代码，导致扩展成本高。
[0004]如申请公布日为2017年5月10日，申请公布号为CN106649426A，专利名称为一种数据分析方法和数据分析平台以及服务器的中国专利公开了一种技术方案，该数据分析平台包括：数据源，与数据源连接的Elasticsearch索引模块以及与Elasticsearch索引模块连接的Spark SQL处理模块和与Spark SQL处理模块连接的数据呈现模块，其中，数据源，用于提供数据；Elasticsearch索引模块，用于通过数据搜索接口从数据源获取搜索的数据，并对数据进行预处理，并将预处理后的数据发送至Spark SQL处理模块；Spark SQL处理模块，用于对预处理后的数据进行数据分析，并将数据分析后的数据发送至数据呈现模块；数据呈现模块，用于呈现数据分析后的数据。该申请能够解决现有数据分析平台在进行数据分析时实现较为复杂的问题。
[0005]申请公布日为2020年12月25日，申请公布号为CN112131302A，专利名称为一种商业数据分析方法及平台的中国专利公开了一种技术方案，该技术方案将最基础业务流水数据跑批预处理的方式生成各维度需要的基础数据，采用了Elastic Job开源中间件的分片技术以及方案制定最优的分片策略对每一个任务大批量处理成百万、上千万量级的数据，将海量数据拆成可配置化小块进行相互独立的跑批处理并结合多线程，完成每日的海量数据的分析处理。
[0006]申请公布日为2019年11月8日，申请公布号为CN110430173A，专利名称为一种基于Vue+SpringCloud的云平台的中国专利公开了一种技术方案，该平台采用前后端分离模式，平台前端包括分别运行在两个进程中的前台系统和后台系统，平台后端包括系统底层；所述前台系统包括多个用于给用户提供功能服务的应用模块，所述后台系统包括多个用于管理员的审核以及用户的资质认证的应用模块，所述前端系统的各应用模块之间采用微服务架构；所述后端包括系统底层，系统底层包括数据库、缓存数据库、反向代理服务器以及文件服务器。该专利技术可实现各个模块之间松耦合，而服务内部高内聚。该技术方案虽然可以实现前后端的松耦合，但仍然没有解决现有技术中的可视化数据分析平台难以添加或扩展功能，难以实现功能的定制化的问题。

技术实现思路

[0007]1.要解决的问题
[0008]针对现有技术中的可视化数据分析平台难以添加或扩展功能，难以实现功能的定制化的问题，本专利技术提供一种数据分析方法和数据分析平台。
[0009]2.技术方案
[0010]为了解决上述问题，本专利技术所采用的技术方案如下：一种数据分析平台，包括前端模块和后端模块，所述前端模块包括数据操作模块、前端配置模块、数据可视化模块、前端数据交互模块，其中，数据操作模块主要用于接收并解析用户请求，生成N层的下钻列表，其中N≥1，且N为正整数；所述数据操作模块还包括数据钻取模块，所述数据钻取模块用于根据下钻列表逐层钻取数据，前端配置模块用于配置系统的功能，可视化模块用于对后端模块返回的数据进行可视化展示，前端数据交互模块用于将用户指令传输给后端模块，后端模块包括后端数据交互模块，所述后端数据交互模块用于实现后端模块与数据库的数据交互，同时将处理后的数据返回给前端模块。本技术方案利用前端模块接收用户指令，同时按照用户指令进行操作，后端模块根据前端模块发送的用户指令从底层数据中调取数据并进行处理，然后将处理后的数据返回给前端模块进行可视化展示，前端模块中的前端配置模块可以接受用户的配置，进行功能扩展，解决了现有技术中难以添加或扩展功能，难以实现功能的定制化的问题。
[0011]进一步地，所述数据操作模块包括数据过滤模块、数据分组模块和数据排序模块，所述数据过滤模块用于对数据进行过滤，数据分组模块用于对数据按照维度进行分组，数据排序模块用于对数据进行升序或降序排序。
[0012]进一步地，所述前端模块还包括前端扩展模块，所述前端扩展模块用于前端的功能扩展，所述前端扩展模块扩展支持Oracle和/或MySQL的解析。本技术方案进一步增加了前端扩展模块，可以对数据分析平台进行更多的扩展，以实现用户对功能的自定义定制。
[0013]进一步地，所述数据钻取模块在钻取数据的过程中先根据下钻的第一层信息，以用户请求的时间段为过滤条件，获取到以第一层下钻的维度字段进行分组，以第一层下钻的指标维度字段进行排序的指定数目的维度值数据；然后对上述数据进行滤重得到第一层下钻维度字段中的唯一值；再根据下钻的第一层和第二层信息，获取到以第一层和第二层下钻的维度字段进行分组，以用户请求的时间段和第一层维度字段的唯一值为过滤条件，以第二层下钻的指标维度字段进行排序，给每个第一层维度字段值的第二层分配指定数目的维度值数据；然后对上述数据进行滤重，得到第二层下钻维度字段的唯一值；然后根据下钻的第一层、第二层和第三层列表信息，获取到以第一层、第二层和第三层的下钻维度字段进行分组，以用户请求的时间段、第一层下钻的维度字段的唯一值和第二层下钻的维度字段的唯一值为过滤条件，以第三层下钻的指标维度字段进行排序，给每个第二层维度字段值的第三层分配指定数目的维度值数据；再对的数据进行滤重，得到第三层下钻维度字段的唯一值；以此类推，直到遍历整个下钻列表。
[0014]进一步地，所述后端模块还包括后端扩展模块，所述后端扩展模块用于后端的功能扩展。
[0015]进一步地，所述前端数据交互模块为Mega Front Lib库。
[0016]本专利技术还提供一种数据分析方法，包括以下步骤：
[0017]S1、前端模块接收并解析用户请求，生成N层的下钻列表，其中N≥1，且N为正整数；所述前端模块包括数据操作模块，所述数据操作模块还包括数据钻取模块，所述数据钻取模块用于根据下钻列表逐层钻取数据，并将数据传输给后端模块，
[0018]S2、后端模块根据前端模块传输的用户指令对数据进行处理，并将处理后的数据返回给前端模块；所述后端模块处理数据的步骤为：数据过滤模块对数据进行过滤，数据分组模块对数据按照维度进行分组，然后数据排序模块对数据进行升序或降序排序。
[0019]进一步地，所述数据钻取模块在钻取数据的过程中先根据下钻的第一层信息，以用户请求的时间段为过滤条件，获取到以第一层下钻的维度字段进行分组，以第一层下钻的指本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据分析平台，其特征在于：包括前端模块和后端模块，所述前端模块包括数据操作模块、前端配置模块、数据可视化模块、前端数据交互模块，其中，数据操作模块主要用于接收并解析用户请求，生成N层的下钻列表，其中N≥1，且N为正整数；所述数据操作模块还包括数据钻取模块，所述数据钻取模块用于根据下钻列表逐层钻取数据，前端配置模块用于配置系统的功能，可视化模块用于对后端模块返回的数据进行可视化展示，前端数据交互模块用于将用户指令传输给后端模块，后端模块包括后端数据交互模块，所述后端数据交互模块用于实现后端模块与数据库的数据交互，同时将处理后的数据返回给前端模块。2.根据权利要求1所述的数据分析平台，其特征在于：所述数据操作模块包括数据过滤模块、数据分组模块和数据排序模块，所述数据过滤模块用于对数据进行过滤，数据分组模块用于对数据按照维度进行分组，数据排序模块用于对数据进行升序或降序排序。3.根据权利要求2所述的数据分析平台，其特征在于：所述前端模块还包括前端扩展模块，所述前端扩展模块用于前端的功能扩展，所述前端扩展模块扩展支持Oracle和/或MySQL的解析。4.根据权利要求1
‑
3中任一权利要求所述的数据分析平台，其特征在于：所述数据钻取模块在钻取数据的过程中先根据下钻的第一层信息，以用户请求的时间段为过滤条件，获取到以第一层下钻的维度字段进行分组，以第一层下钻的指标维度字段进行排序的指定数目的维度值数据；然后对上述数据进行滤重得到第一层下钻维度字段中的唯一值；再根据下钻的第一层和第二层信息，获取到以第一层和第二层下钻的维度字段进行分组，以用户请求的时间段和第一层维度字段的唯一值为过滤条件，以第二层下钻的指标维度字段进行排序，给每个第一层维度字段值的第二层分配指定数目的维度值数据；然后对上述数据进行滤重，得到第二层下钻维度字段的唯一值；然后根据下钻的第一层、第二层和第三层列表信息，获取到以第一层、第二层和第三层的下钻维度字段进行分组，以用户请求的时间段、第一层下钻的维度字段的唯一值和第二层下钻的维度字段的唯一值为过滤条件，以第三层下钻的指标维度字段进行排序，给每个第二层维度字段值的第三层分配指定数目的维度值数据；再对的数据进行滤重，得到第三层下钻维度字段的唯一值；以此类推，直到遍历整个下钻列表。5.根据权利要求1
‑
3...

【专利技术属性】
技术研发人员：曹荣，徐健，任翔，袁有雷，朱宏峰，闵克东，张杰，
申请(专利权)人：南京网眼信息技术有限公司，
类型：发明
国别省市：