基于抽样计算的大数据图表报告制作方法及设备技术

本发明专利技术涉及一种基于抽样计算的大数据图表报告制作方法及设备，属于大数据分析技术领域，基于抽样计算的大数据图表报告制作方法及设备基于预设抽样规则，在原数据表中抽取抽样数据至抽样表；接收查询请求，在所述抽样表中获取目标数据；根据所述目标数据，制作图表报告，从而解决现有技术中图表报告的制作速度慢的技术问题。本申请整个工作过程，既提高了大数据图表报告的作效率和流畅体验，又减少了资源浪费，也不影响产品功能。也不影响产品功能。也不影响产品功能。

【技术实现步骤摘要】
基于抽样计算的大数据图表报告制作方法及设备


[0001]本专利技术属于大数据分析
，具体涉及一种基于抽样计算的大数据图表报告制作方法及设备。

技术介绍

[0002]大数据分析图表报告是大数据行业最重要的产出物之一，大数据分析的主要任务就是从海量数据中计算出有价值的数据，并以图表报告的形式提供给决策人员实时浏览查看，便于发现问题、辅助决策，例如，柱状图、饼状图、折线图、二维表、交叉表等。
[0003]相关技术中，分析人员通常通过大数据分析平台制作图表报告，在制作图表报告的过程中，会频繁查询底层海量数据，每一个操作步骤均需要预览效果，使得速度过慢、浪费时间。
[0004]因此，如何提升图表报告的制作速度，成为现有技术中亟待解决的技术问题。

技术实现思路

[0005]本专利技术提供了一种基于抽样计算的大数据图表报告制作方法及设备，以解决现有技术中图表报告的制作速度慢的技术问题。
[0006]本专利技术提供的技术方案如下：
[0007]一方面，一种基于抽样计算的大数据图表报告制作方法，包括：
[0008]基于预设抽样规则，在原数据表中抽取抽样数据至抽样表；
[0009]接收查询请求，在所述抽样表中获取目标数据；
[0010]根据所述目标数据，制作图表报告。
[0011]可选的，所述基于预设抽样规则，在原数据表中抽取抽样数据至抽样表，包括：
[0012]基于Java定时任务设定扫描间隔时长，根据所述扫描间隔时长扫描所有原数据表；/>[0013]在任一原数据表不存在对应的抽样表时，创建抽样表，并在不存在对应抽样表的原数据表的后缀加上_sample作为抽样表的表名；
[0014]扫描原数据表中的数据，按照预设抽样数上限和预设抽样规则进行抽样计算，得到抽样数据；
[0015]将所述抽样数据保存到抽样表中。
[0016]可选的，所述预设抽样规则，包括：
[0017]对数据字段进行分组，并计算每组数据字段的概率，按概率高低，进行抽样；
[0018]其中，每种类型的数据字段的分组规则包括：维度字段按单个值分组，相同值划归一组；日期字段按时间精度进行分组；数据字段按照统计字段的平均值、标准差、最小值、最大值和以预设递进的分位值；确定数据的大致分布，按照数据量越大，分组越细的原则进行范围分组。
[0019]可选的，所述接收查询请求，在所述抽样表中获取目标数据，包括：
[0020]接收http查询请求，在所述http查询请求头中获取模式标；
[0021]将所述模式标植入到Java线程上下文中；
[0022]在所述Java线程上下文中获取所述模式标，在所述模式标为抽样模式时，将所有原数据表替换为抽样表；
[0023]基于替换后的抽样表集，进行数据查询。
[0024]可选的，所述根据所述目标数据，制作图表报告，包括：
[0025]将所述目标数据返回前端，渲染对应的图表，得到图表报告，以供用户预览查看。
[0026]又一方面，一种基于抽样计算的大数据图表报告制作设备，包括：处理器，以及与所述处理器相连接的存储器；
[0027]所述存储器用于存储计算机程序，所述计算机程序至少用于执行上述任一项所述的基于抽样计算的大数据图表报告制作方法；
[0028]所述处理器用于调用并执行所述存储器中的所述计算机程序。
[0029]本专利技术的有益效果为：
[0030]本专利技术实施例提供的基于抽样计算的大数据图表报告制作方法及设备，基于预设抽样规则，在原数据表中抽取抽样数据至抽样表；接收查询请求，在所述抽样表中获取目标数据；根据所述目标数据，制作图表报告，从而解决现有技术中图表报告的制作速度慢的技术问题。本申请整个工作过程，既提高了大数据图表报告的作效率和流畅体验，又减少了资源浪费，也不影响产品功能。
附图说明
[0031]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0032]图1为本专利技术实施例提供的一种基于抽样计算的大数据图表报告制作方法的流程示意图；
[0033]图2为本专利技术实施例提供的一种抽样查询的流程示意图；
[0034]图3为本专利技术实施例提供的一种基于抽样计算的大数据图表报告制作设备的结构示意图。
具体实施方式
[0035]为使本专利技术的目的、技术方案和优点更加清楚，下面将对本专利技术的技术方案进行详细的描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本专利技术所保护的范围。
[0036]大数据分析图表报告是大数据行业最重要的产出物之一，大数据分析的主要任务就是从海量数据中计算出有价值的数据，并以图表报告的形式提供给决策人员实时浏览查看，便于发现问题、辅助决策，例如，柱状图、饼状图、折线图、二维表、交叉表等。
[0037]相关技术中，分析人员通常通过大数据分析平台制作图表报告，在制作图表报告
的过程中，会频繁查询底层海量数据。而此时分析人员最关注的其实是图表报告的结构、展示样式及展示内容，并不关心内容的正确性；那么在这个过程中，速度和效率是最重要的，各种操作秒出结果，快速看到效果是最理想的情况；而现实情况是：在制作图表报告的过程中，每一步操作，想要看到效果，都要实时查询底层海量业务数据，造成速度过慢，操作卡顿；秒出结果的体验操作成为无法实现的梦想。
[0038]目前，当前业界用于制作图表报告的大数据分析平台，主要分为两类：(1)第三方企业提供的专业化“大数据分析平台”。数据都存放在第三方企业，按数据存储量、查询流量、资源配额等付费使用其分析、“图表报告”制作能力；查询速度往往与付费、数据量成正比。考虑到数据安全、资金投入、性价比等问题，对于有一定IT技术实力的企业来说，这并不是一个好的选择，目前正逐渐被中、大型企业所抛弃。(2)企业自建的“大数据分析平台”。拥有一定技术实力的企业，一般会选择自建“大数据分析平台”来分析制作“图表报告”，随着数据量的日积月累，想要提升大数据分析速度，提升“图表报告”的制作流畅度和效率，越来越依赖于底层堆积机器、增加计算资源来解决，这又导致了企业的投入成本增加，产生资金压力，最终成了速度的提升瓶颈，终归不是长久之计。
[0039]因此，如何提升图表报告的制作速度，成为现有技术中亟待解决的技术问题。
[0040]基于此，本专利技术实施例提供了一种基于抽样计算的大数据图表报告制作方法及设备。
[0041]实施例一：
[0042]本专利技术实施例提供了一种基于抽样计算的大数据图表报告制作方法。
[0043]图1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于抽样计算的大数据图表报告制作方法，其特征在于，包括：基于预设抽样规则，在原数据表中抽取抽样数据至抽样表；接收查询请求，在所述抽样表中获取目标数据；根据所述目标数据，制作图表报告。2.根据权利要求1所述的方法，其特征在于，所述基于预设抽样规则，在原数据表中抽取抽样数据至抽样表，包括：基于Java定时任务设定扫描间隔时长，根据所述扫描间隔时长扫描所有原数据表；在任一原数据表不存在对应的抽样表时，创建抽样表，并在不存在对应抽样表的原数据表的后缀加上_sample作为抽样表的表名；扫描原数据表中的数据，按照预设抽样数上限和预设抽样规则进行抽样计算，得到抽样数据；将所述抽样数据保存到抽样表中。3.根据权利要求1所述的方法，其特征在于，所述预设抽样规则，包括：对数据字段进行分组，并计算每组数据字段的概率，按概率高低，进行抽样；其中，每种类型的数据字段的分组规则包括：维度字段按单个值分组，相同值划归一组；日期字段按时间精度进行分组；数据字段按照统计字段的平均值、标准...

【专利技术属性】
技术研发人员：姜水，
申请(专利权)人：上海中通吉网络技术有限公司，
类型：发明
国别省市：