基于EXCEL的大数据分析工具和方法技术

本发明专利技术提供的基于EXCEL的大数据分析工具和方法，通过参数配置化，使用poi技术导出excle表格数据，解决了一般软件需要迭代开发的问题；通过角色分配机制，将操作分为数据分析师、审核人员、操作人员，将底层工作交给数据分析师，操作界面简单医用；通过封装代码，将相关功能组件化，可以在此基础上根据实际需求快速进行二次开发，具有简单、易用、低成本的优点，相较于网络爬虫+云计算的方式更具效率和降低成本，非常适合中小企业使用。

【技术实现步骤摘要】
基于EXCEL的大数据分析工具和方法
本专利技术涉及到数据库技术，特别是涉及到一种基于EXCEL的大数据分析工具和方法。
技术介绍
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实际应用中，数据分析可帮助人们作出判断，以便采取适当行动。在统计学领域，有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析；其中，探索性数据分析侧重于在数据之中发现新的特征，而验证性数据分析则侧重于已有假设的证实或证伪。探索性数据分析是指为了形成值得假设的检验而对数据进行分析的一种方法，是对传统统计学假设检验手段的补充。该方法由美国著名统计学家约翰·图基(JohnTukey)命名。定性数据分析又称为“定性资料分析”、“定性研究”或者“质性研究资料分析”，是指对诸如词语、照片、观察结果之类的非数值型数据的分析。Excel作为常用的分析工具，可以实现基本的分析工作。在企业运营过程中，需要对不同业务平台的数据进行统计，并输出成excel可视化文档。现有的数据统计分析方法很多，常见的有以下几种：第一种：最为原始的直接操作数据库，通过SQL(StructuredQueryLanguage，结构化查询语言)语句统计自己所需数据。这种方法比较普遍，但是对操作人员的要求比较高，不但要熟悉SQL用法，还要了解数据库结构，相关业务人员不能直接操作。第二种：最常见的通过封装SQL，做成一个后台管理系统，在后台系统查看相关数据。但是为了满足不同的数据需求，需要不断的进行开发。第三种：BI工具，可以通过SQL直接连接数据库，或者导入数据表格，并将数据进行处理，输出成各种可视化图表。这种方式较上一种方式要直观方便，但是BI工具多是收费使用的。第四种：网络爬虫，主要用于采集和统计网络上的外部数据，这也是目前大数据采集的主流方式。这种操作方式消耗的时间，人力等各方面的资源太重，不适用于中小企业的日常使用。
技术实现思路
本专利技术的主要目的为提供一种基于EXCEL的大数据分析工具和方法，解决企业的数据统计分析问题，同时降低运营成本。本专利技术提供了一种基于EXCEL的大数据分析工具，包括：数据分析模块，用于上传数据模板和校验模板；数据查询模块，用于选择所述数据模板和校验模板进行数据查询。优选地，还包括：数据审核模块，用于审核所述数据查询模块是否具有查询权限。优选地，还包括：系统配置模块，用于配置所述数据分析模块、数据查询模块、数据审核模块的用户账号、权限。优选地，所述系统的后台框架采用springMVC+Mybatis框架。优选地，所述系统的前端框架采用dwz框架。优选地，所述数据分析模块，以JDBC的方式与数据库连接。优选地，所述数据查询模块包括数据输出单元，用于将查询结果以Excel表格的形式输出。优选地，所述查询结果采用POI的方式写入Excel表格中。优选地，还包括：校验数据模块，用于校验所述数据模板、校验模板和查询结果。优选地，采用哈希编码方式对所述数据模板、校验模板和查询结果进行校验。本专利技术的另一个方面还提出了基于EXCEL的大数据分析方法，包括以下步骤：服务器接收数据模板和校验模板；根据所述数据模板获取数据信息；接收查询指令，使用所述校验模板对所述数据信息进行处理，输出处理结果。本专利技术提供的基于EXCEL的大数据分析工具和方法，通过参数配置化，使用poi技术导出excle表格数据，解决了一般软件需要迭代开发的问题；通过角色分配机制，将操作分为数据分析师、审核人员、操作人员，将底层工作交给数据分析师，操作界面简单医用；通过封装代码，将相关功能组件化，可以在此基础上根据实际需求快速进行二次开发，具有简单、易用、低成本的优点，相较于网络爬虫+云计算的方式更具效率和降低成本，非常适合中小企业使用。附图说明图1为本专利技术基于EXCEL的大数据分析工具一实施例的结构示意图；图2为本专利技术基于EXCEL的大数据分析工具一实施例上传数据模板的流程示意图；图3为本专利技术基于EXCEL的大数据分析工具一实施例上传校验模板的流程示意图；图4为本专利技术基于EXCEL的大数据分析工具一实施例数据流向示意图；图5为本专利技术基于EXCEL的大数据分析工具一实施例进行查询操作的流程示意图；图6为本专利技术基于EXCEL的大数据分析方法一实施例的流程示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。参照图1，本专利技术实施例提出一种基于EXCEL的大数据分析工具，包括：数据分析模块10，用于上传数据模板和校验模板；数据查询模块20，用于选择所述数据模板和校验模板进行数据查询。本实施例中，数据分析模块10主要提供给数据分析师使用。数据分析师在数据分析模块10上传数据模板和校验模板。数据分析师是数据的生产者，熟悉SQL语法，能书写脚本，可以从其他数据源获取数据，或者收集本地数据，获得数据模板和校验模板，上传至服务器。数据分析师只需要定期维护，更新数据模板和校验模板即可，而无需重复性地建立查询任务。本专利技术所称的大数据分析工具也可以称为大数据分析系统。参照图2，图2为上传数据模板的流程示意图。数据模板上传完毕后，服务器端会加载数据模板包含的指令，从网络上获取数据，然后存储于服务器上。参照图3，图3为上传校验模板的流程示意图。校检模板上传完毕后，当数据查询模块20发生查询任务，校检模板包含一些控制指令，对数据模板获取的数据进行归类处理，获得满足查询任务的数据。参照图4，图4为本专利技术实施例的数据流向示意图。先从各数据库获取数据，再经数据模板和校验模板处理，生成Excel表格，然后在相应的客户端呈现。数据查询模块20，主要提供给查询人员使用，查询人员可以是企业业务人员，或者其他相关的人员。企业的业务人员在汇报业绩或业务进度时，需要使用到数据库中的数据。此时通过数据查询模块20，只需要在操作界面上进行才做，便可获得查询结果。例如，领导A需要向公司董事会汇报年度业务总结。领导A发现缺少各个产品的统计数据，然后向技术部提出请求需要一份公司各个产品的统计数据。如果按一般企业管理流程，技术部总监B按A的要求，把数据统计需求分配给负责管理与操作不同数据库的相关负责人员C、D、E、F。负责人员C、D、E、F在接到任务后编写了不同脚本在各自负责数据库运行数据提取任务，等到任务完成交给技术总监B，再由B统一整理后交给A。若采用本实施例的基于EXCEL的大数据分析工具，数据分析模块10配置了与各个数据库的接口。此时，仅需要两名工作人员甲和乙来完成。其中，技术人员甲使用数据分析模块10上传数据模板和校验模板，而业务人员乙根据查询需求，使用数据查询模块20进行查询操作，获取查询结果。相较原有的方式，采用本实施例的基于EXCEL的大数据分析工具，大大减少了重复操作查询工作量，节省了人工成本。可选的，还包括：数据审核模块30，用于审核所述数据查询模块是否具有查询权限。本实施例中，数据审核模块30主要提供给审核人员使用。审核人员通过数据审核模块30控制数据模板和校验模板的权限。因为一些数据并不会对一般的本文档来自技高网...

【技术保护点】
1.一种基于EXCEL的大数据分析工具，其特征在于，包括：数据分析模块，用于上传数据模板和校验模板；数据查询模块，用于选择所述数据模板和校验模板进行数据查询。

【技术特征摘要】
1.一种基于EXCEL的大数据分析工具，其特征在于，包括：数据分析模块，用于上传数据模板和校验模板；数据查询模块，用于选择所述数据模板和校验模板进行数据查询。2.根据权利要求1所述基于EXCEL的大数据分析工具，其特征在于，还包括：数据审核模块，用于审核所述数据查询模块是否具有查询权限。3.根据权利要求2所述基于EXCEL的大数据分析工具，其特征在于，还包括：系统配置模块，用于配置所述数据分析模块、数据查询模块、数据审核模块的用户账号、权限。4.根据权利要求1所述基于EXCEL的大数据分析工具，其特征在于，所述系统的后台框架采用springMVC+Mybatis框架。5.根据权利要求1所述基于EXCEL的大数据分析工具，其特征在于，所述系统的前端框架采用dwz框架。6.根据权利...

【专利技术属性】
技术研发人员：张婷婷，刘剑，罗宝生，
申请(专利权)人：浙江赛佳控股有限公司，
类型：发明
国别省市：浙江,33