一种政务数据挖掘的高性能规模统计计算方法技术

本发明专利技术公开了一种政务数据挖掘的高性能规模统计计算方法，属于统计计算方法技术领域，该计算方法由表现层、应用层、应用支撑层及数据层实现；表现层主要为数据大屏和数据分析报告；应用层主要分为数据分析、数据源管理和演示管理三块；数据分析是结合展现模板和数据模型，生成数据分析页面，建立数据模型，使用不同的主题和演示模式；应用支撑层可以提供关联组件。本发明专利技术通过采用面向海量数据分析的可视化展现系统，并结合政务服务行业特点，事前先行建立行业数据挖掘模型从海量数据中快速提取关键数据并展示，比传统数据挖掘系统大大减轻了前期数据类型分析和建模工作量，数据挖掘效率提升至少10％以上。

A high performance statistical calculation method for government data mining

【技术实现步骤摘要】
一种政务数据挖掘的高性能规模统计计算方法
本专利技术涉及统计计算方法，特别是涉及一种政务数据挖掘的高性能规模统计计算方法，属于统计计算方法

技术介绍
随着“互联网+政务服务”工作的不断推进，集约化和政务服务平台整合了大量政务系统和应用，拥有目前数量最庞大、价值密度最高的数据资源。从政府自身建设角度出发，“互联网+政务服务”投入了大量的资金和人力，取得的成绩和效果无法展现，内部考核无法量化，难以做到客观公平，同时庞大系统如何运维，如何改进既有业务等问题陆续浮出水面。正因为这样，政务数据资源挖掘和利用迫在眉睫，它能够对政务和集约化工作起到支撑、反馈和指导作用，同时提升系统的运维服务能力，找到发展中出现的问题。从公共管理角度出发，对于推动经济发展、完善社会治理、提升政府服务和监管能力具有重要价值。在数据智能领域，虽然应用场景繁多，但大部分数据统计分析逻辑相对简单，往往只是基于简单的事件统计。例如，智能交通卡口抓拍的车辆牌照，事件信息是车牌号、车辆归属地、时间、地点。事件日志自身的结构是非常简单的。业务痛点主要是数据规模大，统计维度多样，计算资源消耗巨大。同时，业务部门提交新的计算任务需要重新提交开发人员做二次开发，效率低下。目前存在的缺陷和不足：可支持的数据源单一，多数据源数据得不到统一的整合，大都只针对单一数据来源进行采集，实际环境中数据源纷繁，有接口，有数据库，有索引库等数据源，满足不了多样化需求；采集，处理，分析，展现，技术含量高，使用门槛高，需要专业人才参与实施，需要编写代码完成，实施周期也相应较长；可视化效果不丰富，调整难度大，数据展现依赖开发人员的定制，需求调整时，不能及时响应，成本较高；数据规模大，统计维度多样，计算资源消耗巨大，单点的计算方式无法满足需求。
技术实现思路
本专利技术的主要目的是解决现有技术中统计计算方法满足不了多样化需求，实施周期较长，响应不及时，成本高的问题，而提供一种政务数据挖掘的高性能规模统计计算方法。本专利技术的目的可以通过采用如下技术方案达到：一种政务数据挖掘的高性能规模统计计算方法，该计算方法由表现层、应用层、应用支撑层及数据层实现。进一步的，所述表现层主要为数据大屏和数据分析报告。进一步的，所述数据大屏可以应用在政务用户的会议展览和业务监控；所述数据分析报告可以用于领导决策和运营分析。进一步的，所述应用层主要分为数据分析、数据源管理和演示管理三块。进一步的，所述数据分析是结合展现模板和数据模型，生成数据分析页面；所述数据源管理主要是添加和连接目标数据源，建立数据模型；所述演示管理用于用户在不同场景下的演示需求，使用不同的主题和演示模式。进一步的，所述应用支撑层可以提供可视化模板、模板标签、图表数据、图表样式、维度字段、度量字典、自定义表达式、可视化表关联组件，提供给应用层进行服务调用，利用联机分析处理技术对数据进行多维分析和展现。进一步的，所述数据层支持多种数据源的对接，包括excel数据、csv数据、mysql数据库、oracle数据库、hadoop的hive和hbase。进一步的，所述数据层通过软件接口方式，各个业务系统提供数据接口，将数据采集汇聚。进一步的，所述数据层通过开放数据库方式，将数据采集汇聚，可直接连通的数据库，配置相应数据库名称及表的架构所有者进行直接访问；非直接连通的数据库，采用链接服务器的形式或者使用openset和opendatasource的方式来进行访问。进一步的，所述数据层通过基于底层数据交换的数据直接采集方式，基于底层IO请求与网络分析等技术，获取软件系统的底层数据交换、软件客户端和数据库之间的网络流量包，采集目标系统产生的所有数据，将数据转换与重新结构化，输出到新的数据库，供软件系统调用。本专利技术的有益技术效果：本专利技术提供的一种政务数据挖掘的高性能规模统计计算方法，本专利技术通过采用面向海量数据分析的分布式文件存储系统、海量数据ETL引擎、流数据处理引擎、分析结果可视化展现系统，并结合政务服务行业特点，事前先行建立行业数据挖掘模型从海量数据中快速提取关键数据并展示，比传统数据挖掘系统大大减轻了前期数据类型分析和建模工作量，数据挖掘效率提升至少10％以上，并且结合对国内政务服务行业大量的经验积累，使得数据挖掘的准确性也得以保障，满足了多样化需求，实施周期较短，响应及时，成本低。附图说明图1为本专利技术技术方案示意图；图2为本专利技术实施例的流程图。具体实施方式为使本领域技术人员更加清楚和明确本专利技术的技术方案，下面对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。实施例：如图1和图2所示，本实施例提供的政务数据挖掘的高性能规模统计计算方法，具体包括表现层、应用层、应用支撑层及数据层；表现层主要为数据大屏和数据分析报告；所述数据大屏可以应用在政务用户的会议展览和业务监控；所述数据分析报告可以用于领导决策和运营分析，为了使分析后的数据直观、简练地呈现在用户面前，需要采用一定的形式表示和发布出来，通常采用的是一些查询和报表工具，系统提供常用的数据可视化图表，底层基于ZRender，创建了坐标系，图例，提示，工具箱等基础组件，并在此上构建出折线图(区域图)、柱状图(条状图)、散点图(气泡图)、饼图(环形图)、K线图、地图、力导向布局图以及和弦图，同时支持任意维度的堆积和多图表混合展现；应用层主要分为数据分析，数据源管理和演示管理三块；数据分析是结合展现模板和数据模型，生成数据分析页面；所述数据源管理主要是添加和连接目标数据源，建立数据模型；所述演示管理用于用户在不同场景下的演示需求，使用不同的主题和演示模式。应用支撑层可以提供可视化模板、模板标签、图表数据、图表样式、维度字段、度量字典、自定义表达式、可视化表关联等组件，提供给应用层进行服务调用，利用联机分析处理(OnlineAnalyticalProcessing，简称OLAP)技术对数据进行多维分析和展现，使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映维度特性的信息进行快速、一致、交互地存取；进行OLAP分析的前提是已有建好的数据仓库，之后即可利用OLAP复杂的查询能力、数据对比、数据抽取和报表来进行探测式数据分析了，用户在选择相关数据后，通过切片(按二维选择数据)、切块(按三维选择数据)、上钻(选择更高一级的数据详细信息以及数据视图)、下钻(展开同一级数据的详细信息)、旋转(获得不同视图的数据)等操作，可以在不同的粒度上对数据进行分析尝试，得到不同形式的知识和结果，联机分析处理在ROLAP(基于关系数据库的OLAP)和MOLAP(基于多维数据组织的OLAP)中减少存储空间和提高系统性能；预测型模式可以根据数据项的值精确确定某种结果，预测型模式主要包含的具体算法有货篮分析(MarketAnalysis)、聚类本文档来自技高网...

【技术保护点】
1.一种政务数据挖掘的高性能规模统计计算方法，其特征在于，该计算方法由表现层、应用层、应用支撑层及数据层实现。/n

【技术特征摘要】
1.一种政务数据挖掘的高性能规模统计计算方法，其特征在于，该计算方法由表现层、应用层、应用支撑层及数据层实现。


2.根据权利要求1所述的一种政务数据挖掘的高性能规模统计计算方法，其特征在于，所述表现层主要为数据大屏和数据分析报告。


3.根据权利要求2所述的一种政务数据挖掘的高性能规模统计计算方法，其特征在于，所述数据大屏可以应用在政务用户的会议展览和业务监控；所述数据分析报告可以用于领导决策和运营分析。


4.根据权利要求1所述的一种政务数据挖掘的高性能规模统计计算方法，其特征在于，所述应用层主要分为数据分析、数据源管理和演示管理三块。


5.根据权利要求4所述的一种政务数据挖掘的高性能规模统计计算方法，其特征在于，所述数据分析是结合展现模板和数据模型，生成数据分析页面；所述数据源管理主要是添加和连接目标数据源，建立数据模型；所述演示管理用于用户在不同场景下的演示需求，使用不同的主题和演示模式。


6.根据权利要求1所述的一种政务数据挖掘的高性能规模统计计算方法，其特征在于，所述应用支撑层可以提供可视化模板、模板标签、图表数据、图表样式、维度字段、度量字典、自定义表达式、可视化表关联组件，提供给应用层进行服务...

【专利技术属性】
技术研发人员：金震宇，树华伟，罗玉泉，
申请(专利权)人：大汉软件股份有限公司，
类型：发明
国别省市：江苏;32