一种关于政务数据融合分析的方法技术

本发明专利技术公开了一种关于政务数据融合分析的方法，包括以下步骤：a.首先进行数据收集；b.待步骤a完成后再存储；c.待步骤b完成后，再进行政务数据融合；d.待步骤c完成后，再进行数据计算；e.待步骤d完成后，再进行数据的分析；f.待步骤e完成后，再进行优化政务数据，通过在采用Sloth、Spark、Hive、Impala的方式进行数据计算，可支持流式计算、离线计算和内存计算，配合多源数据融合技术，增加了数据计算的多样性和融合范围，确保了政务数据融合分析的准确性和稳定性，可通过优化政务数据，结合实际政务新政45％、表格15％、文本5％、图片4％、地图6％、多媒体25％等各类实时与非实时的政府可公开数据，避免数据老旧化，保证数据的实时性，便于推广使用。

A method of data fusion analysis for government affairs

The invention discloses a method for analyzing government affairs data fusion, which comprises the following steps: A. data collection first; B. data storage after completion of step a; C. government affairs data fusion after completion of step b; D. data calculation after completion of step c; E. data analysis after completion of step d F. After the completion of step e, optimize the government data, through the use of Sloth, Spark, Hive, Impala data computing, can support flow computing, offline computing and memory computing, with multi-source data fusion technology, increased the diversity of data computing and fusion range, to ensure that the government data fusion points. The accuracy and stability of the analysis can be avoided by optimizing government data, combining with actual government affairs, such as 45%, 15%, 5% text, 4% picture, 6% map, 25% multimedia and other real-time and non-real-time government open data, so as to avoid data aging, ensure real-time data, and facilitate the promotion and use.

【技术实现步骤摘要】
一种关于政务数据融合分析的方法
本专利技术涉及一种政务数据处理
，具体为一种关于政务数据融合分析的方法。
技术介绍
政务指政府的事务性工作；泛指行政事务，而数据融合技术是指利用计算机对按时序获得的若干观测信息，在一定准则下加以自动分析、综合，以完成所需的决策和评估任务而进行的信息处理技术，数据融合技术，包括对各种信息源给出的有用信息的采集、传输、综合、过滤、相关及合成，以便辅助人们进行态势/环境判定、规划、探测、验证、诊断。这对战场上及时准确地获取各种有用的信息，对战场情况和威胁及其重要程度进行适时的完整评价，实施战术、战略辅助决策与对作战部队的指挥控制，是极其重要的。未来战场瞬息万变，且影响决策的因素更多更复杂，要求指挥员在最短的时间内，对战场态势作出最准确的判断，对作战部队实施最有效的指挥控制。而这一系列“最”的实现，必须有最先进的数据处理技术做基本保证。否则再高明的军事领导人和指挥官也会被浩如烟海的数据所淹没，或导致判断失误，或延误决策丧失战机而造成灾难性后果。目前，现有的政务数据可配合政府配合行政事务使用，但是在实际使用中，政务数据在自身的计算方式上，较为单一，这对于大范围、大规模、大体量的政务数据来说，不便于增加计算能力和融合范围，其次在缺少政务数据优化的情况下，会导致政务数据的老旧，对政务分析产生了偏差影响，这些都是实际存在而又急需解决的问题。
技术实现思路
本专利技术要解决的技术问题是克服现有技术的缺陷，提供一种关于政务数据融合分析的方法，通过在采用Sloth、Spark、Hive、Impala的方式进行数据计算，可支持流式计算、离线计算和内存计算，配合多源数据融合技术，增加了数据计算的多样性和融合范围，确保了政务数据融合分析的准确性和稳定性，可通过优化政务数据，结合实际政务新政45％、表格15％、文本5％、图片4％、地图6％、多媒体25％等各类实时与非实时的政府可公开数据，避免数据老旧化，保证数据的实时性，便于推广使用。为解决上述问题，本专利技术提供如下技术方案：一种关于政务数据融合分析的方法，包括以下步骤：a.首先进行数据收集；b.待步骤a完成后再进行数据存储；c.待步骤b完成后，再进行政务数据的融合；d.待步骤c完成后，再进行数据的计算；e.待步骤d完成后，再进行数据的分析；f.待步骤e完成后，再进行优化政务数据；g.待步骤f完成后，再进行政务数据的规划工作。作为本专利技术的一种优选实施方式，所述步骤a中，数据收集结合征服数据公开平台，采用ERP、CRM、MES、结构化、半结构化和非结构化的方式，来支撑各种系统和类型的数据。作为本专利技术的一种优选实施方式，所述步骤b中，数据存储采用HDFS、HBase、KUDU的方式来支撑全量非实时，增量实时数据接入，支持分布式文件系统和数据库。作为本专利技术的一种优选实施方式，所述步骤c中，数据的融合采用多源数据融合技术，必须保证数据选择的正确性尽量优选出合适的数据对象来进行数据融合若数据对象选择错误将直接影响到多源数据的后期融合效果。作为本专利技术的一种优选实施方式，所述步骤d中，数据计算采用Sloth、Spark、Hive、Impala的方式，可支持流式计算、离线计算和内存计算。作为本专利技术的一种优选实施方式，所述步骤e中，采用可视化建模、PPT式报告、分析与探索相结合的方式，可便于自助式的分析，流畅报告制作过程，使数据分析效率提升了80％。作为本专利技术的一种优选实施方式，所述步骤f中，需要结合实际政务新政及表格、文本、图片、地图、多媒体等各类实时与非实时的政府可公开数据，分配比例为：政务新政45％、表格15％、文本5％、图片4％、地图6％、多媒体25％，来对政务数据进行进一步的优化。作为本专利技术的一种优选实施方式，所述步骤g中，需要配合数据分析、趋势预测、数据挖掘的方式，来对政务偏向进行预测性分析，实现对政务活动的良心循环。与现有技术相比，本专利技术的有益效果如下：本专利技术一种关于政务数据融合分析的方法，通过在采用Sloth、Spark、Hive、Impala的方式进行数据计算，可支持流式计算、离线计算和内存计算，配合多源数据融合技术，增加了数据计算的多样性和融合范围，确保了政务数据融合分析的准确性和稳定性，可通过优化政务数据，结合实际政务新政45％、表格15％、文本5％、图片4％、地图6％、多媒体25％等各类实时与非实时的政府可公开数据，避免数据老旧化，保证数据的实时性，便于推广使用。具体实施方式本专利技术提供一种技术方案：一种关于政务数据融合分析的方法，包括以下步骤：a.首先进行数据收集；b.待步骤a完成后再进行数据存储；c.待步骤b完成后，再进行政务数据的融合；d.待步骤c完成后，再进行数据的计算；e.待步骤d完成后，再进行数据的分析；f.待步骤e完成后，再进行优化政务数据；g.待步骤f完成后，再进行政务数据的规划工作。所述步骤a中，数据收集结合征服数据公开平台，采用ERP、CRM、MES、结构化、半结构化和非结构化的方式，来支撑各种系统和类型的数据。所述步骤b中，数据存储采用HDFS、HBase、KUDU的方式来支撑全量非实时，增量实时数据接入，支持分布式文件系统和数据库。所述步骤c中，数据的融合采用多源数据融合技术，必须保证数据选择的正确性尽量优选出合适的数据对象来进行数据融合若数据对象选择错误将直接影响到多源数据的后期融合效果。所述步骤d中，数据计算采用Sloth、Spark、Hive、Impala的方式，可支持流式计算、离线计算和内存计算。所述步骤e中，采用可视化建模、PPT式报告、分析与探索相结合的方式，可便于自助式的分析，流畅报告制作过程，使数据分析效率提升了80％。所述步骤f中，需要结合实际政务新政及表格、文本、图片、地图、多媒体等各类实时与非实时的政府可公开数据，分配比例为：政务新政45％、表格15％、文本5％、图片4％、地图6％、多媒体25％，来对政务数据进行进一步的优化。所述步骤g中，需要配合数据分析、趋势预测、数据挖掘的方式，来对政务偏向进行预测性分析，实现对政务活动的良心循环。在一种关于政务数据融合分析的方法中，首先通过在采用Sloth、Spark、Hive、Impala的方式进行数据计算，可支持流式计算、离线计算和内存计算，配合多源数据融合技术，增加了数据计算的多样性和融合范围，确保了政务数据融合分析的准确性和稳定性，可通过优化政务数据，结合实际政务新政45％、表格15％、文本5％、图片4％、地图6％、多媒体25％等各类实时与非实时的政府可公开数据，避免数据老旧化，保证数据的实时性，便于推广使用。以上显示和描述了本专利技术的基本原理和主要特征和本专利技术的优点，对于本领域技术人员而言，显然本专利技术不限于上述示范性实施例的细节，而且在不背离本专利技术的精神或基本特征的情况下，能够以其他的具体形式实现本专利技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本专利技术的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本专利技术内。以上所述仅为本专利技术的优选实施例而已，并不用于限制本专利技术，尽管参照前述实施例对本专利技术进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术本文档来自技高网...

【技术保护点】
1.一种关于政务数据融合分析的方法，其特征在于：包括以下步骤：a.首先进行数据收集；b.待步骤a完成后再进行数据存储；c.待步骤b完成后，再进行政务数据的融合；d.待步骤c完成后，再进行数据的计算；e.待步骤d完成后，再进行数据的分析；f.待步骤e完成后，再进行优化政务数据；g.待步骤f完成后，再进行政务数据的规划工作。

【技术特征摘要】
1.一种关于政务数据融合分析的方法，其特征在于：包括以下步骤：a.首先进行数据收集；b.待步骤a完成后再进行数据存储；c.待步骤b完成后，再进行政务数据的融合；d.待步骤c完成后，再进行数据的计算；e.待步骤d完成后，再进行数据的分析；f.待步骤e完成后，再进行优化政务数据；g.待步骤f完成后，再进行政务数据的规划工作。2.根据权利要求1所述的一种关于政务数据融合分析的方法，其特征在于：所述步骤a中，数据收集结合征服数据公开平台，采用ERP、CRM、MES、结构化、半结构化和非结构化的方式，来支撑各种系统和类型的数据。3.根据权利要求1所述的一种关于政务数据融合分析的方法，其特征在于：所述步骤b中，数据存储采用HDFS、HBase、KUDU的方式来支撑全量非实时，增量实时数据接入，支持分布式文件系统和数据库。4.根据权利要求1所述的一种关于政务数据融合分析的方法，其特征在于：所述步骤c中，数据的融合采用多源数据融合技术，必须保证数据选择的正确性尽量优选出合适的数据对象来进行数据融合若数...

【专利技术属性】
技术研发人员：吴又奎，褚杰，周述红，赵阳，廖坤虹，
申请(专利权)人：贵州中科恒运软件科技有限公司，
类型：发明
国别省市：贵州,52