一种社保大数据可视化方法及系统技术方案

本发明专利技术公开了一种社保大数据可视化方法及系统，该技术方案主要是通过反馈式的交互机制来生成图形文件，提高交互实时性和友好性；同时通过预定义图表和地图模板、缓存机制、异步传输机制来提高可视化效率。另外，通过云服务器集群选举空闲的服务器处理客户端请求，确保客户端请求能被及时、高效处理。本发明专利技术充分发挥了可视化云服务器的处理性能，克服了单一服务器的性能瓶颈；同时通过缓存机制避免相同可视化结果的重复生成和多余的数据传输，提高从可视化生成到客户端展示的效率，从而提高数据可视化的效率。

Large data visualization method and system for social security

The invention discloses a method and a system of social security data visualization technology, the program is mainly to generate graphics files through the feedback mechanism of interaction style, improve the interactive real-time and friendly; at the same time through predefined chart and map template, cache mechanism, asynchronous transmission mechanism to improve the efficiency of visualization. In addition, through the cloud server cluster election idle server to deal with client requests, to ensure that the client request can be timely and efficient processing. The invention has the advantages of processing performance visualization cloud server, overcome the performance bottleneck of single server; at the same time by caching mechanism to avoid the same visual results repeatedly generated and redundant data transmission, improve the efficiency of visualization to display from the client, thus improve the efficiency of data visualization.

【技术实现步骤摘要】

本专利技术涉及大数据处理的
，尤其是指一种社保大数据可视化方法及系统。
技术介绍
2002年起，国务院提出了国家级的信息化规划方案“金保工程”。“金保工程”是利用先进的信息技术，以中央、省、市三级网络为依托，支持劳动和社会保障业务经办、公共服务、基金监管和宏观决策等核心应用，覆盖全国的统一的劳动和社会保障电子政务工程。如今社保已覆盖十几亿人口，“金保工程”也积累了海量的社保大数据，所以迫切需要利用日益成熟的大数据技术对这些数据进行有效的挖掘与分析，发现数据背后隐含的信息，为政府决策提供参考依据。社保大数据的挖掘与分析从采集源数据到最终获得分析结果一般要经过几个主要步骤，包括数据采集、数据预处理、数据存储与管理、联机分析处理(OLAP)、数据挖掘、数据可视化等。其中，数据可视化负责将联机分析处理(OLAP)和数据挖掘的分析结果，通过生动形象的图形图像的形式展示出来，为决策者提供决策依据。在这其中，图形图像的形式十分丰富，包括基于信息图表的可视化、基于时间顺序的时间线类可视化、基于数据地图的可视化。信息图表类可视化采用各种富有创意的图表，如仪表盘、泡泡图等，适用于决策者对时效性较高的统计结果进行监测和预警；基于时间顺序的时间线类可视化在表现数据在时间维度上的演变有重要作用，通过将数据的相关信息，如发生时间、发生地点、数据成因、数据发展过程等描述制作成表单文件，并以时间线的形式展示，更清晰地展示相关统计数据随着时间推移而带来的变化发展，适用于决策者进行趋势分析和预测；数据地图类可视化在展现数据基于空间或地理分布上有很强的表现力，可以直观地展现各个分析指标的分布、区域等，同时也能够更有说服力地传递观点，发掘未被发现的数据宝藏。总而言之，数据可视化通过将数据库中的数据项转换为图形图像的形式，以发现数据内在的联系和发展规律；同时，辅助以相应的交互技术，最终达到增强用户认知的目的。利用数据可视化进行可视分析，可以帮助人们：1)糅合繁杂的、动态的数据，并从中获得对数据的深入理解；2)检测到预期希望的结果，发现未知的趋势和现象；3)提供对数据实时的、可靠的、可理解的评估；4)通过协同技术，与他人协同分析评估结果。当前，数据可视化的最大挑战在于在某些情况下，为计算机生成可视对象是非常性能密集的，特别是数据量特别大的情况下。例如，生成图表和地图需要大量的计算能力和存储器，尤其是在可视对象包括大量的数据点时。传统的策略是将全部数据读入内存进行处理并呈现每一个数据点，而不管产生的对象的大小。另外，对象上的某些操作也可能导致计算机变得响应缓慢，例如显示大地图、选择详细图表的一部分、滚动、打印、和修改对象，这样使得很难进行实时动态交互。同时，在交互过程中往往缺少对用户的反馈信息，导致用户无法知道响应缓慢的原因，对用户十分不友好。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种社保大数据可视化方法及系统，采用该技术方案，可提高可视化生成和交互的效率，提供一定的可扩展性，避免了服务器与客户端之间多余的数据传输，从而提高数据可视化的效率。同时，通过消息框提示的方法向客户端反馈可视化过程中的状态，清晰地将交互过程和结果呈现给用户。为实现上述目的，本专利技术所提供的技术方案，如下：一种社保大数据可视化方法，包括以下步骤：1)云平台为云服务器分配所需资源，并初始化可视化云服务器集群；2)客户端检查本地缓存是否存在可视化文件缓存，若存在，则直接显示；否则向服务器端发送请求，请求中包含交互的数据、图形样式、分区方法，此时云服务器集群需要选举空闲的服务器处理该请求；3)服务器端对客户端传过来的数据、图形样式、分区方法进行Hash运算，得到该请求的唯一KEY，然后从缓存库中查找是否存在该KEY标识对应的可视化文件，若存在，执行下面步骤8)，若不存在，执行下面步骤4)；4)从服务器预定义图形模板库中寻找指定的图形样式，若找不到，则返回错误信息给客户端；若找到，则将交互数据输入到模板中，生成图形文件；5)服务器根据客户端指定的分区方法，对上面步骤4)生成的图形文件进行分区，产生n个块文件，n是分区方法计算出的分区数目；6)服务器根据客户端请求，抽取出指定的块文件，并转换为指定格式的可视化文件，准备将此可视化文件放入缓存库中；7)服务器检查缓存库是否已满，若是，则根据LRU算法删除近期最少使用的可视化文件；接着将可视化文件放入缓存库中，其中以上面步骤4)计算出的KEY为该可视化文件的标识；8)服务器将可视化文件传输给客户端，客户端将可视化文件进行更新并展示给用户，同时，服务器会把其他分区的可视化文件通过异步传输方式传输给客户端，这样客户端在显示其他分区时就不需要重新请求服务器；其中，为了达到反馈式交互，在以上每个步骤中，客户端都将该步骤的状态信息返回给客户端，客户端根据此反馈状态显示相应信息，让用户知道当前可视化的进度；另外，云服务器集群采用如下的选举策略：分别对各个服务器的性能、网络健康情况、与客户端的距离、正在处理的任务数赋予不同的权重，然后根据权重之和选取性能最佳的服务器响应客户端的请求，以确保客户端请求能被及时、高效处理。在步骤7)中，所述LRU算法的具体流程如下：7.1)一开始时，缓存库中已经满了，分别存放设定的A、B、C、D、E五个文件，它们的访问频率分别是32、30、26、26、25，按照访问频率大小排序，访问频率最大的文件A排在队头；7.2)此时访问文件D，文件D的访问频率为26；访问文件D后，文件D的访问频率加1，此时需要调整缓存库的顺序，即文件D和文件C交换；7.3)接着访问文件B，文件B的访问频率加1，由于文件A的频率仍然比文件B大，所以不需要调整顺序；7.4)最后将新文件F添加到缓存库，由于文件E的频率最低，故淘汰文件E，将文件F添加到缓存库；缓存库重新排序，文件F放到队尾。一种社保大数据可视化系统，包括：网络传输模块，负责客户端与服务器端之间的数据传输，包括客户端向服务器端反馈交互的数据、图形样式、分区方法，服务器端向客户端返回生成的可视化文件；该网络传输模块也负责保证云服务器集群中各个服务器数据的同步，同时，该网络传输模块能够异步传输客户端请求中的其他分区结果数据到客户端，使得客户端不需重新发送请求即可获得交互结果；数据存储模块，负责管理内存缓存区和文件缓存区；所述内存缓存区主要用于保存与当前客户端交互中生成的可视化文件，所述文件缓存区则保存历史生成的可视化文件；该内存缓存区已满或者与当前客户端的会话结束时，则会将内存缓存区中的可视化文件保存在文件缓存区中，在内存缓存区和文件缓存区中，每个可视化文件都有唯一的标识，该标识是通过对客户端传过来的数据、图形样式、分区方法进行Hash运算得到的；可视化生成模块，将交互数据输入到图形模板并生成图形文件，对图形文件进行分区、格式转换，调用数据存储模块来查找是否存在可视化文件缓存和保存新生成的可视化文件到缓存区；可视化展示模块，用于展示服务器返回给客户端的可视化文件，提供客户端与服务器进行交互的接口，该接口会调用网络传输模块来将交互数据反馈给服务器端，同时支持对可视化文件的多种格式的导出和下载，支持动态扩展导出格式。本专利技术与现有技术相比，具有如下优点与有益效果：1、通过本文档来自技高网...

【技术保护点】
一种社保大数据可视化方法，其特征在于，包括以下步骤：1)云平台为云服务器分配所需资源，并初始化可视化云服务器集群；2)客户端检查本地缓存是否存在可视化文件缓存，若存在，则直接显示；否则向服务器端发送请求，请求中包含交互的数据、图形样式、分区方法，此时云服务器集群需要选举空闲的服务器处理该请求；3)服务器端对客户端传过来的数据、图形样式、分区方法进行Hash运算，得到该请求的唯一KEY，然后从缓存库中查找是否存在该KEY标识对应的可视化文件，若存在，执行下面步骤8)，若不存在，执行下面步骤4)；4)从服务器预定义图形模板库中寻找指定的图形样式，若找不到，则返回错误信息给客户端；若找到，则将交互数据输入到模板中，生成图形文件；5)服务器根据客户端指定的分区方法，对上面步骤4)生成的图形文件进行分区，产生n个块文件，n是分区方法计算出的分区数目；6)服务器根据客户端请求，抽取出指定的块文件，并转换为指定格式的可视化文件，准备将此可视化文件放入缓存库中；7)服务器检查缓存库是否已满，若是，则根据LRU算法删除近期最少使用的可视化文件；接着将可视化文件放入缓存库中，其中以上面步骤4)计算出的KEY为该可视化文件的标识；8)服务器将可视化文件传输给客户端，客户端将可视化文件进行更新并展示给用户，同时，服务器会把其他分区的可视化文件通过异步传输方式传输给客户端，这样客户端在显示其他分区时就不需要重新请求服务器；其中，为了达到反馈式交互，在以上每个步骤中，客户端都将该步骤的状态信息返回给客户端，客户端根据此反馈状态显示相应信息，让用户知道当前可视化的进度；另外，云服务器集群采用如下的选举策略：分别对各个服务器的性能、网络健康情况、与客户端的距离、正在处理的任务数赋予不同的权重，然后根据权重之和选取性能最佳的服务器响应客户端的请求，以确保客户端请求能被及时、高效处理。...

【技术特征摘要】
1.一种社保大数据可视化方法，其特征在于，包括以下步骤：1)云平台为云服务器分配所需资源，并初始化可视化云服务器集群；2)客户端检查本地缓存是否存在可视化文件缓存，若存在，则直接显示；否则向服务器端发送请求，请求中包含交互的数据、图形样式、分区方法，此时云服务器集群需要选举空闲的服务器处理该请求；3)服务器端对客户端传过来的数据、图形样式、分区方法进行Hash运算，得到该请求的唯一KEY，然后从缓存库中查找是否存在该KEY标识对应的可视化文件，若存在，执行下面步骤8)，若不存在，执行下面步骤4)；4)从服务器预定义图形模板库中寻找指定的图形样式，若找不到，则返回错误信息给客户端；若找到，则将交互数据输入到模板中，生成图形文件；5)服务器根据客户端指定的分区方法，对上面步骤4)生成的图形文件进行分区，产生n个块文件，n是分区方法计算出的分区数目；6)服务器根据客户端请求，抽取出指定的块文件，并转换为指定格式的可视化文件，准备将此可视化文件放入缓存库中；7)服务器检查缓存库是否已满，若是，则根据LRU算法删除近期最少使用的可视化文件；接着将可视化文件放入缓存库中，其中以上面步骤4)计算出的KEY为该可视化文件的标识；8)服务器将可视化文件传输给客户端，客户端将可视化文件进行更新并展示给用户，同时，服务器会把其他分区的可视化文件通过异步传输方式传输给客户端，这样客户端在显示其他分区时就不需要重新请求服务器；其中，为了达到反馈式交互，在以上每个步骤中，客户端都将该步骤的状态信息返回给客户端，客户端根据此反馈状态显示相应信息，让用户知道当前可视化的进度；另外，云服务器集群采用如下的选举策略：分别对各个服务器的性能、网络健康情况、与客户端的距离、正在处理的任务数赋予不同的权重，然后根据权重之和选取性能最佳的服务器响应客户端的请求，以确保客户端请求能被及时、高效处理。2.根据权利要求1所述的一种社保大数据可视化方法，其特征在于：在步骤7)中，所述LRU算法...

【专利技术属性】
技术研发人员：张星明，李作权，梁桂煌，陈霖，古振威，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44