基于Websocket的大数据处理方法、装置、电子设备、存储介质制造方法及图纸

本发明专利技术提供一种基于Websocket的大数据处理方法、装置、电子设备、存储介质，基于Websocket的大数据处理方法包括：根据所接入的大数据平台，确定自提供的多个接入方式中，确定一接入方式，以接入所述大数据平台；接收查询指令，以根据所述查询指令自所接入的大数据平台中查询数据；将所查询数据加密后通过Websocket协议发送至前端浏览器；根据加密后的所查询数据的数据大小进行分块和/或分页处理。本发明专利技术提供的基于Websocket的大数据处理方法及装置实现大数据快速查询和展示。

Large Data Processing Method, Device, Electronic Equipment and Storage Media Based on Websocket

The invention provides a large data processing method, device, electronic equipment and storage medium based on Web ocket. The large data processing method based on Web ocket includes: determining one of the multiple access modes provided by oneself according to the large data platform accessed, determining one access mode to access the large data platform; receiving query instructions to access the large data platform from oneself according to the query instructions. Query data in large data platform; encrypt the query data and send it to the front-end browser through Websocket protocol; divide and/or paginate the query data according to the size of the encrypted data. The large data processing method and device based on Websocket provided by the invention realize fast query and display of large data.

【技术实现步骤摘要】
基于Websocket的大数据处理方法、装置、电子设备、存储介质
本专利技术涉及计算机应用
，尤其涉及一种基于Websocket的大数据处理方法、装置、电子设备、存储介质。
技术介绍
在传统的数据查询中，如果数据量较小，前端技术人员处理难度较低，如果数据量较大可以采用分页、延迟加载等技术来实现，但是涉及到大数据级别的处理时，采用文件下载等方式虽然能够解决一部分问题，但这种方式无法很快的实时查询数据的情况，尤其是不了解具体数据组成的情况下，所以大数据量的查询和前端展现是非常有必要的。随着大数据技术的发展迅猛，从hadoop(一种分布式系统基础架构)到OLAP(联机分析处理，OnlineAnalyticalProcessing)在线联机分析产品层出不穷等，在众多的大数据处理产品平台之间，用户常常无所适从，能不能简单一些更简单一些，怎么样快速的进行大数据量的查询，能否快速查询、下载数据变成了用户普遍的心声。用户需要一种整体的解决方案，一方面适配各种大数据平台，一方面能够准确、无误的传输数据，能够让用户快速的查询和看到数据。对于大数据量的查询和展现，一直以来也是前端技术人员比较关注的问题，大数据量下浏览器的渲染可能会导致渲染缓慢、本地内存超出等异常故障和各种莫名其妙的问题，如何接收大数据量并且快速的渲染，有很大的挑战性。现有技术主要有如下的缺点和问题：(1)平台多，一般的只是针对某一平台进行适配，无法适配多种平台。(2)查询和展现慢，Hadoop等数据仓库类查询非常缓慢，OLAP等产品数据查询比较快，但是获取数据后渲染也需要花费较长时间。(3)易用性差，很多系统只看重能用，不看重好用，在大数据量查询人机交互方面做得不够好，无法看到实时的查询进度。(4)安全性低，通常查询前后台直接采用明文数据传输，容易被监听或窃取重要业务数据。
技术实现思路
本专利技术为了克服上述现有技术存在的缺陷，提供一种基于Websocket的大数据处理方法、装置、电子设备、存储介质，以实现大数据快速查询展示。根据本专利技术的一个方面，提供一种基于Websocket的大数据处理方法，包括：根据所接入的大数据平台，确定自提供的多个接入方式中，确定一接入方式，以接入所述大数据平台；接收查询指令，以根据所述查询指令自所接入的大数据平台中查询数据；将所查询数据加密后通过Websocket协议发送至前端浏览器；根据加密后的所查询数据的数据大小进行分块和/或分页处理。可选地，所述将所查询数据加密后通过Websocket协议发送至前端浏览器还包括：将所查询数据进行压缩。可选地，所述根据加密后的所查询数据的数据大小进行分块和/或分页处理包括：判断加密后的所查询数据的数据大小是否超过第一预定阈值；若是，则对加密后的所查询数据进行分为若干数据块，当所分数据块被使用时，对所分数据块进行解压和解密。可选地，所述对所分数据块进行解压和解密还包括：对解压和解密后的数据块进行分页处理。可选地，所述根据加密后的所查询数据的数据大小进行分块和/或分页处理包括：对所查询数据进行解压和解密；对解压和解密后的所查询数据进行分页处理。可选地，所述大数据平台至少包括：Presto、Hive、ElaticSearch。可选地，所述接入方式至少包括：JDBC、OSGI、Restful。根据本专利技术的又一方面，还提供一种基于Websocket的大数据处理装置，包括：接入模块，用于根据所接入的大数据平台，确定自提供的多个接入方式中，确定一接入方式，以接入所述大数据平台；查询模块，用于接收查询指令，以根据所述查询指令自所接入的大数据平台中查询数据；加密传输模块，用于将所查询数据加密后通过Websocket协议发送至前端浏览器；前端模块，用于根据加密后的所查询数据的数据大小进行分块和/或分页处理。根据本专利技术的又一方面，还提供一种电子设备，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。根据本专利技术的又一方面，还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。相比现有技术，本专利技术的优势在于：1)统一适配各种后端平台系统，实现企业实时和非实时数据的统一查询，有效降低培训和学习成本。2)通过WebSocket技术，实时展现丰富的即时查询状态，查询进度可控可视，降低用户的焦虑感，另外前端数据通过压缩、分页等方式，减少数据体积，加快渲染速度，减少用户的等待时长。3)查询简单易用，通过SQL语法查询，提供完善的智能提醒和帮助,提升易用性。4)数据传输过程安全可控，数据传输前后进行加密和解密，确保数据传输过程中不泄密。附图说明通过参照附图详细描述其示例实施方式，本专利技术的上述和其它特征及优点将变得更加明显。图1示出了根据本专利技术实施例的基于Websocket的大数据处理方法的示意图。图2示出了根据本专利技术实施例的基于Websocket的大数据处理装置的示意图。图3示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。图4示意性示出本公开示例性实施例中一种电子设备示意图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。为了解决现有技术的缺陷，保障用户号码的私密性，本专利技术提供一种基于Websocket的大数据处理方法、装置、电子设备、存储介质。首先参见图1，图1示出了根据本专利技术实施例的基于Websocket的大数据处理方法的示意图。基于Websocket的大数据处理方法包括如下步骤：步骤S110：根据所接入的大数据平台，确定自提供的多个接入方式中，确定一接入方式，以接入所述大数据平台；步骤S120：接收查询指令，以根据所述查询指令自所接入的大数据平台中查询数据；步骤S130：将所查询数据加密后通过Websocket协议发送至前端浏览器；步骤S140：根据加密后的所查询数据的数据大小进行分块和/或分页处理。在本专利技术提供的基于Websocket的大数据处理方法中，1)统一适配各种后端平台系统，实现企业实时和非实时数据的统一查询，有效降低培训和学习成本；2)通过WebSocket技术，实时展现丰富的即时查询状态，查询进度可控可视，降低用户的焦虑感，另外前端数据通过压缩、分页等方式，减少数据体积，加快渲染速度，减少用户的等待时长；3)查询简单易用，通过SQL语法查询，提供完善的智能提醒和帮助,提升易用性；4)数据传输过程安全可控，数据传输前后进行加密和解密，确保数据传输过程中不泄密。具体而言，WebSocket是一种本文档来自技高网...

【技术保护点】
1.一种基于Websocket的大数据处理方法，其特征在于，包括：根据所接入的大数据平台，确定自提供的多个接入方式中，确定一接入方式，以接入所述大数据平台；接收查询指令，以根据所述查询指令自所接入的大数据平台中查询数据；将所查询数据加密后通过Websocket协议发送至前端浏览器；根据加密后的所查询数据的数据大小进行分块和/或分页处理。

【技术特征摘要】
1.一种基于Websocket的大数据处理方法，其特征在于，包括：根据所接入的大数据平台，确定自提供的多个接入方式中，确定一接入方式，以接入所述大数据平台；接收查询指令，以根据所述查询指令自所接入的大数据平台中查询数据；将所查询数据加密后通过Websocket协议发送至前端浏览器；根据加密后的所查询数据的数据大小进行分块和/或分页处理。2.如权利要求1所述的基于Websocket的大数据处理方法，其特征在于，所述将所查询数据加密后通过Websocket协议发送至前端浏览器还包括：将所查询数据进行压缩。3.如权利要求2所述的基于Websocket的大数据处理方法，其特征在于，所述根据加密后的所查询数据的数据大小进行分块和/或分页处理包括：判断加密后的所查询数据的数据大小是否超过第一预定阈值；若是，则对加密后的所查询数据进行分为若干数据块，当所分数据块被使用时，对所分数据块进行解压和解密。4.如权利要求3所述的基于Websocket的大数据处理方法，其特征在于，所述对所分数据块进行解压和解密还包括：对解压和解密后的数据块进行分页处理。5.如权利要求2所述的基于Websocket的大数据处理方法，其特征在于，所述根据加密后的所查询数据的数据大小进行...

【专利技术属性】
技术研发人员：张翔，
申请(专利权)人：携程旅游网络技术上海有限公司，
类型：发明
国别省市：上海,31