一种基于非采样大数据的散点图渲染方法及系统技术方案

本发明专利技术公开一种基于非采样大数据的散点图渲染方法及系统，方法包括：前端浏览器按用户选择的散点图类型向RPC网关发起渲染请求；RPC网关将渲染请求路由至对应的业务系统；业务系统优化关系型数据库的数据，记录优化过滤筛选条件及优化后的数据；业务系统加载数据分析策略，结合优化后获得的数据的集合的配置参数获取数据库查询语言的脚本，处理该脚本后经RPC网关传输至前端浏览器；前端浏览器语法分析处理后的脚本，并将该处理后的脚本转发至代理网关校验；代理网关拼接该处理后的脚本后将其转换成新的HTTP请求并发送至ClickHouse数据库；图像渲染组件存储代理网关返回的ClickHouse数据库的数据；获取渲染图像。获取渲染图像。获取渲染图像。

【技术实现步骤摘要】
一种基于非采样大数据的散点图渲染方法及系统


[0001]本专利技术涉及数据信息处理
，尤其涉及一种基于非采样大数据的散点图渲染方法及系统。

技术介绍

[0002]在新能源风力发电领域，数据分析运维人员需要通过分析历史数据，通过不断调整风机设备和运行参数，实现产能最大化，同时降低弃风和设备故障率。传统的散点图渲染方法的操作步骤大致是：通过excel表格制作数据样本(最大65535行)，然后加载公式，匹配数据字典，并用数据透视图功能形成图像。然后用Matlab软件做数据建模，编写数据处理脚本，修改参数，按步骤执行统计到区间点的数量。如此反复以形成相对完整的图像和数据。但是，传统的散点图渲染方法步骤复杂繁琐，需要依赖分析人员的专业和经验，且人工成本高，对客户端电脑性能要求较高。

技术实现思路

[0003]本专利技术所要解决的技术问题是提供一种基于非采样大数据的散点图渲染方法及系统以自动对非采样大数据进行散点图渲染，无需人工编写数据处理脚本及修改参数，降低人工成本，降低对客户端电脑性能的要求。
[0004]第一方面，本专利技术实施例提供了一种基于非采样大数据的散点图渲染方法，应用于基于非采样大数据的散点图渲染系统，所述基于非采样大数据的散点图渲染系统包括前端浏览器、RPC网关、多个业务系统、关系型数据库、ClickHouse数据库、代理网关及图像渲染组件；所述基于非采样大数据的散点图渲染方法包括以下步骤：
[0005]发起请求：所述前端浏览器根据用户选择的散点图类型向所述RPC网关发起渲染请求；
[0006]路由分发请求：所述RPC网关根据接收到的渲染请求中对应的散点图类型将渲染请求路由分发至对应的业务系统；
[0007]优化数据：所述业务系统对所述关系型数据库存储的数据执行查询优化，记录优化过滤筛选条件及优化过滤筛选后的数据的集合；
[0008]获取脚本：所述业务系统加载对应的数据分析策略，结合查询优化后记录获得的优化过滤筛选后的数据的集合中的配置参数进行计算，获得数据库查询语言的脚本，对数据库查询语言的脚本进行处理后反馈至所述RPC网关后传输至所述前端浏览器；
[0009]校验脚本：所述前端浏览器根据接收到的所述PRC网关传输的处理后的数据库查询语言的脚本进行语法分析，并将该处理后的数据库查询语言的脚本转发至所述代理网关进行校验；
[0010]转换请求：所述代理网关于接收到的该处理后的数据库查询语言的脚本的开头拼接代理网关地址、会话状态及鉴权信息，将拼接后的处理后的数据库查询语言的脚本转换成新的HTTP请求，生成HTTP请求报文并发送至ClickHouse数据库；其中，转换后的HTTP请求
类型为获取；
[0011]数据接收及存储：所述图像渲染组件采用浮点32位二进制类型数组对接收到的所述代理网关返回的所述ClickHouse数据库根据HTTP请求报文搜索获得的数据进行存储；
[0012]获取渲染图像：所述图像渲染组件根据接收到的数据采用散点图组件库进行渲染，并将渲染图像反馈至所述前端浏览器。
[0013]其进一步技术方案为：所述校验脚本的步骤具体为：所述前端浏览器将接收到的所述PRC网关传输的处理后的数据库查询语言的脚本进行语法分析；所述前端浏览器将接收到的处理后的数据库查询语言的脚本转发至所述代理网关；所述代理网关对接收到的处理后的数据库查询语言的脚本进行校验；其中，当脚本中的索引不完整或校验分析时长超出预设时长时，反馈错误发生信息至所述前端浏览器以提示发生错误，结束渲染操作。
[0014]其进一步技术方案为：所述前端浏览器将接收到的处理后的数据库查询语言的脚本转发至所述代理网关的步骤后还包括：当响应异常时，所述前端浏览器提示发生错误，结束渲染操作。
[0015]其进一步技术方案为：所述优化数据的步骤前具体包括：
[0016]所述业务系统查询所述关系型数据库中与用户选择的散点图类型对应的数据是否为空；
[0017]若是，所述业务系统反馈错误发生信息并通过所述RPC网关发送至所述前端浏览器以提示发生错误，结束渲染操作；
[0018]若否，所述业务系统查询所述关系型数据库中与用户选择的散点图类型对应的数据的长度是否超出预设的数据长度阈值；
[0019]若是，所述业务系统反馈错误发生信息并通过所述RPC网关发送至所述前端浏览器以提示发生错误，结束渲染操作；
[0020]若否，执行所述优化数据的步骤。
[0021]其进一步技术方案为：所述获取脚本的步骤具体包括：
[0022]所述业务系统加载对应的数据分析策略，结合查询优化后记录获得的优化过滤筛选后的数据的集合中的配置参数进行计算，获得数据库查询语言的脚本；
[0023]所述业务系统于数据库查询语言的脚本的末尾拼接时间戳、版本号、报文摘要及指定的二进制行格式。
[0024]其进一步技术方案为：所述路由分发请求的步骤前还包括：当所述PRC网关根据接收到的渲染请求获知用户选择的时间维度超过预设的时间维度阈值或风机总数目超出预设的风机总数阈值时，所述RPC网关反馈错误发生信息至所述前端浏览器以提示发生错误，结束渲染操作。
[0025]其进一步技术方案为：所述获取渲染图像的步骤后还包括：所述前端浏览器显示渲染图像。
[0026]第二方面，本专利技术实施例还提供了一种基于非采样大数据的散点图渲染系统，所述基于非采样大数据的散点图渲染系统包括前端浏览器、RPC网关、多个业务系统、关系型数据库、ClickHouse数据库、代理网关及图像渲染组件；其中，所述前端浏览器分别与所述RPC网关、代理网关及图像渲染组件通信连接，用于与用户进行交互，供用户选择散点图类型，以根据用户选择的散点图类型向所述RPC网关发起渲染请求；用于根据接收到的所述
PRC网关传输的处理后的数据库查询语言的脚本进行语法分析，并向所述代理网关转发该处理后的数据库查询语言的脚本；所述RPC网关通过所述业务系统与所述关系型数据库通信连接，所述关系型数据库用于存储与散点图类型相关的数据，包括配置参数和鉴权数据，所述RPC网关用于路由分发渲染请求至对应的业务系统，所述业务系统用于对所述关系型数据库存储的数据执行查询优化，记录优化过滤筛选条件及优化过滤筛选后的数据的集合，加载数据分析策略，结合查询优化后记录获得的优化过滤筛选后的数据的集合中的配置参数进行计算，获得数据库查询语言的脚本，对数据库查询语言的脚本进行处理后反馈至所述RPC网关后传输至所述前端浏览器；所述代理网关分别与所述图像渲染组件及所述ClickHouse数据库通信连接，所述ClickHouse数据库用于存储以往的实验数据；所述代理网关用于于接收到的所述前端浏览器转发的处理后的数据库查询语言的脚本的开头拼接代理网关地址、会话状态及鉴权信息，将拼接后的数据库查询语言的脚本转换成新的HTTP请求，生成HTTP请求报文并发送至ClickHouse数据库；获取并返回根据HTTP请求报文于所述ClickHou本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于非采样大数据的散点图渲染方法，其特征在于，应用于基于非采样大数据的散点图渲染系统，所述基于非采样大数据的散点图渲染系统包括前端浏览器、RPC网关、多个业务系统、关系型数据库、ClickHouse数据库、代理网关及图像渲染组件；所述基于非采样大数据的散点图渲染方法包括以下步骤：发起请求：所述前端浏览器根据用户选择的散点图类型向所述RPC网关发起渲染请求；路由分发请求：所述RPC网关根据接收到的渲染请求中对应的散点图类型将渲染请求路由分发至对应的业务系统；优化数据：所述业务系统对所述关系型数据库存储的数据执行查询优化，记录优化过滤筛选条件及优化过滤筛选后的数据的集合；获取脚本：所述业务系统加载对应的数据分析策略，结合查询优化后记录获得的优化过滤筛选后的数据的集合中的配置参数进行计算，获得数据库查询语言的脚本，对数据库查询语言的脚本进行处理后反馈至所述RPC网关后传输至所述前端浏览器；校验脚本：所述前端浏览器根据接收到的所述PRC网关传输的处理后的数据库查询语言的脚本进行语法分析，并将该处理后的数据库查询语言的脚本转发至所述代理网关进行校验；转换请求：所述代理网关于接收到的该处理后的数据库查询语言的脚本的开头拼接代理网关地址、会话状态及鉴权信息，将拼接后的处理后的数据库查询语言的脚本转换成新的HTTP请求，生成HTTP请求报文并发送至ClickHouse数据库；其中，转换后的HTTP请求类型为获取；数据接收及存储：所述图像渲染组件采用浮点32位二进制类型数组对接收到的所述代理网关返回的所述ClickHouse数据库根据HTTP请求报文搜索获得的数据进行存储；获取渲染图像：所述图像渲染组件根据接收到的数据采用散点图组件库进行渲染，并将渲染图像反馈至所述前端浏览器。2.根据权利要求1所述的基于非采样大数据的散点图渲染方法，其特征在于，所述校验脚本的步骤具体为：所述前端浏览器将接收到的所述PRC网关传输的处理后的数据库查询语言的脚本进行语法分析；所述前端浏览器将接收到的处理后的数据库查询语言的脚本转发至所述代理网关；所述代理网关对接收到的处理后的数据库查询语言的脚本进行校验；其中，当脚本中的索引不完整或校验分析时长超出预设时长时，反馈错误发生信息至所述前端浏览器以提示发生错误，结束渲染操作。3.根据权利要求2所述的基于非采样大数据的散点图渲染方法，其特征在于，所述前端浏览器将接收到的处理后的数据库查询语言的脚本转发至所述代理网关的步骤后还包括：当响应异常时，所述前端浏览器提示发生错误，结束渲染操作。4.根据权利要求1所述的基于非采样大数据的散点图渲染方法，其特征在于，所述优化数据的步骤前具体包括：所述业务系统查询所述关系型数据库中与用户选择的散点图类型对应的数据是否为空；若是，所述业务系统反馈错误发生信息并通过所述RPC网关发送至所述前端浏览器以
提示发生错误，结束渲染操作；若否，所述业务系统查询所述关系型数据库中与用户选择的散点图类型对应的数...

【专利技术属性】
技术研发人员：张磊，魏守阳，马婷，梁永旭，鄢雪，李嘉琪，代敏波，
申请(专利权)人：华润网络深圳有限公司，
类型：发明
国别省市：