基于风电数据的可视化分析处理方法、系统和计算机设备技术方案

本申请涉及一种基于风电数据的可视化分析处理方法、系统、计算机设备和存储介质，其中该方法包括：获取风电采样数据并对数据来源进行识别；待数据来源识别完成后，根据对应的数据标准化定义对数据进行校验；待数据校验完成后，将风电采样数据按属性特征进行列归并，计算整合成相应数据类型的列数据，结构化序列化后传递给clickhouse数据库进行相应的列存储；存储到clickhouse数据库后，使用clickhouse数据库的稀疏索引及跳数索引进行数据索引化，跳数索引支持的类型包括最大最小索引、去重集合索引、ngram分词布隆索引及标点符号分词布隆索引。本发明专利技术具备实时性高、数据分析速度快等特性。特性。特性。

【技术实现步骤摘要】
基于风电数据的可视化分析处理方法、系统和计算机设备


[0001]本专利技术涉及计算机应用
，特别是涉及一种基于风电数据的可视化分析处理方法、系统、计算机设备和存储介质。

技术介绍

[0002]风电分析系统是指对基于风电设备采集的数据，进行风电机组可靠性分析以及性能指数分析等功能的一套软件分析系统。风电分析系统的数据特征主要包括：数据统计分析一般具有有限(5列以内)列分析特性，比如功率曲线(功率与风速的关系)。其次，采样数据量大。并且，统计计算具有区间性，尤其是时间区间，一般为统计某个时间区间的采样点的特征，或者某几个时间区间的数据特征对比。
[0003]然而，传统风电分析系统因机组数量多、机组采样频率高等因素，风电分析系统需处理海量的风电采样数据，进而会导致传统风电分析系统数据统计慢，采样点渲染轨迹分析图生成慢等问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种基于风电数据的可视化分析处理方法、系统、计算机设备和存储介质。
[0005]一种基于风电数据的可视化分析处理方法，所述方法包括：
[0006]获取风电采样数据并对数据来源进行识别；
[0007]待数据来源识别完成后，根据对应的数据标准化定义对数据进行校验；
[0008]待数据校验完成后，将所述风电采样数据按属性特征进行列归并，计算整合成相应数据类型的列数据，结构化序列化后传递给clickhouse数据库进行相应的列存储；
[0009]存储到clickhouse数据库后，使用clickhouse数据库的稀疏索引及跳数索引进行数据索引化，所述跳数索引支持的类型包括最大最小索引、去重集合索引、ngram分词布隆索引及标点符号分词布隆索引。
[0010]在其中一个实施例中，所述方法还包括：
[0011]获取用户发送的数据分析请求并对所述请求进行校验；
[0012]待请求校验通过，根据分析类型找到对应算法公式，计算需要的数据项；
[0013]发送数据查询请求到代理网关，所述代理网关通过直连的方式从clickhouse数据库查询取出需要的数据。
[0014]在其中一个实施例中，在所述发送数据查询请求到代理网关，所述代理网关通过直连的方式从clickhouse数据库查询取出需要的数据的步骤之后还包括：
[0015]处理从clickhouse数据库取出的数据，建立数据模型并将数据模型缓存起来，以后查询可直接从缓存中取不必重复查数据库；
[0016]利用echarts组件库渲染二维图表，包括柱状图、饼状图、折线图、热力图和二维表。
[0017]在其中一个实施例中，所述方法还包括：
[0018]获取用户发送的提交报告请求；
[0019]循环执行数据分析请求生成并保存图片；
[0020]将所述图片插入到报告中，并更新报告状态从处理中到已完成，给用户进行下载。
[0021]一种基于风电数据的可视化分析处理系统，所述基于风电数据的可视化分析处理系统包括：
[0022]数据识别模块，所述数据识别模块用于获取风电采样数据并对数据来源进行识别；
[0023]数据校验模块，所述数据校验模块用于待数据来源识别完成后，根据对应的数据标准化定义对数据进行校验；
[0024]数据存储模块，所述数据存储模块用于待数据校验完成后，将所述风电采样数据按属性特征进行列归并，计算整合成相应数据类型的列数据，结构化序列化后传递给clickhouse数据库进行相应的列存储；
[0025]数据索引模块，所述数据索引模块用于存储到clickhouse数据库后，使用clickhouse数据库的稀疏索引及跳数索引进行数据索引化，所述跳数索引支持的类型包括最大最小索引、去重集合索引、ngram分词布隆索引及标点符号分词布隆索引。
[0026]在其中一个实施例中，所述系统还包括数据分析请求模块，所述数据分析请求模块用于：
[0027]获取用户发送的数据分析请求并对所述请求进行校验；
[0028]待请求校验通过，根据分析类型找到对应算法公式，计算需要的数据项；
[0029]发送数据查询请求到代理网关，所述代理网关通过直连的方式从clickhouse数据库查询取出需要的数据。
[0030]在其中一个实施例中，所述数据分析请求模块还用于：
[0031]处理从clickhouse数据库取出的数据，建立数据模型并将数据模型缓存起来，以后查询可直接从缓存中取不必重复查数据库；
[0032]利用echarts组件库渲染二维图表，包括柱状图、饼状图、折线图、热力图和二维表。
[0033]在其中一个实施例中，所述系统还包括提交报告请求模块，所述提交报告请求模块用于：
[0034]获取用户发送的提交报告请求；
[0035]循环执行数据分析请求生成并保存图片；
[0036]将所述图片插入到报告中，并更新报告状态从处理中到已完成，给用户进行下载。
[0037]一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项方法的步骤。
[0038]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项方法的步骤。
[0039]上述基于风电数据的可视化分析处理方法、系统、计算机设备和存储介质，适用于需要对同一列或多列的海量数据进行简单数据计算以及统计的高效实现。本方案基于风电采样数据的特性，采用基于新技术框架的风电分析系统，具备实时性高、数据分析速度快等
特性，对于千万级的数据统计，无需预生成或定时任务生成，即可在3秒内出结果。1G的采样数据可在3秒内实现客户端打点，并完成数据分布图渲染。
附图说明
[0040]图1为一个实施例中高性能风电数据分析解决方案的构架图；
[0041]图2为一个实施例中基于风电数据的可视化分析处理方法的流程示意图；
[0042]图3为另一个实施例中基于风电数据的可视化分析处理方法的流程示意图；
[0043]图4为再一个实施例中基于风电数据的可视化分析处理方法的流程示意图
[0044]图5为一个实施例中基于风电数据的可视化分析处理系统的结构框图；
[0045]图6为另一个实施例中基于风电数据的可视化分析处理系统的结构框图；
[0046]图7为再一个实施例中基于风电数据的可视化分析处理系统的结构框图；
[0047]图8为一个实施例中计算机设备的内部结构图。
具体实施方式
[0048]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0049]目前，传统风电分析系统因机组数量多、机组采样频率高等因素，风电分析系统需处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于风电数据的可视化分析处理方法，所述方法包括：获取风电采样数据并对数据来源进行识别；待数据来源识别完成后，根据对应的数据标准化定义对数据进行校验；待数据校验完成后，将所述风电采样数据按属性特征进行列归并，计算整合成相应数据类型的列数据，结构化序列化后传递给clickhouse数据库进行相应的列存储；存储到clickhouse数据库后，使用clickhouse数据库的稀疏索引及跳数索引进行数据索引化，所述跳数索引支持的类型包括最大最小索引、去重集合索引、ngram分词布隆索引及标点符号分词布隆索引。2.根据权利要求1所述的基于风电数据的可视化分析处理方法，其特征在于，所述方法还包括：获取用户发送的数据分析请求并对所述请求进行校验；待请求校验通过，根据分析类型找到对应算法公式，计算需要的数据项；发送数据查询请求到代理网关，所述代理网关通过直连的方式从clickhouse数据库查询取出需要的数据。3.根据权利要求2所述的基于风电数据的可视化分析处理方法，其特征在于，在所述发送数据查询请求到代理网关，所述代理网关通过直连的方式从clickhouse数据库查询取出需要的数据的步骤之后还包括：处理从clickhouse数据库取出的数据，建立数据模型并将数据模型缓存起来，以后查询可直接从缓存中取不必重复查数据库；利用echarts组件库渲染二维图表，包括柱状图、饼状图、折线图、热力图和二维表。4.根据权利要求3所述的基于风电数据的可视化分析处理方法，其特征在于，所述方法还包括：获取用户发送的提交报告请求；循环执行数据分析请求生成并保存图片；将所述图片插入到报告中，并更新报告状态从处理中到已完成，给用户进行下载。5.一种基于风电数据的可视化分析处理系统，其特征在于，所述基于风电数据的可视化分析处理系统包括：数据识别模块，所述数据识别模块用于获取风电采样数据并对数据来源进行识别；数据校验模块，所述数据校验模块用于待数据来源识别完成后，根据对应的数据标准化定义...

【专利技术属性】
技术研发人员：梁永旭，魏守阳，彭师仁，马婷，张磊，鄢雪，沈大海，罗海珊，万鹏程，
申请(专利权)人：华润网络深圳有限公司，
类型：发明
国别省市：