一种大数据可视化场景下的数据处理的方法及系统技术方案

本发明专利技术提供了一种大数据可视化场景下的数据处理的方法及系统，包括：当预设的统计值上报间隔大于预设的展示刷新间隔，且接收到上报的第K份统计值时，提取缓存的第K‑1份统计值；根据第K‑1份统计值和所述第K份统计值，计算增量数组yk[M]中的M个元素的值；所述M为预设的统计值上报间隔和预设的展示刷新间隔的商；当接收到来自前端的数据展示请求时，从增量数组yk[M]中取出数据展示请求对应的增量统计值；将增量统计值与上一次提交的展示数据相加，得到当前的展示数据，并提交给前端展示。本发明专利技术通过加入适当的延时策略，解决了由于后端查询统计和前端展示的时间维度不一致造成的数据刷新不及时的问题，提升了用户体验。

A method and system for data processing under visualization of big data

The present invention provides a data processing method and system for large data visualization scenarios, including: extracting the K_1 statistic value of the cache when the preset statistic value reporting interval is greater than the preset display refresh interval and the reported K_1 statistic value is received; extracting the K_1 statistic value of the cache according to the K_1 statistic value and the K_1 statistic value. The value of M elements in the incremental array YK [M] is calculated; the M is the quotient of the default reporting interval and the default display refresh interval; when a data display request from the front end is received, the incremental statistics corresponding to the data display request from the incremental array YK [M] are extracted; and the incremental statistics are compared with the last submitted exhibition. The data are added together to get the current display data and submit it to the front-end display. By adding an appropriate delay strategy, the invention solves the problem that the data refresh is not timely due to the inconsistency between the back-end query statistics and the front-end display time dimension, and improves the user experience.

【技术实现步骤摘要】
一种大数据可视化场景下的数据处理的方法及系统
本专利技术涉及数据处理领域，尤指一种大数据可视化场景下的数据处理的方法及系统。
技术介绍
在大数据可视化系统中，通常是先对原始数据进行统计处理，得到若干数据指标，待若干数据指标上报后，再将这些数据指标展现给客户。但是后端一些数据指标常常需要对原始数据做复杂的计算才能得到，这导致前端页面展示时，需要等较长的时间才能得到结果数据。对于需要快速展示的数据场景，等待这么长的时间，降低了用户的体验。
技术实现思路
本专利技术的目的是提供一种大数据可视化场景下的数据处理的方法及系统，通过加入适当的延时策略，解决了由于后端查询统计和前端展示的时间维度不一致造成的数据刷新不及时的问题，提升了用户体验。本专利技术提供的技术方案如下：一种大数据可视化场景下的数据处理的方法，包括：步骤S100当预设的统计值上报间隔大于预设的展示刷新间隔，且接收到上报的第K份统计值xk时，提取缓存的第K-1份统计值xk-1；步骤S200根据所述第K-1份统计值xk-1和所述第K份统计值xk，计算增量数组yk[M]中的M个元素的值；所述M为所述预设的统计值上报间隔和所述预设的展示刷新本文档来自技高网...

【技术保护点】
1.一种大数据可视化场景下的数据处理的方法，其特征在于，包括：步骤S100当预设的统计值上报间隔大于预设的展示刷新间隔，且接收到上报的第K份统计值xk时，提取缓存的第K‑1份统计值xk‑1；步骤S200根据所述第K‑1份统计值xk‑1和所述第K份统计值xk，计算增量数组yk[M]中的M个元素的值；所述M为所述预设的统计值上报间隔和所述预设的展示刷新间隔的商；步骤S300当接收到来自前端的数据展示请求时，从所述增量数组yk[M]中取出所述数据展示请求对应的增量统计值；步骤S400将所述增量统计值与上一次提交的展示数据相加，得到当前的展示数据，并提交给前端展示。

【技术特征摘要】
1.一种大数据可视化场景下的数据处理的方法，其特征在于，包括：步骤S100当预设的统计值上报间隔大于预设的展示刷新间隔，且接收到上报的第K份统计值xk时，提取缓存的第K-1份统计值xk-1；步骤S200根据所述第K-1份统计值xk-1和所述第K份统计值xk，计算增量数组yk[M]中的M个元素的值；所述M为所述预设的统计值上报间隔和所述预设的展示刷新间隔的商；步骤S300当接收到来自前端的数据展示请求时，从所述增量数组yk[M]中取出所述数据展示请求对应的增量统计值；步骤S400将所述增量统计值与上一次提交的展示数据相加，得到当前的展示数据，并提交给前端展示。2.根据权利要求1所述的大数据可视化场景下的数据处理的方法，其特征在于，所述步骤S200具体包括：步骤S210根据第K-1份统计值xk-1和第K份统计值xk，计算两份统计值的差值ΔR；步骤S220根据所述两份统计值的差值ΔR和M，计算商quo和余数rem，公式为：商quo＝ΔR/M，余数rem＝ΔRmodM步骤S230根据所述商quo和余数rem，计算所述增量数组yk[M]中的M个元素的值。3.根据权利要求2所述的大数据可视化场景下的数据处理的方法，其特征在于，所述步骤S230包括：步骤S231当商quo等于0时，计算所述增量数组yk[M]中的M个元素值的公式为：yk[i]＝quo，i＝0,…M-1。4.根据权利要求2所述的大数据可视化场景下的数据处理的方法，其特征在于，所述步骤S230还包括：步骤S232当商quo不等于0时，计算所述增量数组yk[M]中的M个元素值的公式为：yk[i]＝quo+1，i＝0,…rem-1；yk[i]＝quo，i＝rem,…M-1。5.根据权利要求1所述的大数据可视化场景下的数据处理的方法，其特征在于，所述步骤S100之前还包括：步骤S010执行结构化查询语言脚本，对数据库的原始信息进行统计查询，得到统计值；步骤S020当第K个预设的统计值上报间隔到达时，上报第K份统计值x...

【专利技术属性】
技术研发人员：牛寅，
申请(专利权)人：四川斐讯信息技术有限公司，
类型：发明
国别省市：四川,51