一种流式数据实时保真曲线绘制模型实现系统及方法技术方案

本发明专利技术提供了一种流式数据实时保真曲线绘制模型实现系统及方法，对于曲线绘制所需要的曲线数据集，先把对来源于实时数据解析组件的实时数据和历史数据提取组件的历史数据进行整合为总数据集；再从所述总数据集中提取一定量的特征数据；然后把提取的特征数据进行数据处理为特征数据集作为曲线界面控制组件的曲线绘制所需要的曲线数据集。与现有技术相比，针对流式数据，实现了能够应对数据量时大时小的流式数据的情况下，绘制高保真曲线构建模型。

A realtime fidelity curve drawing model implementation system and method for streaming data

The invention provides a system and method for realizing a real-time fidelity curve drawing model of streaming data. For the curve data set needed for curve drawing, the real-time data from the real-time data analysis component and the historical data from the historical data extraction component are integrated into a total data set, and then extracted from the total data set. A certain amount of feature data is taken, and then the extracted feature data is processed as the curve data set needed for curve drawing as the control component of the curve interface. Compared with the existing technology, for streaming data, we can draw high-fidelity curves to build a model when the amount of data is large or small.

【技术实现步骤摘要】
一种流式数据实时保真曲线绘制模型实现系统及方法
本专利技术涉及网络监控、传感器网络、航空航天、气象测控等各种有流式数据生成并有实时曲线绘制需求的领域。
技术介绍
流式数据，是指在系统应用中随时间变化而改变的数据，和系统切换的时间有直接关系。它是常常变化，直接反映事务过程的数据。流式数据可被视为一个随时间延续而无限增长的数据集合；严格意义上讲，由若干个数据源持续生成的数据，通常也同时以数据记录的形式发送，数据规模时时变化的数据形式。流式数据的特点包括：1）具有数据传输实时性；2）具有数据传输顺序独立性，不受外部因素所控制；3）具有数据规模不确定性，不能预知其最大值或者最小值。由于流式数据自身的特点，在基于流式数据的基础上进行高保真特征曲线绘制方面存在以下问题：1）曲线响应速度慢；2）曲线失真。
技术实现思路
本专利技术提供一种高效的流式数据实时保真曲线绘制模型实现系统及方法，具有能够应对数据量时大时小的流式数据的情况下，绘制高保真曲线构建模型的特点。本专利技术采用的技术方案如下：一种流式数据实时保真曲线绘制模型实现系统，包括实时数据接收组件、实时数据解析组件、数据存储组件、历史数据提取组件、曲线数据支撑组件和曲线界面控制组件；所述曲线数据支撑组件包括数据整合模块，对来源于实时数据解析组件的实时数据和历史数据提取组件的历史数据进行整合为总数据集；其特征在于：所述曲线数据支撑组件还包括，特征数据提取模块，从所述总数据集中提取一定量的特征数据；特征数据处理模块，把提取的特征数据进行数据处理为特征数据集并作为曲线界面控制组件的曲线绘制数据。所述曲线数据支撑组件还包括数据缓冲清理模块，对曲线界面连续执行两个指令动作的时间大于设置时间阈值，且当前曲线数据集的数据量范围大于曲线范围M倍范围外的数据进行移除，释放多余的内存空间；所述M为大于零的有理数。特征数据提取的具体方法包括：根据总数据集，计算出需要的子数据集数量：A/B*N；其中，A为总数据集数据量，B为用户指定数据量，N为大于0的有理数；根据得出的子数据集数量，得出需要划分的子数据的数据量，然后对总数据进行数据集拆分；在进行数据集拆分过程中，如果最后一个子数据集无法满足拆分条件，则用零填充或者直接作为一个子数据集；对每个子数据集，计算出其中数据的平均数，子数据集中的每个数据与所述平均数做差并取绝对值；找出绝对值最大和最小的两个差值，提取出这两个差值对应的数据作为子数据集的特征数据。特征数据处理的具体方法包括：把所有子数据集的所有提取出来的特征数据按照时间先后顺序进行整合，形成最终的特征数据集。一种流式数据实时保真曲线绘制模型实现方法，其特征在于，对于曲线绘制所需要的曲线数据集，先把对来源于实时数据解析组件的实时数据和历史数据提取组件的历史数据进行整合为总数据集；再从所述总数据集中提取一定量的特征数据；然后把提取的特征数据进行数据处理为特征数据集作为曲线界面控制组件的曲线绘制所需要的曲线数据集。所述实现方法还包括，判断曲线界面连续执行两个指令动作的时间是否大于设置时间阈值，如果是，则继续判断当前曲线数据集的数据量范围是否大于曲线范围的M倍范围，如果是，则把超出M倍范围外的数据进行移除，释放多余的内存空间；所述M为大于零的有理数。特征数据提取的具体方法包括：根据总数据集，计算出需要的子数据集数量：A/B*N；其中，A为总数据集数据量，B为用户指定数据量，N为大于0的有理数；根据得出的子数据集数量，得出需要划分的子数据的数据量，然后对总数据进行数据集拆分；在进行数据集拆分过程中，如果最后一个子数据集无法满足拆分条件，则用零填充或者直接作为一个子数据集；对每个子数据集，计算出其中数据的平均数，子数据集中的每个数据与所述平均数做差并取绝对值；找出绝对值最大和最小的两个差值，提取出这两个差值对应的数据作为子数据集的特征数据。特征数据处理的具体方法包括：把所有子数据集的所有提取出来的特征数据按照时间先后顺序进行整合，形成最终的特征数据集。与现有技术相比，本专利技术的有益效果是：针对流式数据，实现了能够应对数据量时大时小的流式数据的情况下，绘制高保真曲线构建模型。附图说明图1为流式数据实时保真曲线绘制模型实现系统结构示意图。图2为本专利技术一个实施例运用测试数据图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。如图1所示，一种流式数据实时保真曲线绘制模型实现系统，包括实时数据接收组件、实时数据解析组件、数据存储组件、历史数据提取组件、曲线数据支撑组件和曲线界面控制组件；所述曲线数据支撑组件包括数据整合模块，对来源于实时数据解析组件的实时数据和历史数据提取组件的历史数据进行整合为总数据集；所述曲线数据支撑组件还包括，特征数据提取模块，从所述总数据集中提取一定量的特征数据；特征数据处理模块，把提取的特征数据进行数据处理为特征数据集并作为曲线界面控制组件的曲线绘制数据。由于软硬件环境的限制，在进行海量数据的曲线绘制，前端界面无法做到一次性把所有数据点都绘制出来，为了保证曲线绘制速率以及曲线不失真，本专利技术方案从海量数据中提取出一定量的特征数据，再运用提取的特征数据进行曲线绘制。在本专利技术方案中，对现有技术中的实时数据接收组件、实时数据解析组件、数据存储组件、历史数据提取组件和曲线界面控制组件并没有做出改变，其中：实时数据接收组件，完成实时数据的接收，对不同来源的元数据进行整合后形成数据集，并将所述数据集发送给实时数据解析组件；实时数据解析组件，根据用户预先制定的解析规则，对接收的数据集进行解析，同时对数据进行正确性和完整性验证，筛选错误数据和不符合解析规则的数据，把处理后的数据进行发送给数据存储组件和曲线数据支撑组件；数据存储组件，完成结构化数据的存储入库，同时提供数据提取得到接口给历史数据提取组件；历史数据提取组件，根据曲线绘制对数据的要求，从历史数据中提取数据，并发送给曲线数据支撑组件；曲线界面控制组件，根据用户的需求，对来源于曲线数据支撑组件的数据集进行解析并完成最终曲线的绘制呈现。同时支持曲线的横轴缩放、纵轴缩放、选择区域放大、横轴和纵轴测距、最近点选取以及图例显示等功能。所述曲线数据支撑组件还包括数据缓冲清理模块，对曲线界面连续执行两个指令动作的时间大于设置时间阈值，且当前曲线数据集的数据量范围大于曲线范围M倍范围外的数据进行移除，释放多余的内存空间；所述M为大于零的有理数。在本专利技术方案中，为每一条曲线提供一个曲线数据集实例，为了保障曲线界面缩放控制的快速响应，数据集实例保存有该曲线在当前呈现范围M倍的数据量（若数据量超过了用户指定的特征数据量，则运用特征数据提取算法进行数据整理）。特征数据提取的具体方法包括：根据总数据集，计算出需要的子数据集数量：A/B*N；其中，A为总数据集数据量，B为用户指定数据量，N为大于0的有理数；根据得出的子数据集数量，得出需要划分的子数据的数据量，然后本文档来自技高网...

【技术保护点】
1.一种流式数据实时保真曲线绘制模型实现系统，包括实时数据接收组件、实时数据解析组件、数据存储组件、历史数据提取组件、曲线数据支撑组件和曲线界面控制组件；所述曲线数据支撑组件包括数据整合模块，对来源于实时数据解析组件的实时数据和历史数据提取组件的历史数据进行整合为总数据集；其特征在于：所述曲线数据支撑组件还包括，特征数据提取模块，从所述总数据集中提取一定量的特征数据；特征数据处理模块，把提取的特征数据进行数据处理为特征数据集并作为曲线界面控制组件的曲线绘制数据。

【技术特征摘要】
1.一种流式数据实时保真曲线绘制模型实现系统，包括实时数据接收组件、实时数据解析组件、数据存储组件、历史数据提取组件、曲线数据支撑组件和曲线界面控制组件；所述曲线数据支撑组件包括数据整合模块，对来源于实时数据解析组件的实时数据和历史数据提取组件的历史数据进行整合为总数据集；其特征在于：所述曲线数据支撑组件还包括，特征数据提取模块，从所述总数据集中提取一定量的特征数据；特征数据处理模块，把提取的特征数据进行数据处理为特征数据集并作为曲线界面控制组件的曲线绘制数据。2.根据权利要求1所述的系统，其特征在于：所述曲线数据支撑组件还包括数据缓冲清理模块，对曲线界面连续执行两个指令动作的时间大于设置时间阈值，且当前曲线数据集的数据量范围大于曲线范围M倍范围外的数据进行移除，释放多余的内存空间；所述M为大于零的有理数。3.根据权利要求1所述的系统，其特征在于：特征数据提取的具体方法包括：根据总数据集，计算出需要的子数据集数量：A/B*N；其中，A为总数据集数据量，B为用户指定数据量，N为大于0的有理数；根据得出的子数据集数量，得出需要划分的子数据的数据量，然后对总数据进行数据集拆分；在进行数据集拆分过程中，如果最后一个子数据集无法满足拆分条件，则用零填充或者直接作为一个子数据集；对每个子数据集，计算出其中数据的平均数，子数据集中的每个数据与所述平均数做差并取绝对值；找出绝对值最大和最小的两个差值，提取出这两个差值对应的数据作为子数据集的特征数据。4.根据权利要求1到3之一所述的系统，其特征在于：特征数据处理的具体方法包括：把所有子数据集的所有提...

【专利技术属性】
技术研发人员：罗小辉，张飞鸿，马尚荟，
申请(专利权)人：电信科学技术第五研究所有限公司，
类型：发明
国别省市：四川,51