System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于时序数据库的数据统计分析方法技术_技高网

一种基于时序数据库的数据统计分析方法技术

技术编号:42600486 阅读:18 留言:0更新日期:2024-09-03 18:12
本发明专利技术公开了一种基于时序数据库的数据统计分析方法,包括:步骤S1:操作者根据使用场景配置文件,添加配置信息;步骤S2:读取配置文件信息,根据配置文件信息生成SQL语句;步骤S3:执行生成的SQL语句,并按存储策略,记录执行结果到存储文件和日志文件;步骤S4:打开存储文件分析结果。本方案可以同时配置多张表,不需要用户手动设计多条SQL语句即可查询多条数据,极大的增加了时序数据库数据分析的速度,提升时序数据库后续数据统计和分析的效率。

【技术实现步骤摘要】

本专利技术涉及时序数据统计,尤其涉及一种基于时序数据库的数据统计分析方法


技术介绍

1、在物联网(iot)蓬勃发展的当,物联网设备以其广泛的应用场景和不断增长的数量,正在以前所未有的速度产生着海量的数据。这些数据不仅数量庞大,而且结构复杂,因为每个物联网设备都可能拥有成百上千的传感器和参数,这些传感器和参数的数据被记录在数据表中,形成了拥有众多列的复杂数据结构。面对如此庞大和复杂的数据集,仅仅收集和存储这些数据已经远远不够。我们需要通过经常性地统计和分析每一列的数据,来揭示其中的规律和趋势。这样的统计分析工作对于物联网应用来说至关重要,它可以帮助我们理解设备的运行状态,预测设备的性能变化,发现潜在的问题和风险,并为业务决策提供有力的数据支持。

2、目前来说对时序数据的统计就是写sql进行查询给定列,监控数据的大数据平台展示,但缺少一种特有特有方法映射到时序数据库的函数,通过对数据库函数的宽泛使用,整体获取操作者想要的统计的数据信息。


技术实现思路

1、基于上述技术问题,本专利技术提出了一种基于时序数据库的数据统计分析方法,定义好想要统计的数据表,对应的数据列,对应统计的信息,从而无需写大量sql语句,也无需去数据平台查看,就可直接通过工具,将事先配置好的统计数据导出到 一个文件中,操作者就可通过导出文件的统计数据做一定的数据分析,具体技术方案如下。

2、一种基于时序数据库的数据统计分析方法,包括以下步骤:

3、步骤s1:操作者根据使用场景配置文件,添加配置信息;

4、步骤s2:读取配置文件信息,根据配置文件信息生成sql语句;

5、步骤s3:执行生成的sql语句,并按存储策略,记录执行结果到存储文件和日志文件;

6、步骤s4:打开存储文件分析结果。

7、具体地,所述步骤s1操作者配置文件配置信息由操作者决定,手动或程序生成,每次统计数据所涉及的表须在一个库中,多个库需分开统计。

8、具体地,所述配置文件配置信息包括连接信息和统计信息,所述统计信息包括存储策略和表名1~表名n;所述表名1~表名n中包含标识符、实际表名、当前表的列名和对当前列使用的函数名。

9、具体地,所述存储策略当所有统计数据放在一个文件中时默认为0,统计数据一个表对应一个文件时,设置为1。

10、具体地,所述步骤s2具体包括:

11、根据配置信息中连接信息,连接上数据库;

12、判断统计数据存储策略,读取标识符信息直到下一个标识符为止,两标识符间的列均属于第一个标识符;

13、将表名、函数和列信息组合生成一条sql语句,依次对每个标识符做生成操作,最终生成多条sql语句信息。

14、具体地,所述步骤s3还包括:在执行sql语句之前,对sql语句进行判断,根据sql语句条数分为多个线程进行执行。

15、具体地,所述日志文件内容包括:sql语句执行结果是否成功,若执行失败则需记录失败原因,将失败的时间、服务端返回的报错信息、表名信息和失败的sql语句信息记录到日志文件中。

16、本专利技术的有益效果:本专利技术提出了一种基于时序数据库的数据统计分析方法,通过用户配置即可自动统计到想要的结果,极大的减轻数据统计的负担。通过将时序数据库特有函数,以及一些常用聚合函数联合,使用者只需了解想要的数据,无需关心sql如何拼装,即可同时去查询多张表,将多张表的统计结果给导出,具有以下优点:

17、高效性:可以同时配置多张表,不需要用户手动设计多条sql即可查询多条数据,极大的增加了数据分析的速度,提升后续数据统计和分析的效率。

18、易用性:用户无需写sql语句,只需指定连接信息、存储策略、表名、列、函数信息即可自动去数据库匹配到数据,将数据一次存放到文件中,降低了使用门槛,提升用户的体验感。

19、数据完整性:会将失败执行的时间、原因、sql、tbname等信息一一记录,防止执行失败,从而丢失统计结果,更好的保障了数据的完整性。

20、适用性:在时序数据多张表统计的场景下极其适用。

本文档来自技高网...

【技术保护点】

1.一种基于时序数据库的数据统计分析方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于时序数据库的数据统计分析方法,其特征在于,所述步骤S1操作者配置文件配置信息由操作者决定,手动或程序生成,每次统计数据所涉及的表须在一个库中,多个库需分开统计。

3.根据权利要求2所述的一种基于时序数据库的数据统计分析方法,其特征在于,所述配置文件配置信息包括连接信息和统计信息,所述统计信息包括存储策略和表名1~表名n;所述表名1~表名n中包含标识符、实际表名、当前表的列名和对当前列使用的函数名。

4.根据权利要求3所述的一种基于时序数据库的数据统计分析方法,其特征在于,所述存储策略当所有统计数据放在一个文件中时默认为0,统计数据一个表对应一个文件时,设置为1。

5.根据权利要求1所述的一种基于时序数据库的数据统计分析方法,其特征在于,所述步骤S2具体包括:

6.根据权利要求1所述的一种基于时序数据库的数据统计分析方法,其特征在于,所述步骤S3还包括:在执行SQL语句之前,对SQL语句进行判断,根据SQL语句条数分为多个线程进行执行。

7.根据权利要求6所述的一种基于时序数据库的数据统计分析方法,其特征在于,所述日志文件内容包括:SQL语句执行结果是否成功,若执行失败则需记录失败原因,将失败的时间、服务端返回的报错信息、表名信息和失败的SQL语句信息记录到日志文件中。

...

【技术特征摘要】

1.一种基于时序数据库的数据统计分析方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于时序数据库的数据统计分析方法,其特征在于,所述步骤s1操作者配置文件配置信息由操作者决定,手动或程序生成,每次统计数据所涉及的表须在一个库中,多个库需分开统计。

3.根据权利要求2所述的一种基于时序数据库的数据统计分析方法,其特征在于,所述配置文件配置信息包括连接信息和统计信息,所述统计信息包括存储策略和表名1~表名n;所述表名1~表名n中包含标识符、实际表名、当前表的列名和对当前列使用的函数名。

4.根据权利要求3所述的一种基于时序数据库的数据统计分析方法,其特征在于,所述存储策略当所...

【专利技术属性】
技术研发人员:苏德财张力鑫李文彬吴生勇曾彬梅杰
申请(专利权)人:成都虚谷伟业科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1