【技术实现步骤摘要】
本专利技术公开一种方法，涉及时序数据分析领域，具体地说是一种时序数据分析方法。
技术介绍
1、时序数据往往具备数据量大、数据存储格式固定、数据源与采集点强关联、数据很少更新或删除等特征，由于这些特征，造成时序数据库在查询时往往只能针对某一个时间段范围内某个或某类采集点的数据聚合查询分析有较好的表现，而在跨多个数据点及多个时间区间范围内做时序数据的聚合统计分析往往比较困难且效率较低。
技术实现思路
1、本专利技术针对现有技术的问题，提供一种时序数据分析方法，结合elasticsearch的高效分析能力以及kaiwudb的高效存储能力，以及一定的存储及查询策略，能够实现时序数据的高效查询分析。
2、本专利技术提出的具体方案是：
3、本专利技术提供一种时序数据分析方法，使用kaiwudb存储时序数据的原始数据:将不同的采集点按照采集点的数据格式逐个建表并做数据插入存储，
4、使用elasticsearch按照设定的时间段间隔存储聚合运算后的时序数据：将不同采集点的数据按照时序数据列转行的方式插入存储，
5、基于kaiwudb的jdbc协议以及elasticsearch的sql插件封装统一的外部查询接口，通过接口根据不同的查询请求进行不同的路由策略：若查询请求为单表明细聚合查询请求，则路由到kaiwudb通过kaiwudb数据库引擎提供单表明细聚合分析服务，若查询请求为多表聚合查询请求，则路由到elasticsearch通过elasticse
6、进一步，所述的一种时序数据分析方法中根据不同场景及不同采集点按照业务需要设置时序数据聚合策略，根据时序数据聚合策略进行数据聚合运算，将运算结果根据时序数据聚合策略写入elasticsearch，
7、根据时序数据聚合策略对应的时间段间隔将时序数据的原始数据存入kaiwudb，并存入redis缓存，缓存有效期与时序数据聚合策略所对应的时间段间隔一致。
8、进一步，所述的一种时序数据分析方法中根据时序数据聚合策略在elasticsearch插入数据时计算采集点各参数的max()、min()、avg()、sum()和count()的函数值并写入redis缓存，在缓存过期时把当前缓存按采集点中每个参数为一行的方式写入elasticsearch。
9、进一步，所述的一种时序数据分析方法中通过接口接收业务系统的查询请求，根据查询请求中查询语句判断是单表明细聚合查询请求还是多表聚合查询请求，
10、创建kaiwudb及elasticsearch的连接，并保存为查询路由，根据判断结果选择路由策略。
11、进一步，所述的一种时序数据分析方法中解析查询请求中查询语句，若查询语句内有单个数据点对应的数据库表，则代表查询请求为单表聚合明细查询请求，否则为多表聚合查询请求。
12、本专利技术还提供一种时序数据分析装置，包括存储管理模块、接口模块和路由管理模块，
13、存储管理模块使用kaiwudb存储时序数据的原始数据：将不同的采集点按照采集点的数据格式逐个建表并做数据插入存储，
14、存储管理模块使用elasticsearch按照设定的时间段间隔存储聚合运算后的时序数据：将不同采集点的数据按照时序数据列转行的方式插入存储，
15、接口模块基于kaiwudb的jdbc协议以及elasticsearch的sql插件封装统一的外部查询接口，路由管理模块通过接口根据不同的查询请求进行不同的路由策略：若查询请求为单表明细聚合查询请求，则路由到kaiwudb通过kaiwudb数据库引擎提供单表明细聚合分析服务，若查询请求为多表聚合查询请求，则路由到elasticsearch通过elasticsearch的sql插件支持查询sql转换为elasticsearch查询请求，由elasticsearch引擎提供聚合分析服务。
16、进一步，所述的一种时序数据分析装置中存储管理模块根据不同场景及不同采集点按照业务需要设置时序数据聚合策略，根据时序数据聚合策略进行数据聚合运算，将运算结果根据时序数据聚合策略写入elasticsearch，
17、存储管理模块根据时序数据聚合策略对应的时间段间隔将时序数据的原始数据存入kaiwudb，并存入redis缓存，缓存有效期与时序数据聚合策略所对应的时间段间隔一致。
18、进一步，所述的一种时序数据分析装置中存储管理模块根据时序数据聚合策略在elasticsearch插入数据时计算采集点各参数的max()、min()、avg()、sum()和count()的函数值并写入redis缓存，在缓存过期时把当前缓存按采集点中每个参数为一行的方式写入elasticsearch。
19、进一步，所述的一种时序数据分析装置中路由管理模块通过接口接收业务系统的查询请求，根据查询请求中查询语句判断是单表明细聚合查询请求还是多表聚合查询请求，
20、创建kaiwudb及elasticsearch的连接，并保存为查询路由，根据判断结果选择路由策略。
21、进一步，所述的一种时序数据分析装置中路由管理模块解析查询请求中查询语句，若查询语句内有单个数据点对应的数据库表，则代表查询请求为单表聚合明细查询请求，否则为多表聚合查询请求。
22、本专利技术的有益之处是：
23、本专利技术提供一种时序数据分析方法，通过借助开源elatsicsearch及kaiwudb的特长，以及时序数据聚合、存储的设计，实现时序数据的原始数据保存及聚合数据的无失真保存；通过elasticsearch的开源sql插件和封装的统一查询入口，实现数据的sql标准化查询，并根据不同查询语句路由到不同数据库实现；从而达到时序数据的高效多维查询分析的目的。
本文档来自技高网...【技术保护点】
1.一种时序数据分析方法，其特征是使用KaiwuDB存储时序数据的原始数据:将不同的采集点按照采集点的数据格式逐个建表并做数据插入存储，
2.根据权利要求1所述的一种时序数据分析方法，其特征是根据不同场景及不同采集点按照业务需要设置时序数据聚合策略，根据时序数据聚合策略进行数据聚合运算，将运算结果根据时序数据聚合策略写入Elasticsearch，
3.根据权利要求1所述的一种时序数据分析方法，其特征是根据时序数据聚合策略在Elasticsearch插入数据时计算采集点各参数的MAX()、MIN()、AVG()、SUM()和COUNT()的函数值并写入Redis缓存，在缓存过期时把当前缓存按采集点中每个参数为一行的方式写入ElasticSearch。
4.根据权利要求1所述的一种时序数据分析方法，其特征是通过接口接收业务系统的查询请求，根据查询请求中查询语句判断是单表明细聚合查询请求还是多表聚合查询请求，
5.根据权利要求1所述的一种时序数据分析方法，其特征是解析查询请求中查询语句，若查询语句内有单个数据点对应的数据库表，则代表查询
6.一种时序数据分析装置，其特征是包括存储管理模块、接口模块和路由管理模块，
7.根据权利要求6所述的一种时序数据分析装置，其特征是存储管理模块根据不同场景及不同采集点按照业务需要设置时序数据聚合策略，根据时序数据聚合策略进行数据聚合运算，将运算结果根据时序数据聚合策略写入Elasticsearch，
8.根据权利要求6所述的一种时序数据分析装置，其特征是存储管理模块根据时序数据聚合策略在Elasticsearch插入数据时计算采集点各参数的MAX()、MIN()、AVG()、SUM()和COUNT()的函数值并写入Redis缓存，在缓存过期时把当前缓存按采集点中每个参数为一行的方式写入ElasticSearch。
9.根据权利要求6所述的一种时序数据分析装置，其特征是路由管理模块通过接口接收业务系统的查询请求，根据查询请求中查询语句判断是单表明细聚合查询请求还是多表聚合查询请求，
10.根据权利要求6所述的一种时序数据分析装置，其特征是路由管理模块解析查询请求中查询语句，若查询语句内有单个数据点对应的数据库表，则代表查询请求为单表聚合明细查询请求，否则为多表聚合查询请求。
...【技术特征摘要】
1.一种时序数据分析方法，其特征是使用kaiwudb存储时序数据的原始数据:将不同的采集点按照采集点的数据格式逐个建表并做数据插入存储，
2.根据权利要求1所述的一种时序数据分析方法，其特征是根据不同场景及不同采集点按照业务需要设置时序数据聚合策略，根据时序数据聚合策略进行数据聚合运算，将运算结果根据时序数据聚合策略写入elasticsearch，
3.根据权利要求1所述的一种时序数据分析方法，其特征是根据时序数据聚合策略在elasticsearch插入数据时计算采集点各参数的max()、min()、avg()、sum()和count()的函数值并写入redis缓存，在缓存过期时把当前缓存按采集点中每个参数为一行的方式写入elasticsearch。
4.根据权利要求1所述的一种时序数据分析方法，其特征是通过接口接收业务系统的查询请求，根据查询请求中查询语句判断是单表明细聚合查询请求还是多表聚合查询请求，
5.根据权利要求1所述的一种时序数据分析方法，其特征是解析查询请求中查询语句，若查询语句内有单个数据点对应的数据库表，则代表查询请求为单表聚合明细查询请求，否则为多表聚合查询请求。<...
【专利技术属性】
技术研发人员：赵鹏程，
申请(专利权)人：山东浪潮数据库技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。