时间序列数据管理方法及系统技术方案

本发明专利技术公开了一种时间序列数据管理方法及系统，其中时间序列数据管理方法包括：表对象从缓冲区池中获取缓冲区对象；向所述表对象写入数据的数据缓存在缓冲区中，并在所述缓冲区中进行排序；在所述缓冲区写满后，所述缓冲区对象进入插入队列，并将所述缓冲区中的数据写入文件中，并将所述缓冲区对象放回所述缓冲区池。本发明专利技术弥补了现有的时间序列数据库使用难度大的不足，利用mysql的框架，实现SQL标准化操作，极好的提高用户使用的感受，极大的提高机器的CPU资源，磁盘资源，极大的降低了程序员的开发难度，所有操作符合mysql存储引擎规范；使用新的存储结构，较好地提高写入和查询效率。

【技术实现步骤摘要】

本专利技术涉及一种时间序列数据管理方法及系统。
技术介绍
现在有很多种时间序列数据库，如：influxDB，opentsdb，graphite，缺点是：非SQL型解决方案，每个时间序列数据库采用独立的接口；部署复杂，需要重新积累运维经验。
技术实现思路
本专利技术要解决的技术问题是现有的时间序列数据库使用难度大的缺陷，提供一种时间序列数据管理方法及系统。本专利技术是通过以下技术方案解决上述技术问题的：一种时间序列数据管理方法，包括：表对象从缓冲区池中获取缓冲区对象；向所述表对象写入数据的数据缓存在缓冲区中，并在所述缓冲区中进行排序；在所述缓冲区写满后，所述缓冲区对象进入插入队列，并将所述缓冲区中的数据写入文件中，并将所述缓冲区对象放回所述缓冲区池。较佳地，所述时间序列数据管理方法还包括：对所述缓冲区中的数据进行预处理并生成索引。较佳地，所述时间序列数据管理方法还包括：在所述缓冲区写满后，向所述表对象写入数据的数据缓存在新的缓冲区。较佳地，所述时间序列数据管理方法通过以下步骤判断所述缓冲区是否写满：判断所述缓冲区的数据是否达到阈值，若是，所述缓冲区已写满，若否，所述缓冲区未写满。一种时间序列数据管理系统，包括：表对象，用于从所述缓冲区池中获取缓冲区对象；缓冲区，用于缓存向所述表对象写入数据的数据，并进行排序；在所述缓冲区写满后，所述缓冲区对象进入插入队列，所述插入队列用于将所述缓冲区中的数据写入文件中，并将所述缓冲区对象放回所述缓冲区池。较佳地，所述缓冲区还用于对所述缓冲区中的数据进行预处理并生成索引。较佳地，在所述缓冲区写满后，向所述表对象写入数据的数据缓存在新的缓冲区。较佳地，所述缓冲区还用于判断所述缓冲区的数据是否达到阈值，若是，所述缓冲区已写满，若否，所述缓冲区未写满。在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本专利技术各较佳实例。本专利技术的积极进步效果在于：本专利技术能够提高数据插入效率，降低程序员使用时间序列数据库的难度，简化数据操作。附图说明图1为本专利技术实施例的时间序列数据管理方法的示意图。具体实施方式下面通过实施例的方式进一步说明本专利技术，但并不因此将本专利技术限制在所述的实施例范围之中。实施例一种时间序列数据管理方法，如图1所示，包括：表对象1从缓冲区池2中获取缓冲区对象；向所述表对象1写入数据的数据(即图1中的行数据)缓存在缓冲区3中，对所述缓冲区3中的数据进行预处理并生成索引，并在所述缓冲区3中进行排序。若在表对象的数量超过一个，则每个表对象分别从所述缓冲区池2中获取一个缓冲区对象，向各表对象写入数据的数据分别缓存在对应的缓冲区中，然后各缓冲区分别对各自的数据进行预处理并生成索引，以及排序。通过以下步骤判断所述缓冲区2是否写满：判断所述缓冲区3的数据是否达到阈值，若是，所述缓冲区3已写满，若否，所述缓冲区3未写满。在所述缓冲区3写满后，所述缓冲区对象进入插入队列4，并将所述缓冲区3中的数据写入文件5中，并将所述缓冲区对象放回所述缓冲区池2，向所述表对象写入数据的数据缓存在新的缓冲区。本实施例的时间序列数据管理系统，包括：表对象，用于从所述缓冲区池中获取缓冲区对象；缓冲区，用于缓存向所述表对象写入数据的数据，对所述缓冲区中的数据进行预处理并生成索引并进行排序；所述缓冲区还用于判断所述缓冲区的数据是否达到阈值，若是，所述缓冲区已写满，若否，所述缓冲区未写满。在所述缓冲区写满后，所述缓冲区对象进入插入队列，所述插入队列用于将所述缓冲区中的数据写入文件中，并将所述缓冲区对象放回所述缓冲区池，向所述表对象写入数据的数据缓存在新的缓冲区。本专利技术可以利用mysql(一个关系型数据库管理系统)的框架，实现SQL(结构化查询语言)标准化操作，极好的提高用户使用的感受；以表对象和缓冲区为核心，行数据并发写入表对象的缓冲区中，并在缓冲区中进行数据的预处理工作，并发的组织数据，极大的提高机器的CPU资源，磁盘资源。将时间序列的数据操作SQL标准化，极大的降低了程序员的开发难度，所有操作符合mysql存储引擎规范，降低运维人员的工作难度；使用新的存储结构，较好地提高写入和查询效率。虽然以上描述了本专利技术的具体实施方式，但是本领域的技术人员应在理解，这些仅是举例说明，本专利技术的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本专利技术的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本专利技术的保护范围。本文档来自技高网...

【技术保护点】
一种时间序列数据管理方法，其特征在于，包括：表对象从缓冲区池中获取缓冲区对象；向所述表对象写入数据的数据缓存在缓冲区中，并在所述缓冲区中进行排序；在所述缓冲区写满后，所述缓冲区对象进入插入队列，并将所述缓冲区中的数据写入文件中，并将所述缓冲区对象放回所述缓冲区池。

【技术特征摘要】
1.一种时间序列数据管理方法，其特征在于，包括：表对象从缓冲区池中获取缓冲区对象；向所述表对象写入数据的数据缓存在缓冲区中，并在所述缓冲区中进行排序；在所述缓冲区写满后，所述缓冲区对象进入插入队列，并将所述缓冲区中的数据写入文件中，并将所述缓冲区对象放回所述缓冲区池。2.如权利要求1所述的时间序列数据管理方法，其特征在于，所述时间序列数据管理方法还包括：对所述缓冲区中的数据进行预处理并生成索引。3.如权利要求1所述的时间序列数据管理方法，其特征在于，所述时间序列数据管理方法还包括：在所述缓冲区写满后，向所述表对象写入数据的数据缓存在新的缓冲区。4.如权利要求1所述的时间序列数据管理方法，其特征在于，所述时间序列数据管理方法通过以下步骤判断所述缓冲区是否写满：判断所述缓冲区的数据是否达到阈值，若是，所...

【专利技术属性】
技术研发人员：姜宇祥，熊斌，陈寅森，
申请(专利权)人：上海携程商务有限公司，
类型：发明
国别省市：上海;31