一种存储时间序列数据的方法和装置以及系统制造方法及图纸

本申请提供一种存储时间序列数据的方法包括以下步骤：接收时间序列数据,根据所述时间序列数据的属性信息，按照预先设定的聚合规则，聚合更新内存中的接收缓冲区中相应的时间序列数据；将所述接收缓冲区中所存储的时间序列数据发送到内存中的归档缓冲区；根据按照归档精度的要求确定的各归档时间段的时间特征值所对应的时间与当前时间的关系，按照所述聚合规则，将所述归档缓冲区中的相应的时间序列数据聚合形成需存储时间序列数据，存储到所述归档缓冲区；将所述需存储时间序列数据存储到非易失介质。能够实现时间序列数据的快速实时聚合以及实时多精度归档存储，起到满足后续应用程序进行多精度查询的需求的作用。

A method, device and system for storing time series data

The invention provides a method of storing time series data comprises the following steps: receiving the time series data, according to the attribute information of the time series data, according to the aggregation rules set in advance, the polymerization time series data updated in memory in the buffer; the received time series data sending buffer storage the archive to the buffer in memory; according to the characteristics of each time period is determined according to the filing filing accuracy requirements of the value of the corresponding time in relation to the current time, according to the aggregation rules, the corresponding time series data of the file in the buffer storage polymerization to form time series data storage to the file buffer; the storage time series data stored in the non-volatile media. It can achieve real-time and real-time aggregation of time series data and real-time multi precision archiving and storage, playing the role of meeting the needs of subsequent applications for multi precision query.

【技术实现步骤摘要】
一种存储时间序列数据的方法和装置以及系统
本申请涉及一种存储数据的方法，具体涉及一种存储时间序列数据的方法及装置，以及一种聚合时间序列数据的方法及装置，还涉及一种归档存储时间序列数据的方法及装置，还涉及一种存储时间序列数据的系统。
技术介绍
大型数据系统除了具备将数据归档存储的功能外，还提供对归档存储的历史数据的查询功能，例如，监控系统周期性地生成其所监控的包括系统资源，业务访问等在内的监控对象的各种指标数据。这些指标数据是针对监控对象周期性地生成，属于时间序列数据。数据系统会将监控系统生成的这些时间序列数据归档存储，并提供给系统维护人员或用户查询这些数据的功能。现有的数据系统归档存储时通常存储原始时间序列数据或利用原始时间序列数据，计算生成精度更低的时间序列数据并存储。因此现有的数据系统仅能够提供单一精度的历史数据查询功能。但对于历史数据的查询，很多情况下需要查询不止一种精度的数据，例如，对于时间跨度较大的历史数据的查询，需要的数据的精度可能越低，对于时间跨度较短的历史数据的查询，需要的数据的精度可能会越高，并且对于当前及最近的数据，查询需要的数据的精度最高。另外，单一精度的数据存本文档来自技高网...

【技术保护点】
一种存储时间序列数据的方法，特征在于，包括以下步骤：接收时间序列数据,根据所述时间序列数据的属性信息，按照预先设定的聚合规则，聚合更新内存中的接收缓冲区中相应的时间序列数据；将所述接收缓冲区中所存储的时间序列数据发送到内存中的归档缓冲区；根据按照归档精度的要求确定的各归档时间段的时间特征值所对应的时间与当前时间的关系，按照所述聚合规则，将所述归档缓冲区中的相应的时间序列数据聚合形成需存储时间序列数据，存储到所述归档缓冲区；将所述需存储时间序列数据存储到非易失介质。

【技术特征摘要】
1.一种存储时间序列数据的方法，特征在于，包括以下步骤：接收时间序列数据,根据所述时间序列数据的属性信息，按照预先设定的聚合规则，聚合更新内存中的接收缓冲区中相应的时间序列数据；将所述接收缓冲区中所存储的时间序列数据发送到内存中的归档缓冲区；根据按照归档精度的要求确定的各归档时间段的时间特征值所对应的时间与当前时间的关系，按照所述聚合规则，将所述归档缓冲区中的相应的时间序列数据聚合形成需存储时间序列数据，存储到所述归档缓冲区；将所述需存储时间序列数据存储到非易失介质。2.根据权利要求1所述的存储时间序列数据的方法，其特征在于，所述属性信息包括：目标对象，指标标识，精度和时间段。3.根据权利要求1所述的存储时间序列数据的方法，其特征在于，所述聚合规则包括将属性信息均分别相同的时间序列数据的指标值相加求和。4.根据权利要求1所述的存储时间序列数据的方法，其特征在于，所述按照预先设定的聚合规则，聚合更新内存中的接收缓冲区中相应的时间序列数据包括：按照预先设定的聚合规则，将所述接收缓冲区中与所接收到的时间序列数据的属性信息均分别相同的时间序列数据的相应指标值聚合，形成所述目标对象的所述精度的所述时间段的所述指标的聚合指标值；采用所述聚合指标值更新所述接收缓冲区中的相应时间序列数据的指标值。5.根据权利要求1所述的聚合时间序列数据的方法，其特征在于，所述将所述接收缓冲区中所存储的时间序列数据发送到内存中的归档缓冲区包括：若所述接收缓冲区所存储的数据量超过设定的阈值，或所述接收缓冲区所存储的数据量与所述缓冲区的容量的比值超过设定的阈值，则将所述接收缓冲区中所存储的时间序列数据发送到内存中的归档缓冲区。6.根据权利要求1所述的聚合时间序列数据的方法，其特征在于，所述时间特征值包括：所述时间段内的一个时刻的时间距离预先指定的时间点的时长。7.根据权利要求1所述的存储时间序列数据的方法，其特征在于，所述根据按照归档精度的要求确定的各归档时间段的时间特征值所对应的时间与当前时间的关系，按照所述聚合规则，将所述归档缓冲区中的相应的时间序列数据聚合形成需存储时间序列数据，存储到所述归档缓冲区包括：根据归档精度的要求确定各归档时间段；当当前时间超过所述归档时间段的时间特征值所对应的时间预先设定的时长且归档精度低于所述接收到的时间序列数据的精度时，按照预先设定的聚合规则，将同时满足下述条件的时间序列数据聚合，形成需存储时间序列数据并将其存储到所述归档缓冲区；所述条件包括：所述时间序列数据存储在所述归档缓冲区中；所述时间序列数据的时间段为所述归档时间段；所述时间序列数据的精度为比所述归档时间段相对应的归档精度高一级的归档精度；所述时间序列数据的目标对象相同；所述时间序列数据的指标标识相同。8.根据权利要求1所述的存储时间序列数据的方法，其特征在于，所述根据按照归档精度的要求确定的各归档时间段的时间特征值所对应的时间与当前时间的关系，按照所述聚合规则，将所述归档缓冲区中的相应的时间序列数据聚合形成需存储时间序列数据，存储到所述归档缓冲区包括：根据归档精度的要求确定各归档时间段；当当前时间超过所述归档时间段的时间特征值所对应的时间预先设定的时长且归档精度与所述接收到的时间序列数据的精度相同时，按照预先设定的聚合规则，将同时满足下述条件的时间序列数据聚合，形成需存储时间序列数据并将其存储到所述归档缓冲区；所述条件包括：所述时间序列数据存储在所述归档缓冲区中；所述时间序列数据的时间段为所述归档时间段；所述时间序列数据的精度为所述归档精度；所述时间序列数据的目标对象相同；所述时间序列数据的指标标识相同。9.根据权利要求1所述的聚合时间序列数据的方法，其特征在于，所述将所述需存储时间序列数据存储到非易失介质包括：将所述需存储时间序列数据的时间段的时间特征值以及所述需存储时间序列数据的精度值存储到非易失存储介质上的元表格；将所述需存储时间序列数据的时间段的时间特征值，所述需存储时间序列数据的目标对象以及指标存储到非易失存储介质上的归档数据表格。10.根据权利要求9所述的存储时间序列数据的方法，其特征在于，所述将所述需存储时间序列数据的时间段的时间特征值以及所述需存储时间序列数据的精度值存储到非易失存储介质上的元表格包括：以所述需存储时间序列数据的精度为键值，将所述时间段的时间特征值存储到非易失存储介质上的元表格。11.根据权利要求9所述的存储时间序列数据的方法，其特征在于，所述将所述需存储时间序列数据的时间段的时间特征值，所述需存储时间序列数据的目标对象以及指标存储到非易失存储介质上的归档数据表格包括：以所述时间特征值和目标对象为键值，将所述需存储时间序列数据的指标存储到非易失存储介质上的归档数据表格。12.根据权利要求1-11任一权利要求所述的存储时间序列数据的方法，其特征在于，所述时间序列数据包括业务监控数据。13.一种聚合时间序列数据的方法，特征在于包括以下步骤：接收时间序列数据,根据所述时间序列数据的属性信息，按照预先设定的聚合规则，聚合更新内存中的接收缓冲区中相应的时间序列数据；将所述接收缓冲区中所存储的时间序列数据发送给聚合领导者。14.根据权利要求13所述的聚合时间序列数据的方法，其特征在于，所述属性信息包括：目标对象，指标标识，精度和时间段；15.根据权利要求13所述的聚合时间序列数据的方法，其特征在于，所述聚合规则包括将属性信息均分别相同的时间序列数据的指标值相加求和。16.根据权利要求13所述的聚合时间序列数据的方法，其特征在于，所述按照预先设定的聚合规则，聚合更新内存中的接收缓冲区中相应的时间序列数据包括：按照预先设定的聚合规则，将所述接收缓冲区中与所接收到的时间序列数据的属性信息均分别相同的时间序列数据的相应指标值聚合，形成所述目标对象的所述精度的所述时间段的所述指标的聚合指标值；采用所述聚合指标值更新所述接收缓冲区中的相应时间序列数据的指标值。17.根据权利要求13所述的聚合时间序列数据的方法，其特征在于，所述将所述接收缓冲区中所存储的时间序列数据发送给聚合领导者包括：若所述接收...

【专利技术属性】
技术研发人员：周赵锋，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY