用于存储、更新、搜索和过滤时间序列数据集的系统和方法技术方案

一种方法包括从时间序列数据集生成多个相应的时间片数据集。每个时间片数据集具有相应的时间片时间索引，并包括字段值数据字符串和关联的字段值时间索引数据字符串，或指示更早时间片数据集中的相应字符串的指针，该相应字符串在时间序列数据集中是最新的，也早于相应的时间片时间索引。通过使用时间片数据集来执行对在给定查询时间索引之前的最新数据记录的时间序列数据集的查询，以减少或消除直接访问或询问时间序列数据集的需要。

Systems and methods for storing, updating, searching and filtering time series data sets

One method includes generating multiple corresponding time slice data sets from time series data sets. Each time slice data set has a corresponding time slice index, including field value data strings and associated field value time index data strings, or pointers indicating the corresponding strings in earlier time slice data sets, which are up-to-date in the time series data set and earlier than the corresponding time. Time index. Time slice data sets are used to perform queries on time series data sets of the latest data records prior to a given query time index in order to reduce or eliminate the need for direct access or query to time series data sets.

【技术实现步骤摘要】
【国外来华专利技术】用于存储、更新、搜索和过滤时间序列数据集的系统和方法优先权声明本申请要求先前提交的美国临时申请No.15/019,965的优先权，该美国临时申请No.15/019,965是以RoyW.Ward和DavidS.Alavi的名义于2016年9月2日提交的题为“用于存储、更新、搜索和过滤时间序列数据集的系统和方法”的申请，所述临时申请在此通过引用被并入本文，如同在此完全提出。
本专利技术的领域涉及时间序列数据集。特别地，公开了用于存储、更新、搜索和过滤时间序列数据集的系统和方法。
技术介绍
时间序列数据集在各种情况下生成，可用于分析和控制。期望产生大量时间序列数据的一个广阔领域是所谓的物联网(Internet-of-Things，IoT)，其中许多不同种类的大量设备提供网络连接以提供监测或控制。在许多示例中，位置数据可以包括在时间序列数据集中(例如，地理坐标，诸如纬度和经度，也可能是海拔或高度)。可以生成和利用时间序列数据集的区域的一些示例(并非穷尽)包括以下内容，其中一些彼此重叠。在所谓的连接运输中，时间序列数据集可以包括用于汽车、卡车、火车(或个别机车或轨道车辆)、飞机、船只和船舶等的重要统计数据或操作参数。可以分析那些时间序列数据集以用于预测诊断、调度维护、故障预测或分析、事故调查和分析等。可以使用包括在时间序列数据集中的位置坐标以用于车辆导航、交通流量管理、车队或资产管理、人员管理、调度等。在所谓的智能城市中，时间序列数据集可以包括停车可用性、交通模式、建筑物监测、道路、桥梁、电力线和电网、电信网、水管线和污水管线、天然气管线或其他基础设施、水质监测、噪音水平、照明条件和资源、废物或垃圾堆积等。可以使用这些时间序列数据集对用于事故管理、维护计划、负载均衡、故障警告或预测、泄漏检测、优化的天气依赖和时间依赖的街道照明、垃圾收集、使用分析等的条件进行监控。位置坐标可以有利地包括在那些时间序列数据集中的一些数据集中。在所谓的智能环境中，时间序列数据集可以包括森林天气条件(温度、湿度、云条件、降水)、条件、土壤湿度、降雨监测、水路流速或水位、洪水预报或监测、积雪水平、雪崩条件、滑坡条件、地震监测、燃烧气体监测、花粉水平、空气或水上二氧化碳水平、甲烷、其他碳氢化合物或其他挥发性有机化合物(VOC)、硫或氮氧化物、煤烟或其他微粒、臭氧或其他污染物等。可以使用这些时间序列数据集以用于规划、分析或评估，以便提供各种警告、管理、补救、缓解或其他功能。位置坐标可以有利地包括在那些时间序列数据集中的一些数据集中。在工业环境中，时间序列数据集可以包括操作参数、装置或机械条件或操作、储罐、存储、管道或供应线监测(石油、气体、水、化学原料等)、泄漏或溢出检测、缓解或补救(特别是爆炸性、可燃性、有毒或放射性物质)、电力生成(煤炭、天然气、核能、太阳能、风能)、空气或水上二氧化碳水平、甲烷、其他碳氢化合物或其他挥发性有机化合物(VOCs)、硫或氮氧化物、煤烟或其他微粒、臭氧或其他污染物、水管线泄漏或屋顶/窗户泄漏、腐蚀检测等。位置坐标可以有利地包括在那些时间序列数据集中的一些数据集中。在零售或物流环境中，时间序列数据集可以包括产品位置(仓库、零售店、运输中等)、产品轮换或处置、供应链监测或控制、补货、监测货运(位置、处理、振动、冷链维护、集装箱开口等)、特定卡车拖车和轨道车辆或船运集装箱的位置或内容、资产监测(通过RFID标签、条形码等)、车队或人员管理等。位置坐标可以有利地包括在那些时间序列数据集中的一些数据集中。在农业或畜牧业环境中，时间序列数据集可以包括降雨和土壤湿度监测、天气监测、土壤化学、pH或微生物条件、温室温度和湿度、水培条件、微气候控制、农作物、谷物、干草、稻草、苜蓿贮藏的温度和湿度控制、灌溉控制或监测、位置、识别、肥力或牲畜健康等。位置坐标可以有利地包括在那些时间序列数据集中的一些数据集中。在医疗保健环境中，时间序列数据集可以包括诸如身高、体重、血压、心率、血液化学、血氧等之类的患者数据(历史或近乎实时)、跌倒检测、患者监测(在医院或其他设施或家中)、内外科病史等。
技术实现思路
一种方法包括从时间序列数据集生成多个相应的时间片数据集。每个时间片数据集有相应的时间片时间索引，并包括字段值数据字符串和相关联的字段值时间索引数据字符串，或指示早期时间片数据集中相应字符串的指针，这些是时间序列数据集中最新的，也早于相应的时间片时间索引。通过使用时间片数据集来减少或消除直接访问或询问时间序列数据集的需要，来执行对在给定查询时间索引之前的最新数据记录的时间序列数据集的查询。通过参考附图中示出的并在以下描述的具体实施方式或所附权利要求中公开的示例性实施例，与存储、更新、搜索和过滤时间序列数据集有关的目的和优点将变得明显。提供本
技术实现思路
以便以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本
技术实现思路
不旨在识别所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。附图说明图1示意性地示出了时间序列数据集的示例性布置。图2示意性地示出了时间序列数据集的另一示例性布置。图3A和3B示意性地示出了一组多个时间片数据集的两个示例性布置。图4示意性地示出了用于生成和存储多个时间片数据集的方法。图5示意性地示出了用于插入附加时间片数据集并更新稍后时间片数据集的方法。图6示意性地示出了用于将新数据字符串插入到时间序列数据集以及插入到时间片数据集中的一个或更多个数据集的方法。图7示意性地示出了使用多个时间片数据集来查询时间序列数据集。所示实施例仅示意性地示出：为了清楚起见，所有特征可能未详细示出或以适当比例示出，某些特征或结构可能相对于其他特征或结构被放大，以及附图不应被视为按比例绘制。所示实施例仅是示例：它们不应被解释为限制本公开或所附权利要求的范围。具体实施方式时间序列数据集的示例在图1和图2中示意性地示出。这样的时间序列数据集包括用于多个定义的数据字段中的每一个字段的一个或更多个相应的字段值(FV)数据字符串。数据字段由1、2、3、...、N-2、N-1、N、N+1、N+2、...索引，以及相应的字段值由FV(n，i)表示(即第n个数据字段的第i个字段值)。时间序列数据集还包括多个字段值时间索引(FVTI)数据字符串。FV字符串中的每个字符串与相应的FVTI数据字符串相关联。在图1的示例中，每个FV数据字符串具有其本身相关联的FVTI数据字符串(用相同的索引来标记)。在图2的示例中，多个FV数据字符串与单个FVTI数据字符串相关联。在包括几乎总是一起出现的数据字段的数据集中(例如，车辆在给定时间的纬度和经度)，可以避免由多个字段值共享的公共时间索引的冗余存储。每个FV数据字符串以任何合适的格式表示字母数字数据或二进制数据或其他数据或信息(图像、声音、视频等)，所述字母数字数据或二进制数据或其他数据或信息(图像、声音、视频等)是通常使用相应的数据获取装置生成、测量、记录、获取或以其他方式产生的；FVTI数据字符串以任何合适的格式表示生成、测量、记录、获取或以其他方式产生相关联字段值时的时间。任何期望的字段都可以包括在时间序列数据集中，带有这些字段的相关联的时间相关字段值和相关联的时间索引本文档来自技高网...

【技术保护点】
1.一种计算机实现方法，包括：(a)在计算机系统处自动接收时间序列数据集的电子标记，其中，(i)对于多个定义的数据字段中的每一个定义的数据字段，所述时间序列数据集包括一个或更多个相应的字段值(FV)数据字符串，(ii)所述时间序列数据集包括多个字段值时间索引(FVTI)数据字符串，以及(iii)所述FV数据字符串中的每一个FV数据字符串与多个FVTI数据字符串中的相应一个FVTI数据字符串相关联，所述相应一个FVTI数据字符串指示获取、测量、生成或记录由所述FV数据字符串所表示的信息时的时间；(b)使用为其编程的所述计算机系统的一个或更多个电子处理器，使用所述时间序列数据集的电子标记自动生成多个时间片数据集的电子标记，其中，(i)所述多个时间片数据集中的每一个时间片数据集与指定的时间片时间索引(TSTI)相对应，所述指定的时间片时间索引(TSTI)与所述多个时间片数据集中的至少另一个时间片数据集的对应TSTI不同，(ii)对于所述多个定义的数据字段的多个指定子集中的每一个子集，每个时间片数据集包括相应的时间片数据子集，(iii)每个时间片数据子集包括：对于多个数据字段的相应指定子集的每个数据字段的，(A)来自所述时间序列数据集的相应单个FV数据字符串，或直接指示或通过一个或更多个中间指针指示具有更早TSTI的相应时间片数据子集中的相应FV数据字符串的指针，以及(B)对于子部分(A)中包括或指示的FV数据字符串的，来自所述时间序列数据集的相关联FVTI数据字符串或直接指示或通过一个或更多个中间指针指示具有更早TSTI的相应时间片数据子集中的相应相关联FVTI数据字符串的指针，以及(iv)每个时间片数据子集中包括的或由每个时间片数据子集的指针指示的每个FVTI数据字符串表示所述时间序列数据集中的对于相关联FV数据字符串的最新FVTI，所述最新FVTI早于时间片数据子集的TSTI；以及(c)将在部分(b)中生成的电子标记以计算机可搜索的格式自动存储在所述计算机系统的一个或更多个有形的非暂时性计算机可读介质上，所述计算机可读介质可操作地耦接到所述计算机系统的一个或更多个电子处理器。...

【技术特征摘要】
【国外来华专利技术】2016.02.09 US 15/019,9651.一种计算机实现方法，包括：(a)在计算机系统处自动接收时间序列数据集的电子标记，其中，(i)对于多个定义的数据字段中的每一个定义的数据字段，所述时间序列数据集包括一个或更多个相应的字段值(FV)数据字符串，(ii)所述时间序列数据集包括多个字段值时间索引(FVTI)数据字符串，以及(iii)所述FV数据字符串中的每一个FV数据字符串与多个FVTI数据字符串中的相应一个FVTI数据字符串相关联，所述相应一个FVTI数据字符串指示获取、测量、生成或记录由所述FV数据字符串所表示的信息时的时间；(b)使用为其编程的所述计算机系统的一个或更多个电子处理器，使用所述时间序列数据集的电子标记自动生成多个时间片数据集的电子标记，其中，(i)所述多个时间片数据集中的每一个时间片数据集与指定的时间片时间索引(TSTI)相对应，所述指定的时间片时间索引(TSTI)与所述多个时间片数据集中的至少另一个时间片数据集的对应TSTI不同，(ii)对于所述多个定义的数据字段的多个指定子集中的每一个子集，每个时间片数据集包括相应的时间片数据子集，(iii)每个时间片数据子集包括：对于多个数据字段的相应指定子集的每个数据字段的，(A)来自所述时间序列数据集的相应单个FV数据字符串，或直接指示或通过一个或更多个中间指针指示具有更早TSTI的相应时间片数据子集中的相应FV数据字符串的指针，以及(B)对于子部分(A)中包括或指示的FV数据字符串的，来自所述时间序列数据集的相关联FVTI数据字符串或直接指示或通过一个或更多个中间指针指示具有更早TSTI的相应时间片数据子集中的相应相关联FVTI数据字符串的指针，以及(iv)每个时间片数据子集中包括的或由每个时间片数据子集的指针指示的每个FVTI数据字符串表示所述时间序列数据集中的对于相关联FV数据字符串的最新FVTI，所述最新FVTI早于时间片数据子集的TSTI；以及(c)将在部分(b)中生成的电子标记以计算机可搜索的格式自动存储在所述计算机系统的一个或更多个有形的非暂时性计算机可读介质上，所述计算机可读介质可操作地耦接到所述计算机系统的一个或更多个电子处理器。2.根据权利要求1所述的计算机实现方法，其中，将指示与由特定TSTI指示的时间相同的时间的任何FVTI包括在被视为早于所述特定TSTI的FVTI中。3.根据权利要求1所述的计算机实现方法，其中，将指示与由特定TSTI指示的时间相同的时间的任何FVTI包括在被视为晚于所述特定TSTI的FVTI中。4.根据权利要求1所述的计算机实现方法，其中，每个时间片数据子集中的每个指针直接指示下一个更早的时间片数据集中的相应时间片数据子集的相应数据字符串或指针。5.根据权利要求1所述的计算机实现方法，其中，每个时间片数据子集中的每个指针直接指示在包括早于相应TSTI的相应数据字符串的那些时间片数据子集中的、具有最新相应TSTI的相应时间片数据子集的相应数据字符串。6.根据权利要求1所述的计算机实现方法，其中，对于具有第一TSTI的至少一个时间片数据子集的至少一个指针，(A)所述至少一个指针直接指示相应数据字符串或具有早于所述第一TSTI的第二TSTI的更早时间片数据集的相应时间片数据子集的指针，以及(B)所述多个时间片数据集包括至少一个中间时间片数据集，所述至少一个中间时间片数据集具有早于所述第一TSTI且晚于所述第二TSTI的中间TSTI。7.根据权利要求1所述的计算机实现方法，其中，对于数据字段的相应指定子集的每个数据字段，每个时间片数据子集包括(i)FV数据字符串和相关联FVTI数据字符串，或(ii)指向相应更早时间片数据子集的相应FV数据字符串的指针，以及指向相应更早时间片数据子集的相应FVTI数据字符串的指针。8.根据权利要求7所述的计算机实现方法，其中，包括一个或更多个指针的每个时间片数据子集仅包括指示整个相应的更早时间片数据子集的单个指针。9.根据权利要求1所述的计算机实现方法，其中，所述多个时间片数据集包括最早时间片数据集，所述最早时间片数据集与比所述多个时间片数据集中的每个其他时间片数据集的相应TSTI更早的最早TSTI相对应，其中，所述最早TSTI早于所述时间序列数据集的每个FVTI，并且所述最早时间片数据集的每个时间片数据子集包括一个或更多个数据字符串且没有指针。10.根据权利要求1所述的计算机实现方法，其中，所述多个时间片数据集包括最新时间片数据集，所述最新时间片数据集与比所述多个时间片数据集中的每个其他时间片数据集的相应TSTI更晚的最新TSTI相对应，其中，所述最新TSTI晚于所述时间序列数据集的每个FVTI，以及所述最新时间片数据集的每个时间片数据子集包括一个或更多个指针且没有数据字符串。11.一种计算机系统，所述计算机系统包括一个或更多个电子处理器和一个或更多个有形的非暂时性计算机可读介质，每个计算机可读介质可操作地耦接到所述处理器中的一个或更多个处理器，其中，所述计算机系统被构造、连接和编程以执行权利要求1所述的方法。12.一种有形的非暂时性计算机可读介质，所述计算机可读介质被编码有指令的电子标记，所述指令当被应用于计算机系统时使所述计算机系统执行权利要求1所述的方法。13.一种有形的非暂时性计算机可读介质，所述计算机可读介质被编码有由权利要求1所述的方法生成的多个时间片数据集的电子标记。14.根据权利要求1所述的计算机实现方法，还包括：(d)使用为其编程的所述计算机系统的一个或更多个电子处理器，自动确定在多个时间片数据集中出现的早于新指定TSTI的最新TSTI；(e)使用为其编程的所述计算机系统的一个或更多个电子处理器，对于多个定义的数据字段中的每一个数据字段，自动识别对时间序列数据集的最新FVTI进行指示的相应FVTI数据字符串，所述最新FVTI晚于在部分(d)中确定的最新TSTI且早于新指定TSTI；(f)使用为其编程的所述计算机系统的一个或更多个电子处理器，对于多个数据字段的每个指定子集，如果在部分(e)中识别到至少一个相应的最新FVTI数据字符串的，则(i)在新时间片数据集的相应时间片数据子集中自动包括每个识别到的最新FVTI数据字符串和相关联FV数据字符串，以及(ii)对于在部分(e)中未识别出FVTI数据字符串的指定子集的每个数据字段，在新时间片数据集的相应时间片数据子集中自动包括：一个或更多个FV数据字符串，一个或更多个FVTI数据字符串，或对时间序列数据集中的早于所述新TSTI的最新FVTI和相关联FV数据字符串进行指示的一个或更多个指针；(g)使用为其编程的所述计算机系统的一个或更多个电子处理器，对于多个数据字段的每个指定子集，如果在部分(e)中未识别出相应FVTI数据字符串，则在新时间片数据集的相应时间片数据子集中自动包括：一个或更多个数据字符串或者一个或更多个指针，所述一个或更多个指针对在具有更早TSTI的相应时间片数据子集中的早于新TSTI的最新FVTI数据字符串和相关联FV数据字符串进行共同指示；以及(h)自动生成新时间片数据集的电子标记并以计算机可搜索的格式自动存储在所述计算机系统的一个或多个有形的非暂时性计算机可读介质上，所述电子标记包括部分(f)和(g)的时间片数据子集并与新指定的TSTI相对应，所述有形的非暂时性计算机可读介质可操作地耦接到所述计算机系统的一个或更多个电子处理器。15.根据权利要求14所述的计算机实现方法，其中，部分(f)包括：使用为其编程的所述计算机系统的一个或多个电子处理器，对于多个数据字段中的每个指定子集，如果在部分(e)中识别到至少一个相应的最新FVTI数据字符串，则在新时间片数据集的相应时间片数据子集中自动包括对于指定子集的数据字段中的每个数据字段的，与早于新TSTI的最新FVTI对应的相应FV数据字符串和相关联FVTI数据字符串。16.根据权利要求14所述的计算机实现方法，其中，部分(e)的识别包括自动电子查询所述时间序列数据集的电子标记，以识别晚于部分(d)中所确定的最新TSTI且早于新指定TSTI的相应FVTI数据字符串。17.根据权利要求16所述的计算机实现方法，其中，部分(e)的识别包括：对于多个定义的数据字段中的每一个字段，使用为其编程的计算机系统的一个或多个电子处理器，(A)确定时间片数据集中晚于新指定TSTI的最早TSTI，以及(B)对于每个字段，如果具有在部分(A)中确定的TSTI的相应时间片数据子集包括指针，则从时间序列数据集的电子查询中排除该字段，并将由指针指示的相应FVTI识别为最新FVTI。18.根据权利要求16所述的计算机实现方法，其中，部分(e)的识别包括：对于多个定义的数据字段中的每一个字段，使用为其编程的计算机系统的一个或多个电子处理器，(A)确定时间片数据集中的晚于新指定TSTI的最早TSTI，以及(B)对于每个字段，如果具有在部分(A)中确定的TSTI的相应时间片数据子集包括比在部分(d)中确定的最新TSTI更早的FVTI数据字符串或使用指针指示比在部分(d)中确定的最新TSTI更早的FVTI数据字符串，则从所述时间序列数据集的电子查询中排除该字段，并将包含或指示的FVTI数据字符串识别为最新TSTI。19.根据权利要求16所述的计算机实现方法，其中，部分(e)的识别包括：对于多个定义的数据字段中的每一个字段，使用为其编程的所述计算机系统的一个或多个电子处理器，对于每个字段，如果具有比新指定的TSTI晚的相应TSTI的相应时间片数据子集包括比在部分(d)中确定的最新TSTI更早的FVTI数据串或使用指针指示比在部分(d)中确定的最新TSTI更早的FVTI数据串，则从所述时间序列数据集的电子查询中排除该字段，并将包含或指示的FVTI数据字符串识别为最新TSTI。20.根据权利要求14所述的计算机实现方法，还包括：(i)使用为其编程的所述计算机系统的一个或多个电子处理器，对于多个数据字段的每个指定子集，如果在部分(e)中识别出至少一个相应FVTI数据字符串，则使用比新指定的TSTI晚的相应TSTI来识别一个或多个相应的时间片数据子集，所述一个或多个相应的时间片数据子集包括一个或多个指针，所述一个或多个指针对具有早于新指定的TSTI的相应的TSTI的相应的时间片数据子集中的相应FVTI数据字符串或相关FV数据字符串进行指示；(j)使用为其编程的所述计算机系统的一个或多个电子处理器，对于在部分(i)中识别的每个时间片数据子集，用一个或多个相应的新指针自动替换一个或多个相应的指针，所述新指针对新时间片数据集的相应FV或FVTI数据字符串进行指示；以及(k)在计算机系统的一个或多个有形的非暂时性计算机可读介质上自动更新部分(j)的替换指针的电子标记，所述有形的非暂时性计算机可读介质可操作地耦接到所述计算机系统的一个或多个电子处理器。21.一种计算机系统，所述计算机系统包括一个或更多个电子处理器和一个或更多个有形的非暂时性计算机可读介质，每个有形的非暂时性计算机可读介质可操作地耦接到所述处理器中的一个或更多个处理器，其中，所述计算机系统被构造、连接和编程以执行权利要求14所述的方法。22.一种有形的非暂时性计算机可读介质，所述有形的非暂时性计算机可读介质被编码有指令的电子标记，当所述指令被应用于计算机系统时使所述计算机系统执行权利要求14所述的方法。23.一种有形的非暂时性计算机可读介质，所述有形的非暂时性计算机可读介质被编码有由权利要求14所述的方法生成的多个时间片数据集的电子标记。24.根据权利要求1所述的计算机实现方法，还包括：(d)在所述计算机系统处自动接收新FV数据字符串和新关联FVTI数据字符串的电子标记，所述新FV数据字符串用于定义的数据字段中的相应一个字段，所述新相关FVTI数据字符串对获取、测量、生成或记录所述新FV数据字符串时的时间的新FVTI进行指示；(e)使用为其编程的所述计算机系统的一个或更多个电子处理器，在时间序列数据集中自动包括所述新FV数据字符串和所述新FVTI数据字符串；以及(f)使用为其编程的所述计算机系统的一个或更多个电子处理器，自动生成作为时间序列数据集的电子标记的一部分的所述新FV数据字符串和所述新FVTI数据字符串的电子标记，并以计算机可搜索的格式自动存储在所述计算机系统的一个或多个有形的非暂时性计算机可读介质上，所述有形的非暂时性计算机可读介质可操作地耦接到所述计算机系统的一个或更多个电子处理器。25.根据权利要求24所述的计算机实现方法，还包括：(g)使用为其编程的所述计算机系统的一个或更多个电子处理器，自动识别多个数据字段的多个指定子集中的哪一个指定子集包括部分(d)的...

【专利技术属性】
技术研发人员：罗伊·W·沃德，大卫·S·阿拉维，
申请(专利权)人：月影移动有限公司，
类型：发明
国别省市：美国,US