云和时间序列数据库中物联网系统的分层取证技术方案

一种示例性方法包括：创建空的重建流数据库；识别数据时间间隔；识别在数据时间间隔期间存储数据的数据源；从所述数据源读取数据，其中从所述数据源读出的数据与落入所述数据时间间隔内的相应时间戳相关联；将读出的数据插入到空的重建流数据库中，以创建高分辨率数据流，其中根据时间戳在空的重建流数据库中将数据排序；处理高分辨率数据流中的数据；以及基于数据的处理，识别并解决与最初生成数据的操作环境有关的问题。

【技术实现步骤摘要】
【国外来华专利技术】云和时间序列数据库中物联网系统的分层取证
本专利技术的实施方式大体上涉及数据保护。更具体地，本专利技术的至少一些实施方式涉及针对以下过程的系统、硬件、软件、计算机可读介质、以及方法，该过程用于使用来自多个不同源的数据来重建时间序列数据流。
技术介绍
随着所谓的物联网(InternetofThings，IoT)的普及，由IoT设备生成并传输到本地数据中心或云数据中心的数据流的大小和数量不断增加。在许多情况下，数据流被附加到时间序列数据库中，该时间序列数据库通常仅以最高分辨率保存最近数据，而合并或修剪较旧数据。这种存储数据的方法限制了问题发生后可以在IoT系统中执行的取证的质量，并且还可能负面地影响在丢失数据上的机器学习算法的再训练。为了说明，当发生影响IoT系统、IoT设备和/或相关联数据的事件时，可能需要能够以相对高的分辨率访问已备份的IoT数据。然而，至少部分地因为数据的多个部分可能存在于各种不同的位置，所以可能难以获取和重建数据。因此，预期存储数据的位置可能不总是具有所需的所有数据。这会发生是由于时间序列数据库中的数据策略，例如导致较旧数据被删除或降采样的策略。相关的问题是，数据策略可能无法提供以高分辨率存储所有数据。同样，IoT设备通常不具有大的数据存储能力。因此，不能依靠IoT设备来存储大量数据。这又可能是实施诸如降采样的数据策略的原因，如上所述，这些数据策略本身是有问题的。最后，时间序列DB(数据库)或IoT设备的备份可能不协调。也就是说，时间序列DB备份可能包含较旧的数据，但是运行时系统可能无法访问这些备份。同样，一些较大的设备(例如监控摄像头)甚至可能具有历史数据的备份。然而，再一次，运行时系统通常无法访问该备份数据。附图说明为了描述可以获得本专利技术的至少一些优点和特征的方式，将参考在附图中示出的本专利技术的特定实施方式来更具体的描述本专利技术的实施方式。应理解，这些附图仅描绘了本专利技术的典型实施方式，并且因此不应被认为是对本专利技术的范围的限制，将通过使用附图用附加的特征和细节来描述和解释本专利技术的实施方式。图1公开了本专利技术的一些实施方式的示例性操作环境的方面。图2公开了示例性主机配置的方面。图3是流程图，其公开了根据本专利技术的各种实施方式的用于重建高分辨率数据流的示例性方法的方面。具体实施方式本专利技术的实施方式大体上涉及数据保护。更具体地，本专利技术的至少一些实施方式涉及针对如下过程的系统、硬件、软件、计算机可读介质、以及方法，该过程用于使用存在于多个不同源处的数据的多个部分来重建时间序列数据流。数据的各个部分可以与各自不同的分辨率相关联，例如，可以以第一分辨率备份数据的一部分，并以与第一分辨率不同的第二分辨率备份数据的另一部分。通常，本专利技术的实施方式将来自多个源的数据拼接在一起，以便以高分辨率重建数据流。无论数据存储在何处或存储的数据的分辨率如何，都可以通过使用元数据(例如，唯一ID(标识符)值或时间戳)以所期望的顺序或次序组合数据来重建数据流。本专利技术的一些实施方式能够以临时的方式构建任何期望大小的数据流，即使这样的数据流先前并不存在。为了说明，数据库(DB)可能仅足够大以保持1M的样本，但是需要3M的样本用于分析或一些其他目的。在诸如这样的情况下，本专利技术的实施方式能够构建任何期望大小的数据流(例如3M的样本)，而不受DB的大小的限制。应当注意的是，尽管3M的数据流例如可能从未如此存在于DB中，但是这种数据流在本文中仍可称为已被重建。此外，当重建数据流时，本专利技术的实施方式可以确保重建的流将能够适合数据库。为此，本专利技术的实施方式可以在适用时设置或覆盖数据库存储策略，以确保无论是根据磁盘空间、DB记录计数还是任何其他度量来度量的重建数据流都可以被数据库容纳。于是，有利地，相对于常规系统和方法，本专利技术的实施方式可以提供各种益处。为了说明，本专利技术的实施方式使得能够执行取证、故障排除和其他需要高分辨率的数据流以获得最佳结果的过程，例如机器学习算法的再训练。这些取证和故障排除过程的结果可以用于识别和解决系统、应用程序或设备例如在IoT或其他环境中的操作问题。同样，本专利技术的实施方式包括数据恢复过程，该数据恢复过程采用如本文所公开的已经重建的高分辨率数据流。此外，本专利技术的实施方式能够重建高分辨率数据流，即使用于重建的数据的某些部分是相对低分辨率的(例如由于降采样或其他缩减(downscaling)过程)和/或被存储在各种不同的位置。同样，本专利技术的实施方式使得能够构建/重建任何期望大小的数据流。如此，可以根据需要重建在时间上向回追溯很远的数据流。如前述示例所示，本专利技术的实施方式可以例如通过减少或消除对大数据库以其整体保持高分辨率数据流的需求或要求来改进计算系统或计算系统的元件的操作。此外，本专利技术的实施方式通过重建高分辨率数据流，使得能够诊断和解决计算系统中的问题。下面结合各种说明性示例讨论了所公开的过程和方法的其他方面。A.示例性操作环境的方面以下是对本专利技术的各种实施方式的示例性操作环境的方面的讨论。该讨论不旨在以任何方式限制本专利技术的范围或实施方式的适用性。可以结合具有一个或多个IoT边缘组件的IoT环境来使用本专利技术的至少一些特定实施方式，所述IoT边缘组件可包括例如IoT传感器、IoT致动器和/或其他收集和/或生成信息和/或传输有关其所处环境的信息的任何IoT设备，并且IoT环境还可包括对修改其环境的某些方面的命令有响应的IoT设备。为了说明，IoT边缘组件包括用于物理安全和灾难检测的IoT传感器。其他IoT边缘组件包括监控摄像头、运动检测传感器和其他可用于检测入侵者和声音防盗警报的边缘设备。烟雾和气体检测器可用于触发火灾警报并启动灭火器。不管它们的配置或预期用途如何，IoT边缘设备还可配置为可检索地存储有关其环境、操作和/或从外部系统或设备接收的命令的数据。下面提供了有关可以在其中使用IoT边缘设备的示例性操作环境的更多细节。在执行使用例如重建的高分辨率数据流的数据保护操作、例如备份和/或恢复操作的情况下，可以结合数据保护环境(例如Dell-EMCDataDomain(数据域)环境)来使用至少一些实施方式，所述数据保护环境可以实现备份、存档、恢复和/或灾难复原的功能。然而，本专利技术的范围不限于该示例性数据保护环境，并且更一般地扩展到与创建、保存、备份和/或恢复数据有关的任何数据保护环境。数据保护环境可以采取云存储环境、本地存储环境以及包括公共和私有元素的混合存储环境的形式，尽管本专利技术的范围也扩展到任何其他类型的数据保护环境。这些示例性存储环境中的任一者都可以部分或完全虚拟化。该存储环境可以包括数据中心或由数据中心组成，该数据中心是可操作的以服务由一个或多个客户端发起的读取和写入操作。除了存储环境之外，操作环境还可以包括一个或多个主机设备、例如客户端，每个主机设备主管一个或多个应用程序。如此，特定客户端可以使用一个或多个应用程序中的每个应用程序的一个或多个实例，或者以其他方式与该一个或多个应用程序中的每个应用程本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n创建空的重建流数据库；/n识别数据时间间隔；/n识别在所述数据时间间隔期间存储数据的数据源；/n从所述数据源读取数据，其中，从所述数据源读出的所述数据与落入所述数据时间间隔内的相应时间戳相关联；/n将读出的所述数据插入到所述空的重建流数据库中，以创建高分辨率数据流，其中，根据所述时间戳在所述空的重建流数据库中将所述数据排序；/n处理所述高分辨率数据流中的所述数据；以及/n基于所述数据的所述处理，识别并解决与最初生成所述数据的操作环境有关的问题。/n

【技术特征摘要】
【国外来华专利技术】20181010 US 16/156,8031.一种方法，包括：
创建空的重建流数据库；
识别数据时间间隔；
识别在所述数据时间间隔期间存储数据的数据源；
从所述数据源读取数据，其中，从所述数据源读出的所述数据与落入所述数据时间间隔内的相应时间戳相关联；
将读出的所述数据插入到所述空的重建流数据库中，以创建高分辨率数据流，其中，根据所述时间戳在所述空的重建流数据库中将所述数据排序；
处理所述高分辨率数据流中的所述数据；以及
基于所述数据的所述处理，识别并解决与最初生成所述数据的操作环境有关的问题。


2.根据权利要求1所述的方法，其中，所述数据源中的一者是IoT边缘设备。


3.根据权利要求2所述的方法，其中，所述IoT边缘设备包括传感器。


4.根据权利要求1所述的方法，其中，存储在所述数据源中的一者中的数据具有与存储在所述数据源中的另一者中的数据的分辨率不同的分辨率。


5.根据权利要求1所述的方法，其中，所述数据源中的一者是时间序列数据库。


6.根据权利要求5所述的方法，其中，存储在所述时间序列数据库中的数据具有比存储在任何其他数据源中的数据的分辨率相对更高的分辨率。


7.根据权利要求1所述的方法，其中，以所述数据源的特定顺序从所述数据源中检索所述数据。


8.根据权利要求1所述的方法，其中，以所述数据源的任意顺序从所述数据源中检索所述数据。


9.根据权利要求1所述的方法，其中，以如下从最初到最后的顺序从所述数据源中检索数据：活动时间序列数据库；IoT设备；从最新到最旧的一个或多个数据库备份；以及从最新到最旧的一个或多个IoT设备备份。


10.根据权利要求1所述的方法，其中，所述数据源中的一者是时间序列数据库，并且存储在所述时间序列数据库中的数据比存储在任何其他数据源中的数据相对更新。


11.一种非暂时性存储介质，所述非暂时性存储介质中存储有计算机可执行指令，...

【专利技术属性】
技术研发人员：J·舍默尔，K·沃尔夫森，A·纳塔佐恩，
申请(专利权)人：EMCIP控股有限公司，
类型：发明
国别省市：美国;US