用于处理数据的方法、电子设备和计算机程序产品技术

本公开的实施例涉及用于处理数据的方法、电子设备和计算机程序产品。该方法包括获取待处理对象的流数据中的与第一时刻有关的数据。该方法还包括基于待处理对象的标识，将数据存储在数据表的第一条目中，数据表还包括在第一条目之前的第二条目，第二条目中存储有流数据中的、与第一时刻之前的第二时刻有关的数据。该方法还包括基于第一条目，更新与待处理对象有关的索引。通过该方法，解决了在不同的时刻的数据中进行搜索的问题，并且不需要用户参与，提高了用户的体验，减少了存储资源的使用。减少了存储资源的使用。减少了存储资源的使用。

【技术实现步骤摘要】
用于处理数据的方法、电子设备和计算机程序产品


[0001]本公开的实施例涉及数据处理领域，并且更具体地，涉及用于处理数据的方法、电子设备和计算机程序产品。

技术介绍

[0002]流数据是由各种数据源生成的连续的数据流。流数据的常见示例包括物联网(Internet of Things，IoT)传感器、服务器和安全日志、实时广告以及来自应用程序和网站的点击流数据。
[0003]流数据适合用于按时间序列存储和按时间进行检测。此外，它通常用于实时数据过滤、聚合、关联或采样。流数据在大数据领域中对实时数据分析起着重要作用。然而，在流数据的处理过程中还存在许多需要解决的问题。

技术实现思路

[0004]本公开的实施例提供一种用于处理数据的方法、电子设备和计算机程序产品。
[0005]根据本公开的第一方面，提供了一种用于处理数据的方法。该方法包括获取待处理对象的流数据中的与第一时刻有关的数据。该方法还包括基于待处理对象的标识，将数据存储在数据表的第一条目中，数据表还包括在第一条目之前的第二条目，第二条目中存储有流数据中的、与第一时刻之前的第二时刻有关的数据。该方法还包括基于第一条目，更新与待处理对象有关的索引。
[0006]根据本公开的第二方面，提供了一种电子设备。该电子设备包括至少一个处理器；以及存储器，耦合至至少一个处理器并且具有存储于其上的指令，指令在由至少一个处理器执行时使设备执行动作，动作包括：获取待处理对象的流数据中的与第一时刻有关的数据；基于待处理对象的标识，将数据存储在数据表的第一条目中，数据表还包括在第一条目之前的第二条目，第二条目中存储有流数据中的、与第一时刻之前的第二时刻有关的数据；以及基于第一条目，更新与待处理对象有关的索引。
[0007]根据本公开的第三方面，提供了一种计算机程序产品，该计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括机器可执行指令，该机器可执行指令在被执行时使机器执行本公开的第一方面中的方法的步骤。
附图说明
[0008]通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
[0009]图1图示了根据本公开的实施例的用于处理数据的过程100的示意图；
[0010]图2图示了根据本公开的实施例的设备和/或方法可以在其中被实施的示例环境200的示意图；
[0011]图3图示了根据本公开的实施例的用于处理数据的方法300的流程图；
[0012]图4图示了示出了根据本公开的实施例的用于处理数据的过程400的示意图；
[0013]图5示出了根据本公开的实施例的删除数据的过程500的示意图；
[0014]图6图示了适于用来实施本公开内容的实施例的示例设备600的示意性框图。
[0015]在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
[0016]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0017]在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
[0018]下面将参考附图中示出的若干示例实施例来描述本公开的原理。虽然附图中显示了本公开的优选实施例，但应当理解，描述这些实施例仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。
[0019]在传统的流数据存储方案中，在存储新获得的数据时，历史数据被替换或新数据被追加到历史数据后面。例如字节流(ByteStream)，其是一种提供类似于文件流的访问模式的流。其在记录时是追加数据，因此数据可以被快速存储到持久存储装置中。
[0020]针对流数据的搜索，通常采用全文搜索技术。全文搜索技术可以利用存储的数据的索引来进行搜索或查找。在传统的搜索系统中，仅保留流数据的最新版本及其索引数据。
[0021]如图1所示，对于一个新的待处理对象的流数据，在接收到该待处理对象的数据102时，将数据102存储在存储器中，也称为创建了一个版本0的数据。针对存储的数据，在索引结构中构建与该待处理对象有关的索引104。然后当新的数据到来时，执行更新操作。在执行更新操作时，可以用新的数据替换原来的数据102形成数据106，或者读取数据102，然后将数据102与新的数据组合形成数据106。此时，称为版本1的数据。然后根据数据106，更新与该待处理对象有关的索引形成索引108。在形成数据106后，版本0的数据102将不存在，也不存在对应的索引104。因此，用户无法获得版本0的数据102或无法通过索引104查找与版本0相对应的数据。
[0022]此外，如果删除版本1的数据和相应的索引，则将不存在与待处理对象相关的任何数据。因此，上述存储方式将导致无法获得不同版本的数据，也无法对历史版本中的数据进行查找。
[0023]至少为了解决上述和其他潜在问题。本公开的实施例提出了一种用于处理数据的方法。在该方法中，计算设备获取待处理对象的流数据中的与第一时刻有关的数据。然后计算设备利用待处理对象的标识，将数据存储在数据表的第一条目中。然后计算设备基于第一条目，更新与待处理对象有关的索引。通过该方法，解决了在不同的版本的数据中进行搜索的问题，并且不需要用户参与，提高了用户的体验，减少了存储资源的使用。
[0024]以下将进一步结合附图来详细描述本公开的实施例。图2示出了本公开的实施例能够在其中被实现的示例系统200的框图。应当理解，仅出于示例性的目的描述系统200的结构，而不暗示对于本公开的范围的任何限制。
[0025]系统200包括计算设备204。计算设备204可以实现对流数据的管理。
[0026]计算设备204包括但不限于个人计算机、服务器计算机、手持或膝上型设备、移动设备(诸如移动电话、个人数字助理(PDA)、媒体播放器等)、多处理器系统、消费电子产品、小型计算机、大型计算机、包括上述系统或设备中的任意一个的分布式计算环境等。
[0027]计算设备204接收形成待处理对象的流数据中的数据202。在一些示例中，待处理对象为文档时，数据202可以为用户新增的内容或修改后的文档的完整内容。在一些实施例中，当用传感器测量待处理对象时，则数据202可以为针对待处理对象的传感器数据，例如测量人的温度。上述示例仅是用于描述本公开，而非对本公开的具体限定。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于处理数据的方法，包括：获取待处理对象的流数据中的与第一时刻有关的数据；基于所述待处理对象的标识，将所述数据存储在数据表的第一条目中，所述数据表还包括在所述第一条目之前的第二条目，所述第二条目中存储有所述流数据中的、与所述第一时刻之前的第二时刻有关的数据；以及基于所述第一条目，更新与所述待处理对象有关的索引。2.根据权利要求1所述的方法，其中将所述数据存储在数据表的第一条目中包括：从所述数据表中确定与所述第一条目相邻的第三条目；将所述第三条目中的参考数据与所述数据进行比较以确定数据之间的不同部分；以及将所述不同部分存储在所述第一条目中。3.根据权利要求1所述的方法，其中更新与所述待处理对象有关的索引包括：确定所述第一条目中的第一数据元素；生成与所述第一数据元素相对应的索引项，所述索引项包括所述待处理对象的标识；将所述索引项添加到与所述待处理对象有关的索引结构中的所述第一数据元素的列表中。4.根据权利要求1所述的方法，其中更新与所述待处理对象有关的索引还包括：基于所述待处理对象的标识从所述索引结构中确定与所述待处理对象有关的第二数据元素；从所述索引结构中的所述第二数据元素的列表中删除与所述待处理对象有关的索引项。5.根据权利要求3或4所述的方法，其中所述索引结构为倒排索引结构或树形索引结构。6.根据权利要求1所述的方法，还包括：如果确定所述流数据的大小超过阈值大小，删除所述第一条目之前的历史条目。7.根据权利要求1所述的方法，还包括：接收针对所述流数据的查找请求；如果所述请求中包括所述待处理对象的标识，基于所述标识获得针对所述待处理对象的第四条目，所述第四条目是所述第一条目之前的条目；基于所述第四条目，确定与所述待处理对象有关的历史索引以用于查找。8.一种电子设备，所述电子设备包括：至少一个处理器；以及存储器，耦合至所述至少一个处理器并且具有存储于其上的指令，所述指令在由所述至少一个处理器执行时使所述设备执行动作，所述动作包括：获取待处理对象...

【专利技术属性】
技术研发人员：苏鹏飞，雷璐，朱健，
申请(专利权)人：伊姆西IP控股有限责任公司，
类型：发明
国别省市：