针对对象存储的数据传输方法、设备和计算机程序产品技术

本公开的实施例涉及针对对象存储的数据传输方法、设备和计算机程序产品。在本公开的实施例所提供的数据传输方法中，在用于存储对象流的存储空间中存储从对象层获取的一组对象，以作为对象流的第一部分；以及响应于在客户端发生与一组对象中的至少一个对象有关的事件，在存储空间中存储关于事件的信息，以作为对象流的第二部分，关于事件的信息包括以下至少一项：至少一个对象的标识符、事件的类型和事件的元数据。以此方式，可以实现针对对象存储的流式传输。存储的流式传输。存储的流式传输。

【技术实现步骤摘要】
针对对象存储的数据传输方法、设备和计算机程序产品


[0001]本公开的实施例涉及数据传输，并且更具体地，涉及针对对象存储的数据传输方法、设备和计算机程序产品。

技术介绍

[0002]针对结构化数据的连续数据管道或流式处理变得越来越流行。数据库用于存储结构化数据。修改数据捕获(CDC)协议可以被用于确定和跟踪对数据库中的表进行的数据修改，所以将已存储的结构化数据转化成流式数据进行流式处理是可行的。对于非结构化数据，除了对象存储还存在一种流式存储系统(例如Pravega)，其本身就已经支持流式计算。
[0003]流式数据是由各种数据源以大容量、高速度产生的连续且庞大的数据流。流式数据的常见示例包括物联网传感器数据、服务器和安全日志、实时广告以及来自应用和web站点的点击流数据。

技术实现思路

[0004]在本公开的第一方面中，提供了一种数据传输方法。该方法包括在用于存储对象流的存储空间中存储从对象层获取的一组对象，以作为对象流的第一部分。该方法还包括响应于在客户端发生与一组对象中的至少一个对象有关的事件，在存储空间中存储关于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输方法，包括：在用于存储对象流的存储空间中存储从对象层获取的一组对象，以作为所述对象流的第一部分；以及响应于在所述客户端发生与所述一组对象中的至少一个对象有关的事件，在所述存储空间中存储关于所述事件的信息，以作为所述对象流的第二部分，关于所述事件的所述信息包括以下至少一项：所述至少一个对象的标识符、所述事件的类型和所述事件的元数据。2.根据权利要求1所述的方法，所述方法还包括：如果确定新的对象在所述对象层中被创建，在所述存储空间中存储从所述对象层获取的所述新的对象，以作为所述对象流的第三部分。3.根据权利要求1所述的方法，其中关于所述事件的所述信息还包括：所述事件的具体内容，或者指示所述事件的具体内容的存储位置的索引。4.根据权利要求1
‑
3中任一项所述的方法，其中在所述存储空间中存储关于所述事件的所述信息包括：如果所述事件的类型指示所述至少一个对象被删除，在所述存储空间中存储所述事件的元数据，所述元数据指示所述至少一个对象被删除的时间。5.根据权利要求1
‑
3中任一项所述的方法，其中在所述存储空间中存储关于所述事件的所述信息包括：如果所述事件的类型指示所述至少一个对象被修改，在所述存储空间中存储所述事件的元数据，所述元数据指示所述至少一个对象被修改的时间以及修改版本号，其中所述修改版本号随着对所述至少一个对象的修改次数而递增。6.根据权利要求1所述的方法，所述方法还包括：确定当前时间与上一次所述对象流被请求传输的时间的时间长度；如果所述时间长度超过阈值长度，从所述存储空间删除所述对象流。7.一种电子设备，包括：处理器；以及与所述处理器耦合的存储器，所述存储器具有存储于其中的指令，所述指令在被所述处理器执行时使所述设备执行动作，所述动作包括：在用于存储对...

【专利技术属性】
技术研发人员：雷璐，朱健，倪晟，
申请(专利权)人：伊姆西IP控股有限责任公司，
类型：发明
国别省市：