时序化的数据处理方法、装置及系统制造方法及图纸

本发明专利技术公开了一种时序化数据处理方法、装置及系统，所述方法包括：获取待处理数据的时间信息、所归属的序列化通道以及应用处理类型；所述序列化通道对应应用类型；根据所述时间信息以及所述序列化通道确定所述待处理数据对应的存储单元；通过所述存储单元对所述待处理数据进行应用处理类型指示的处理操作。所述方法、装置及系统能够优化数据的存储和管理。

【技术实现步骤摘要】

本专利技术涉及数据存储与管理技术，尤其涉及一种时序化的数据处理方法、装置及系统。
技术介绍
随着高密度海量数据存储需求的不断发展，越来越多的应用场合通过集中存储系统来实现对于各种数据的存储和访问，例如，数据备份、视频监控、视频编辑、地质勘探、数据归档应用等，而在这些数据处理的过程中，其都具有明确的时间特征，同时具有如下特点所述数据的存储通常是非结构化存储或近似非结构化存储，且存储过程对IO带宽要求比较高，如必须达到数十MB/s以上，数据总量比较大且是不间断产生的；而所述数据的访问通常都具有或者暗含时序性特征信息；所述数据一旦进入存储系统，再次访问的概率往往较低，但往往又不能完全离线存储，据统计，所述数据的访问频率，大部分可能低于l次/月。在现有的集中存储系统中，数据的存储和访问通常使用如下方法根据数据被访问的特性，将数据分为3个层次，在线存储、近线存储和离线存储。上面所述数据的存储可以归类为典型的近线存储需求，但近线存储的关键点和难点是数据进入近线存储系统的判断依据，所以，近些年来围绕近线存储的一些方法和系统，基本上都是围绕热点数据进行管理，所谓热点，就是在一定的时间窗口内，对各个数据的访问频率统计，根据统计情况，将数据分别存储在在线存储系统和近线存储系统。对于上面所述数据管理的需求，则难以通过热点进行分类，主要的问题在于数据普遍的访问率低下，再次访问也是在偶然情况下发生，几乎不会出现阶段性局部数据被反复访问的情况。专利技术人发现由于分级存储的所有数据都是根据访问频率进行分级的，在数据量很大，且所存储的数据不具有热点#征，则需要容量很大的在线存储系统予以支撑，而这往往会使得文件基本操作的时间较长，进而导致用户进行数据处理的时间过长，从而降低了前端应用系统的数据处理效率。
技术实现思路
有鉴于此，本专利技术要解决的技术问题是，提供一种时序化的数据处理方法、装置及系统，在进行数据处理时考虑数据之间的时序性关系，从而能够优化数据的存储和管理。为此，本专利技术实施例采用如下技术方案一种时序化的数据处理方法，该方法包括获取待处理数据的时间信息、所归属的序列化通道以及应用处理类型；单元；通过所述存储单元对所述待处理数据进行应用处理类型指示的处理操作。一种时序化的数据处理装置，包括第一获取单元，用于获取待处理数据的时间信息、所归属的序列化通道以及应用处理类型；所述序列化通道对应数据类型；确定单元，用于根据所述时间信息以及所述序列化通道确定所述待处理数据对应的存储单元；处理单元，用于通过所述存储单元对所述待处理数据进行应用处理类型指示的处理操作。一种时序化的数据处理系统，包括应用终端、数据处理装置以及存储单元；其中，应用终端，用于接收用户的数据处理请求，把该请求发送给数据处理装置；数据处理装置，用于接收所述应用终端发送的数据处理请求，从所述数据处理请求中获取待处理数据的时间信息、所归属的序列化通道以及应用处理类型；其中，所述序列化通道对应数据类型；根据所述时间信息以及所述序列化通道确定所述待处理数据对应的存储单元；通过所述存储单元对所述待处理数据进行应用处理类型指示的处理操作；存储单元，用于存储数据，并在数据处理装置的控制下进行数据处理。对于上述技术方案的技术效果分析如下以数据的时间信息作为数据处理的索引，并为各个不同类型的数据设置对应的序列化通道，依据数据的时间信息以及序列化通道确定数据的存储单元，进而对数据进行应用处理类型指示的处理，整个过程中，以数据的时间信息和序列化通道作为依据，考虑到了数据本身的时序性特点以及类型特点，从而数据的存储和管理。附图说明图1为本专利技术实施例时序化的数据处理方法流程示意图2为本专利技术实施例时序化的数据写入方法流程示意图3为本专利技术实施例时序化的数据转移方法流程示意图4为本专利技术实施例数据清除方法流程示意图5为本专利技术实施例时序化的数据读取方法流程示意图6为本专利技术实施例时序化的数据删除方法流程示意图7为本专利技术实施例时序化的数据处理装置结构示意图8为本专利技术实施例另一种时序化的数据处理装置结构示意图9为本专利技术实施例时序化的数据处理系统结构示意图。具体实施例方式本专利技术实施例的基本思想在于，在数据处理过程中充分考虑被处理数据的时序性并结合数据类型，从而提供了一种时序化的数据处理方法、装置及系统，从而能够提高数据处理效率。具体的，考虑到数据其生产的时序性关系和访问特点，采用一种基于时序的分级管理方式，可以有效降低在线存储系统的规^莫和成本。在新的存储系统中，采用两级存储体系， 一级存储系统用于存储最新生成的数据，二级存储系统用于存储具有某个时间阈值之前的数据，前者采用一般的、符合在线存储需求的系统，如NAS、 SAN、甚至是DSA系统，后者釆用一个或多个廉价的存储设备，并将所述存储设备形成一个逻辑闭环的存储链进行管理。8数据存储时，首先存入一级存储系统中，同时，元数据服务器记录所存储数据的存储地址及时间特征，然后，通过一定的工程技术，当数据存储时间超过指定时间阈值后，数据从一级存储自动转移到二级存储链中，同时更新元数据服务器中的数据存储的记录，同时更新所二级存储链中，独立存储设备所关联的时间范围。当数据被访问时，根据所约定的路径规则，提取数据的时间，定位存储设备，向锁定存储设备访问相关数据。在拥有多个类似应用的情形下，可以进一步的在二级存储链中实施序列化通道机制，即通过路径映射，将不同应用的数据存储到约定路径之中，从而实现二级存储链在多个应用中的共享，实现多个一级存储系统对一个二级存储链。通过上述设计，一级存储可以实现瘦身，从而达到降低成本的目的；二级存储设备在大部分时间都处于局部工作状态，可以实施休眠^u制，降^^系统的能库毛；同时，二级存储基于存储链的管理方式，可以方便实施动态扩容，管理上非常简单；通过元数据服务器提供的统一视图，可以实现POSIX兼容。以下，结合附图详细说明本专利技术实施例时序化数据处理方法、装置及系统的实现。在该方法中，将数据的存储分为一级存储和二级存储，其中，将存储时间与当前时间的时间间隔不大于预设第一时间阔值的数据进行一级存储；将存储时间与当前时间的时间间隔大于预设第 一 时间阈值的数据进行二级存储。其中，用于对数据进行一级存储的存储单元称为一级存储系统，其在具体实施时可以使用适合业务需要的存储系统作为存储环境，例如SAN、 NAS、DAS、集群文件系统、RAID、甚至是具有SSD、 IDA的存储系统；而二级存储可以使用廉价的^兹盘或者带RAID的主机作为二级存储单元。另外，该方法还根据应用类型，为不同应用的数据设置对应的序列化通道，例如，为视频监控数据设置对应的序列化通道1,为地质勘测数据设置对应的序列化通道2等。并且，为各个序列化通道建立数据信息表，在该数据信息表中记录数据的时l可信息、数据量、状态信息等属性信息。其中，数据的时间信息可以以时间的方式实现。所述状态信息才艮据应用处理类型可以划分为转移、写入、读取、删除、正常等。当数据的状态为正常时，可以响应其他的如读取、删除、转移等应用处理，但是，当处于读取状态时，则不允许进行删除、转移等应用处理，当数据处于删除、转移等状态时类似，这里不赘述。另外，可以将所有的序列化通道对应的数据信息表统一存储，形成元数据服务系统，以便于统一管理本文档来自技高网...

【技术保护点】
一种时序化的数据处理方法，其特征在于，该方法包括：　　获取待处理数据的时间信息、所归属的序列化通道以及应用处理类型；　　根据所述时间信息以及所述序列化通道确定所述待处理数据对应的存储单元；　　通过所述存储单元对所述待处理数据进行应用处理类型指示的处理操作。

【技术特征摘要】
1、一种时序化的数据处理方法，其特征在于，该方法包括获取待处理数据的时间信息、所归属的序列化通道以及应用处理类型；根据所述时间信息以及所述序列化通道确定所述待处理数据对应的存储单元；通过所述存储单元对所述待处理数据进行应用处理类型指示的处理操作。2、 根据权利要求1所述的方法，其特征在于，所述获取步骤之前还包括 接收用户的数据处理请求。3、 根据权利要求2所述的方法，其特征在于，通过以下方式获取待处理 数据的时间信息、所归属的序列化通道从所述数据处理请求中获取待处理数据的时间信息；从所述数据处理请 求中获取待处理数据的路径信息，根据所述路径信息确定待处理数据的类型， 进而确定待处理数据所归属的序列化通道。4、 根据权利要求3所述的方法，其特征在于，所述应用处理类型为写入 时，通过以下方式确定所述待处理数据的存储单元判断所述时间信息指示的时间与当前时间之间的时间间隔是否大于第一 时间阈值，如果是，确定所述待处理数据的存储单元为第二存储单元；否则， 确定所述待处理数据的存储单元为序列化通道对应的第 一存储单元。5、 根据权利要求4所述的方法，其特征在于，所述通过所述存储单元对 所述待处理数据进^ff应用处理类型指示的处理操作包括通过所述第二存储单元或者所述序列化通道对应的第一存储单元对所述 待处理数据进行应用处理类型指示的处理操作。6、 根据权利要求5所述的方法，其特征在于，当所述应用处理类型为写 入时，将待写入数据写入确定的所述第二存储单元通过以下步骤实现判断第二存储单元中当前存储》兹盘中的剩余存储空间是否大于所述待写 入数据的数据量，如果是，将待写入数据写入当前存储磁盘；否则，将当前 存储磁盘的下一个存储磁盘作为当前存储磁盘，进行所述判断操作，直到最 后一个存储磁盘的剩余存储空间仍不大于所述待写入数据的数据量时，循环 至第一个存储磁盘。7、 根据权利要求3所述的方法，其特征在于，所述应用处理类型为读取或删除时，通过以下方式确定所述待处理数据的存储单元根据时间信息查找所述序列化通道对应的数据信息表，将从所述数据信息表中查找得到的对应数据作为待处理数据，并获取所述待处理数据的存储路径信息。8、 根据权利要求7所述的方法，其特征在于，还包括从所述数据信息表中获取所述待处理数据的状态信息，并根据状态信息判断各待处理数据是否处于可处理状态，如果是，执行所述进行应用处理类型指示的处理操:作的步骤。9、 一种时序化的数据处理装置，其特征在于，包括第一获取单元，用于获取待处理数据的时间信息、所归属的序列化通道以及应用处理类型；所述序列化通道对应数据类型；确定单元，用于根据所述时间信息以及所述序列化通道确定所述待处理数据对应的存储单元；处理单元，用于通过所述存储单元对所述待处理数据进行应用处理类型指示的处理操作。10、 根据权利要...

【专利技术属性】
技术研发人员：杨耀敏，蒋建平，
申请(专利权)人：北京世纪互联宽带数据中心有限公司，
类型：发明
国别省市：11[中国|北京]