一种流数据存储方法及装置制造方法及图纸

本申请公开了一种流数据存储方法及装置，用以提高对历史流数据分析时读数据的效率。在实时接收流数据时，将行存储格式的流数据转换为列存储格式的流数据，当需要访问历史流数据时，按照需求的列属性读取相应的列数据，然后再转换为适合流处理的行存储格式的流数据。由于对历史数据的分析时，一般不会需求流数据的所有列的数据，而是仅需要其中的若干列的数据，所以在访问历史流数据时，按照需求的列属性读取相应的列数据，过滤掉无需处理的列数据，提高数据的读取效率。提高数据的读取效率。提高数据的读取效率。

【技术实现步骤摘要】
一种流数据存储方法及装置


[0001]本申请实施例涉及存储
，尤其涉及一种流数据存储方法及装置。

技术介绍

[0002]随着互联网、物联网(internet of things，IoT)和第五代移动通信技术(5th generation mobile networks或5th generation wireless systems、5th-Generation，5G)的快速发展，从互联网服务、IoT设备或终端设备采集而成的流数据规模也日益增加。进一步地，对流数据存储的要求的规模更大，要求的效率更高，要求的时延更低，与此同时，对历史流数据的分析与实时处理中流处理的融合的要求也日益突出。
[0003]目前并没有一种可行的流数据存储方案适配历史流数据的分析与实时处理中流处理的融合。

技术实现思路

[0004]本申请实施例提供一种流数据存储方法及装置，用以支持历史流数据的分析与实时处理中流处理的有效融合。
[0005]本申请实施例提供的具体技术方案如下：
[0006]第一方面，本申请实施例提供一种流数据存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流数据存储方法，其特征在于，包括：接收采用行存储格式的第一流数据；将第一存储单元中的所述第一流数据转换为采用列存储格式的第二流数据。2.如权利要求1所述的方法，其特征在于，所述方法还包括：将所述第一流数据存储在第一存储单元；将所述第二流数据存储到第二存储单元；其中，所述第二存储单元的读性能低于所述第一存储单元的读性能。3.如权利要求1所述的方法，其特征在于，所述方法还包括：将所述第一流数据存储在第一存储单元；过滤所述第二流数据中的无效事务的流数据，将经过过滤的第二流数据存储到第二存储单元中，所述无效事务的流数据包括经过事务处理后回滚的数据和/或经过事务处理后终止的数据；其中，所述第二存储单元的读性能低于所述第一存储单元的读性能。4.如权利要求2或3所述的方法，其特征在于，将所述第一存储单元中的所述第一流数据转换为采用列存储格式的第二流数据之前，确定所述第一流数据存储在所述第一存储单元中的时长已达到时长阈值。5.如权利要求2-4任一项所述的方法，其特征在于，将所述第一存储单元中的所述第一流数据转换为采用列存储格式的第二流数据之前，还包括：确定所述第一存储单元中存储的流数据达到存储量阈值。6.如权利要求5所述的方法，其特征在于，所述第一流数据为所述第一存储单元中不需要执行事务处理的主题所属的流数据。7.如权利要求2-6任一项所述的方法，其特征在于，还包括：当所述第一存储单元中存储的数据达到存储量阈值且所述第一存储单元中包括未完成事务处理的主题所属的流数据时，触发降低属于设定的主题的流数据的接收速率。8.如权利2-7任一项所述的方法，其特征在于，还包括：接收客户端读取请求，所述读取请求携带需读取的数据所需满足的至少一个属性；从所述第二存储单元预读满足所述至少一个属性的第三流数据至预读缓存；将所述第三流数据转换为采用行存储格式的第四流数据；从所述预读缓存中读取流数据，并向所述客户端发送从预读缓存读取的流数据。9.如权利要求8所述的方法，其特征在于，所述从所述第二存储单元读取满足所述至少一个属性的第三流数据至预读缓存，包括：根据第一元数据从所述第二存储单元中预读列属性与所述至少一个属性中任一属性匹配的列数据得到第三流数据，将所述第三流数据存储至预读缓存，所述第一元数据用于指示按列存储的流数据的每个列的列属性。10.如权利要求9所述的方法，其特征在于，所述将所述第三流数据转换为采用行存储格式的第四流数据，包括：在将所述第三流数据由列存储格式转换行存储格式的过程中，过滤掉每一列数据中不满足所述至少一个属性中任一属性的列数据所在行的行数据，得到所述第四流数据。11.一种流数据存储装置，其特征在于，包括：管理单元，用于接收采用行存储格式的第一流数据；
格式转换单元，用于将第一存储单元中的所述第一流数据转换为采用列存储格式的第二流数据。...

【专利技术属性】
技术研发人员：范振勇，张学，查伟，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：