一种数据存储、更新和查询方法及装置制造方法及图纸

技术编号:19098579 阅读:46 留言:0更新日期:2018-10-03 02:40
本发明专利技术实施例提供了一种数据存储、更新和查询方法及装置,该数据存储方法中,构建多个数据子立方体,并将所构建的多个数据子立方体作为当前层的数据子立方体;判断当前层的数据子立方体是否满足预设合并条件;如果满足,根据第一预设合并规则,将当前层的数据子立方体合并为上一层数据子立方体;判断上一层数据子立方体是否满足预设合并条件;如果满足,将上一层数据子立方体作为当前层的数据子立方体,再执行根据第一预设合并规则,将当前层的数据子立方体合并为上一层数据子立方体的步骤;如果不满足,保存所构建的多层数据子立方体。通过更新历史数据对应的数据子立方体实现对已存储的历史数据进行更新。

【技术实现步骤摘要】
一种数据存储、更新和查询方法及装置
本专利技术涉及数据处理
,特别是涉及一种数据存储、更新和查询方法及装置。
技术介绍
在今天的大数据时代,对数据进行处理尤其重要,目前存在多种数据处理方法,而OLAP(OnlineAnalyticalProcessing,在线联机分析处理)是较为常用的一种提供决策服务的数据处理方法,常被应用于不同的大数据平台。其中,MOLAP(MultidimensionOnlineAnalyticalProcessing,多维联机分析处理)是OLAP进行数据处理的主要方式,由于MOLAP只用于存储历史数据,导致在历史数据出现变化时,MOLAP无法对历史数据进行更新。因此,基于现有的数据存储方法,无法对已存储的历史数据进行更新。
技术实现思路
本专利技术实施例的目的在于提供一种数据存储、更新和查询方法及装置,以实现对已存储的历史数据进行更新。具体技术方案如下:一种数据存储方法,应用于服务器,所述方法包括:构建多个数据子立方体,并将所构建的多个数据子立方体作为当前层的数据子立方体,其中,每个数据子立方体对应事实表中记录的一条信息;判断所述当前层的数据子立方体是否满足本文档来自技高网...

【技术保护点】
1.一种数据存储方法,其特征在于,应用于服务器,所述方法包括:构建多个数据子立方体,并将所构建的多个数据子立方体作为当前层的数据子立方体,其中,每个数据子立方体对应事实表中记录的一条信息;判断所述当前层的数据子立方体是否满足预设合并条件;如果满足所述预设合并条件,根据第一预设合并规则,将所述当前层的数据子立方体合并为当前层的上一层数据子立方体;判断所述上一层数据子立方体是否满足所述预设合并条件;如果满足所述预设合并条件,将所述上一层数据子立方体作为当前层的数据子立方体,再执行根据第一预设合并规则,将所述当前层的数据子立方体合并为当前层的上一层数据子立方体的步骤;如果不满足所述预设合并条件,保存...

【技术特征摘要】
1.一种数据存储方法,其特征在于,应用于服务器,所述方法包括:构建多个数据子立方体,并将所构建的多个数据子立方体作为当前层的数据子立方体,其中,每个数据子立方体对应事实表中记录的一条信息;判断所述当前层的数据子立方体是否满足预设合并条件;如果满足所述预设合并条件,根据第一预设合并规则,将所述当前层的数据子立方体合并为当前层的上一层数据子立方体;判断所述上一层数据子立方体是否满足所述预设合并条件;如果满足所述预设合并条件,将所述上一层数据子立方体作为当前层的数据子立方体,再执行根据第一预设合并规则,将所述当前层的数据子立方体合并为当前层的上一层数据子立方体的步骤;如果不满足所述预设合并条件,保存所构建的多层数据子立方体。2.根据权利要求1所述的方法,其特征在于,所述服务器中预先存储有第一预设对应关系和第二预设对应关系,所述第一预设对应关系为维度属性与标识信息的对应关系,所述第二预设对应关系为关键词与标识信息的对应关系;所述构建多个数据子立方体的步骤,包括:针对事实表中记录的每条信息,构建每条信息对应的数据子立方体,其中,构建一条信息对应的数据子立方体的过程为:针对事实表中记录的一条信息,识别该条信息中记录的每个维度属性;根据所述第一预设对应关系,确定每个维度属性对应的标识信息,并将所确定的标识信息作为第一标识信息;并根据该条信息每个维度属性对应的每个关键词,及所述第二预设对应关系,确定每个关键词对应的标识信息,并将所确定的标识信息作为第二标识信息;根据第二预设合并规则,将所述第一标识信息及所述第二标识信息合并为键值;根据该条信息中包含的数据,确定每个键值对应的数据,并将所述键值与所述数据的对应关系作为数据子立方体。3.根据权利要求1所述的方法,其特征在于,所述方法还包括:判断事实表中是否存在新信息,如果存在,再构建多个数据子立方体,将所构建的多个数据子立方体作为当前层的数据子立方体,其中,每个数据子立方体对应事实表中记录的一条新信息,并执行所述判断所述当前层的数据子立方体是否满足预设合并条件的步骤。4.根据权利要求1所述的方法,其特征在于,所述预设合并条件为数据子立方体的数量达到预设数量值。5.一种数据更新方法,其特征在于,应用于服务器,所述方法包括:获得事实表中记录的待更新信息;在预先保存的各层数据子立方体中,确定与所述待更新信息对应的待更新数据子立方体;根据所述待更新信息对所述待更新数据子立方体进行数据更新;其中,预先保存各层数据子立方体的过程为:构建多个数据子立方体,并将所构建的多个数据子立方体作为当前层的数据子立方体,其中,每个数据子立方体对应事实表中记录的一条信息;判断所述当前层的数据子立方体是否满足预设合并条件;如果满足所述预设合并条件,根据第一预设合并规则,将所述当前层的数据子立方体合并为当前层的上一层数据子立方体;判断所述上一层数据子立方体是否满足所述预设合并条件;如果满足所述预设合并条件,将所述上一层数据子立方体作为当前层的数据子立方体,再执行根据第一预设合并规则,将所述当前层的数据子立方体合并为当前层的上一层数据子立方体的步骤;如果不满足所述预设合并条件,保存所构建的多层数据子立方体。6.根据权利要求5所述的方法,其特征在于,所述根据所述待更新信息对所述待更新数据子立方体进行数据更新的步骤,包括:确定所述待更新信息的数据量;判断所述待更新信息的数据量是否大于预设阈值;如果大于预设阈值,保存所述待更新信息,并在预设时间段内通过所保存的待更新信息对所述待更新数据子立方体进行数据更新;如果未大于预设阈值,立即通过所述待更新信息对所述待更新数据子立方体进行数据更新。7.一种数据查询方法,其特征在于,应用于服务器,所述方法包括:接收数据查询请求,所述数据查询请求包括至少一个关键词;根据所述至少一个关键词,得到所述数据查询请求对应的至少一个目标键值;基于所述目标键值,遍历预先保存的各层数据子立方体,获取目标数据;其中,预先保存各层数据子立方体的过程为:构建多个数据子立方体,并将所构建的多个数据子立方体作为当前层的数据子立方体,其中,每个数据子立方体对应事实表中记录的一条信息且每个数据子立方体中包含键值与数据的对应关系;判断所述当前层的数据子立方体是否满足预设合并条件;如果满足所述预设合并条件,根据第一预设合并规则,将所述当前层的数据子立方体合并为当前层的上一层数据子立方体;判断所述上一层数据子立方体是否满足所述预设合并条件;如果满足所述预设合并条件,将所述上一层数据子立方体作为当前层的数据子立方体,再执行根据第一预设合并规则,将所述当前层的数据子立方体合并为当前层的上一层数据子立方体的步骤;如果不满足所述预设合并条件,保存所构建的多层数据子立方体。8.根据权利要求7所述的方法,其特征在于,所述服务器中预先存储有第一预设对应关系和第二预设对应关系,所述第一预设对应关系为维度属性与标识信息的对应关系,所述第二预设对应关系为关键词与标识信息的对应关系;所述根据所述至少一个关键词,得到所述数据查询请求对应的至少一个目标键值的步骤,包括:确定各关键词的维度属性,并根据所述第一预设对应关系及所述第二预设对应关系,确定所述各关键词对应的第三标识信息及各维度属性对应的第四标识信息;根据第三预设合并规则,将所述第三标识信息及所述第四标识信息合并为至少一个目标键值。9.根据权利要求8所述的方法,其特征在于,所述根据第三预设合并规则,将所述第三标识信息及第四标识信息合并为至少一个目标键值的步骤,包括:判断各关键词之间的关系;如果各个关键词之间是与的关系时,根据所述各个关键词对应的维度属性,维度属性的排列顺序,以及每个标识信息对应的位置,将所述第三标识信息及所述第四标识信息合并为至少一个目标键值;如果各个关键词之间是或的关系时,针对每个关键词,根据该关键词对应的维度属性,以及每个标识信息对应的位置,将所述第三标识信息及所述第四标识信息合并为至少一个目标键值。10.根据权利要求6所述的方法,其特征在于,所述基于所述目标键值,遍历预先保存的各层数据子立方体,获取目标数据的步骤,包括:确定所遍历的各层数据子立方体中使用状态为可用的数据子立方体;查询所述使用状态为可用的数据子立方体,获取与所述目标键值对应的数据;根据第四预设合并规则,将获得的数据合并为目标数据。...

【专利技术属性】
技术研发人员:陈国栋管国辰郭峰席大超
申请(专利权)人:杭州海康威视数字技术股份有限公司
类型:发明
国别省市:浙江,33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1