一种静默化数据处理方法及处理系统技术方案

本发明专利技术实施例公开了一种静默化数据处理方法及处理系统包括步骤S1、识别静默化数据；步骤S2、对静默化数据进行分词处理，得到索引信息，建立索引信息与信息坐标之间的信息对；步骤S3、将信息对转换为倒排索引，得到倒排索引信息；步骤S4、根据倒排索引信息中的索引信息构建前缀树，最后将前缀树存入索引数据库内。本发明专利技术实施例所述的静默化数据处理方法及处理系统增加了用于储存冷数据、长期固化数据的数据结转库，设置静默化规则，以识别冷数据，将满足静默化规则的数据存入数据结转库中，从而分担业务数据库的压力，实现数据分流，提高查询业务数据的效率，实现业务数据库的轻量运行，高效处理增删改查等各类用户操作。高效处理增删改查等各类用户操作。高效处理增删改查等各类用户操作。

【技术实现步骤摘要】
一种静默化数据处理方法及处理系统


[0001]本专利技术实施例涉及数据处理
，具体涉及一种静默化数据处理方法及处理系统。

技术介绍

[0002]随着时间的推移，结构化数据库中积存大量历史数据，这类历史数据中大部分数据是属于热度低的历史数据，不会再进行修改、编辑等，但这类数据还需要提供备查功能，当数据储存量超过一定年限，比如10年，查询数据时会出现很严重的卡顿问题，严重降低查询效率，而且还会占用大量的系统资源。在这样的情况下，低热度的静默化历史数据影响热数据、新数据的增、删、改、查的效率，针对这种情况需要一种解决办法。

技术实现思路

[0003]为此，本专利技术实施例提供一种静默化数据处理方法及处理系统，以解决现有技术中由于历史数据占用常规数据库空间而导致的影响热数据、新数据的增删改查效率的问题。
[0004]为了实现上述目的，本专利技术实施例提供如下技术方案：一种静默化数据处理方法，包括以下步骤：步骤S1、识别数据库中处于静默化状态的数据，得到静默化数据；步骤S2、对静默化数据进行分词处理，得到索引信息，建立索引信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种静默化数据处理方法，其特征在于，包括以下步骤：步骤S1、识别数据库中处于静默化状态的数据，得到静默化数据；步骤S2、对静默化数据进行分词处理，得到索引信息，建立索引信息与静默化数据所在信息的信息坐标之间的信息对；步骤S3、将所述信息对转换为倒排索引，得到倒排索引信息；步骤S4、根据倒排索引信息中的索引信息构建前缀树，所述倒排索引信息的信息坐标设在所述索引信息位于前缀树中两位最小单位信息之间的键中，若在前缀树的相同层级中出现至少两个相同的索引信息，则将至少两个相同的索引信息的节点合并为共用节点，最后将前缀树存入索引数据库内。2.根据权利要求1所述的一种静默化数据处理方法，其特征在于：所述静默化数据的识别方法包括时间筛选与条件筛选；所述时间筛选内设有筛选时间，设置筛选时间后，数据的存储时间位于筛选时间之前的数据均为静默化数据；所述条件筛选内设有筛选条件，设置筛选条件后，若已储存的数据满足筛选条件，则该数据为静默化数据。3.根据权利要求1所述的一种静默化数据处理方法，其特征在于，所述信息对的建立方法包括：为经过分词处理后的索引信息添加其对应的静默化数据的信息坐标，得到单坐标信息对；将具有相同索引信息的单坐标信息对合并，合并方法为索引信息不变，多个单坐标信息对的信息坐标合并，得到一个具有单索引信息多信息坐标的信息对。4.根据权利要求1所述的一种静默化数据处理方法，其特征在于，所述倒排索引的转换方法为将信息对中的信息坐标与索引信息转换位置。5.根据权利要求1所述的一种静默化数据处理方法，其特征在于：所述前缀树的构建方法为将倒排索引信息中的索引信息拆分为有序排列的最小单位信息，然后根据最小单位信息的排列顺序依次设置在前缀树中的不同层级的节点中，所述前缀树的第一层级节点设为前缀树的属性节点，所述前缀树的第二层级节点设为首位最小单位信息的节点，最小单位信息的排序每靠后一位，则其在前缀树中的节点至少向下移动一个层级，若不同索引信息中出现相同层级且相同最小单位信息时，则将两个最小...

【专利技术属性】
技术研发人员：王洪哲，叶海峰，蔡静静，李静波，乌力吉德力格尔，武栋梁，毕智超，曲金凤，
申请(专利权)人：北京有生博大软件股份有限公司，
类型：发明
国别省市：