一种数据处理方法和装置制造方法及图纸

本发明专利技术公开了一种数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取待处理数据；基于预设映射关系，生成所述待处理数据对应的树，所述树的父节点对应的数据可由所述父节点的子节点对应的数据计算得到；存储所述树的所有叶子节点对应的数据，响应于针对所述待处理数据的数据调用请求，根据所存储的叶子节点的数据生成所述待处理数据和/或所述父节点的数据。该实施方式降低了待处理数据的存储空间，提高了存储资源的利用率。

【技术实现步骤摘要】
一种数据处理方法和装置
本专利技术涉及计算机
，尤其涉及一种数据处理方法和装置。
技术介绍
为及时识别、解决服务器出现的问题以保证服务器的正常运行，常需要对服务器进行监控，即通过各种方式记录或存储服务器的运行数据，以在需要时随时调用运行数据进行查看。由于服务器运算速度较快，为对服务器进行全面、实时监控，常以秒等为间隔采集服务器的运行数据，如内存利用率、磁盘利用率等，因而随着监控时间的延长，所采集的运行数据的数量呈爆发式增长，需要占用巨大的存储空间，在一定程度上降低了服务器资源的利用率。
技术实现思路
有鉴于此，本专利技术实施例提供了一种数据处理方法和装置，能够对所采集的海量的服务器运行数据进行压缩，节约数据的存储空间。为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据处理方法，包括：获取待处理数据；基于预设映射关系，生成所述待处理数据对应的树，所述树的父节点对应的数据可由所述父节点的子节点对应的数据计算得到；存储所述树的所有叶子节点对应的数据；响应于针对所述待处理数据的数据调用请求，根据所存储的叶子节点的数据生成所述待处理数据和/或所述父节点的数据。可选地，所述基于预设映射关系，生成所述待处理数据对应的树，包括：基于预设映射关系，生成所述待处理数据对应的第一类数据、第二类数据；根据所述第一类数据、所述第二类数据，为指示了所述待处理数据的根节点生成对应的子节点；对于指示了所述第一类数据的子节点，继续基于所述预设映射关系，迭代生成所述子节点对应的子节点。可选地，所述基于预设映射关系，生成所述待处理数据对应的第一类数据、第二类数据，包括：按照所述待处理数据中原始数据的顺序，将所述原始数据划分为原始数据对；计算所述原始数据对中两个原始数据的均和值，以生成所述第一类数据；计算所述原始数据对中两个原始数据的均差值，以生成所述第二类数据。可选地，所述根据所述第一类数据、所述第二类数据，为指示了所述待处理数据的根节点生成对应的子节点，包括：根据所述待处理数据中原始数据的出现频率，构建所述待处理数据对应的频率直方图；根据所述频率直方图确定所述第二类数据对应的一个或多个阈值，以根据所述一个或多个阈值对所述第二类数据进行处理；根据所述第一类数据及处理后的所述第二类数据，分别生成所述根节点对应的子节点。可选地，所述根据所述频率直方图确定所述第二类数据对应的一个或多个阈值，以根据所述一个或多个阈值对所述第二类数据进行处理，包括：根据所述频率直方图确定所述第二类数据对应第一阈值、第二阈值；其中，所述第一阈值指示了原始数据最小值的一半，所述第二阈值指示了所述原始数据的出现频率的最小值；在所述第二类数据小于所述第一阈值，且所述第二类数据的出现频率小于所述第二阈值的情况下，将所述第二类数据置换为零。可选地，在继续基于所述预设映射关系，迭代生成所述子节点对应的子节点之前，还包括：获取所述树的当前树深度或所述第一类数据对应的数据量，以在所述当前树深度不大于阈值树深度或所述第一类数据对应的数据量大于阈值数量的情况下，继续基于所述预设映射关系，迭代生成所述子节点对应的子节点。可选地，采用线性表分区存储所述树的所有叶子节点对应的数据。可选地，在所述线性表中采用二元组存储所述叶子结点对应的数据，且所述二元组中的第一个元素指示了在所述数据中出现的数值，所述二元组中的第二个元素指示了所述数值在所述数据中连续出现的次数。可选地，所述待处理数据对应的树为不平衡二叉树。为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据处理装置，包括：数据获取模块、树生成模块、数据存储模块、数据响应模块；其中，所述的数据获取模块，用于获取待处理数据；所述树生成模块，用于基于预设映射关系，生成所述待处理数据对应的树，所述树的父节点对应的数据可由所述父节点的子节点对应的数据计算得到；所述数据存储模块，用于存储所述树的所有叶子节点对应的数据；所述数据响应模块，用于响应于针对所述待处理数据的数据调用请求的情况下，根据所存储的叶子节点的数据生成所述待处理数据和/或所述父节点的数据。可选地，所述基于预设映射关系，生成所述待处理数据对应的树，包括：基于预设映射关系，生成所述待处理数据对应的第一类数据、第二类数据；根据所述第一类数据、所述第二类数据，为指示了所述待处理数据的根节点生成对应的子节点；对于指示了所述第一类数据的子节点，继续基于所述预设映射关系，迭代生成所述子节点对应的子节点。可选地，所述基于预设映射关系，生成所述待处理数据对应的第一类数据、第二类数据，包括：按照所述待处理数据中原始数据的顺序，将所述原始数据划分为原始数据对；计算所述原始数据对中两个原始数据的均和值，以生成所述第一类数据；计算所述原始数据对中两个原始数据的均差值，以生成所述第二类数据。可选地，所述根据所述第一类数据、所述第二类数据，为指示了所述待处理数据的根节点生成对应的子节点，包括：根据所述待处理数据中原始数据的出现频率，构建所述待处理数据对应的频率直方图；根据所述频率直方图确定所述第二类数据对应的一个或多个阈值，以根据所述一个或多个阈值对所述第二类数据进行处理；根据所述第一类数据及处理后的所述第二类数据，分别生成所述根节点对应的子节点。可选地，所述根据所述频率直方图确定所述第二类数据对应的一个或多个阈值，以根据所述一个或多个阈值对所述第二类数据进行处理，包括：根据所述频率直方图确定所述第二类数据对应第一阈值、第二阈值；其中，所述第一阈值指示了原始数据最小值的一半，所述第二阈值指示了所述原始数据的出现频率的最小值；在所述第二类数据小于所述第一阈值，且所述第二类数据的出现频率小于所述第二阈值的情况下，将所述第二类数据置换为零。可选地，在继续基于所述预设映射关系，迭代生成所述子节点对应的子节点之前，所述树生成模块，还用于：获取所述树的当前树深度或所述第一类数据对应的数据量，以在所述当前树深度不大于阈值树深度或所述第一类数据对应的数据量大于阈值数量的情况下，继续基于所述预设映射关系，迭代生成所述子节点对应的子节点。可选地，所述数据存储模块，用于采用线性表分区存储所述树的所有叶子节点对应的数据。可选地，所述数据存储模块，用于在所述线性表中采用二元组存储所述叶子结点对应的数据，且所述二元组中的第一个元素指示了在所述数据中出现的数值，所述二元组中的第二个元素指示了所述数值在所述数据中连续出现的次数。可选地，所述待处理数据对应的树为不平衡二叉树。为实现上述目的，根据本专利技术实施例的一个方面，提供了一种用于数据处理的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取待处理数据；/n基于预设映射关系，生成所述待处理数据对应的树，所述树的父节点对应的数据可由所述父节点的子节点对应的数据计算得到；/n存储所述树的所有叶子节点对应的数据；/n响应于针对所述待处理数据的数据调用请求，根据所存储的叶子节点的数据生成所述待处理数据和/或所述父节点的数据。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取待处理数据；
基于预设映射关系，生成所述待处理数据对应的树，所述树的父节点对应的数据可由所述父节点的子节点对应的数据计算得到；
存储所述树的所有叶子节点对应的数据；
响应于针对所述待处理数据的数据调用请求，根据所存储的叶子节点的数据生成所述待处理数据和/或所述父节点的数据。


2.根据权利要求1所述的数据处理方法，其特征在于，所述基于预设映射关系，生成所述待处理数据对应的树，包括：
基于预设映射关系，生成所述待处理数据对应的第一类数据、第二类数据；
根据所述第一类数据、所述第二类数据，为指示了所述待处理数据的根节点生成对应的子节点；
对于指示了所述第一类数据的子节点，继续基于所述预设映射关系，迭代生成所述子节点对应的子节点。


3.根据权利要求2所述的数据处理方法，其特征在于，所述基于预设映射关系，生成所述待处理数据对应的第一类数据、第二类数据，包括：
按照所述待处理数据中原始数据的顺序，将所述原始数据划分为原始数据对；
计算所述原始数据对中两个原始数据的均和值，以生成所述第一类数据；
计算所述原始数据对中两个原始数据的均差值，以生成所述第二类数据。


4.根据权利要求3所述的数据处理方法，其特征在于，所述根据所述第一类数据、所述第二类数据，为指示了所述待处理数据的根节点生成对应的子节点，包括：
根据所述待处理数据中原始数据的出现频率，构建所述待处理数据对应的频率直方图；
根据所述频率直方图确定所述第二类数据对应的一个或多个阈值，以根据所述一个或多个阈值对所述第二类数据进行处理；
根据所述第一类数据及处理后的所述第二类数据，分别生成所述根节点对应的子节点。


5.根据权利要求4所述的数据处理方法，其特征在于，所述根据所述频率直方图确定所述第二类数据对应的一个或多个阈值，以根据所述一个或多个阈值对所述第二类数据进行处理，包括：
根据所述频率直方图确定所述第二类数据对应第一阈值、第二阈值；其中，所述第一阈值指示了原始数据最小值的一半，所述第二阈值指示了所述原始数据的出现频率的最小值；
在所述第二类数据小于所述第一阈值，且所述第二类数据的出现频率小于所述第二阈值的情况下，将所述第二类数据置换为零。


6.根据权利要求2所述的数据处理方法，其特征在于，在继续基于所述预设映射关系，迭代生成所述子节点对应的子节点之前，还包括：
获取所述树的当前树深度或所述第一类数据对应的数据量，以在所述当前树深度不大于阈值树深度或所述第一类数据对应的数据量大于阈值数量的情况下，继续基于所述预设映射关系，迭代生成所述子节点对应的子节点。


7.根据权利要求1所述的数据处理方法，其特征在于，
采用线性表分区存储所述树的所有叶子节点对应的数据。


8.根据权利要求7所述的数据处理方法，其特征在于，
在所述线性表中采用二元组存储所述叶子结点对应的数据，且所述二元组中的第一个元素指示了在所述数据中出现的数值，所述二元组中的第二个元素指示了所述数值在所述数据中连续出现的次数。


9.根据权利要求1所述的数据处理方法，其特征在于，所述待处理数据对应的树为不平衡二叉树。


10.一种数据处理装置，其特征在于，包括：数据获取模块、树生成模块、数据存储模块、数据响应模块；其中，
所述的数据获取模块，用于获取待处理数据；
所述树生成模块，用于基于预设映射关系，生成所述待处理数据对应的树，所述树的父节点对应的数据可由所述父节点的子节点对应的数据计算得到；
所述数据存储模块，...

【专利技术属性】
技术研发人员：樊宇，
申请(专利权)人：北京京东振世信息技术有限公司，
类型：发明
国别省市：北京;11