基于分段函数拟合的单调有序数据处理方法及相关设备技术

本公开提供一种基于分段函数拟合的单调有序数据处理方法及相关设备，获取目标单调有序数据集；遍历所述目标单调有序数据集，将所述目标单调有序数据集划分为多个数据段；利用线性函数和二阶多项式函数将所有所述数据段分别拟合为函数模型；将所有所述函数模型汇总，得到所述目标单调有序数据集对应的函数模型集合，以降低处理器处理所述目标单调有序数据集所需的算力。本公开利用线性函数和二阶多项式函数根据目标单调有序数据集的数据分布特征进行拟合，效率高，拟合误差小。拟合误差小。拟合误差小。

【技术实现步骤摘要】
基于分段函数拟合的单调有序数据处理方法及相关设备


[0001]本公开涉及电子数字数据处理
，尤其涉及一种基于分段函数拟合的单调有序数据处理方法及相关设备。

技术介绍

[0002]索引是数据库系统中用于提升数据存取性能的主要技术之一，在大数据时代，随着数据量的不断增长，传统索引的问题日益突出，人工智能与数据库领域的结合催生了“学习索引”这一新的方向。
[0003]学习索引利用机器学习技术学习数据分布和查询负载特征，并用基于数据分布拟合函数的直接式查找代替传统的间接式索引查找，从而降低了索引的空间代价并提升了查询性能。
[0004]数据有序化是学习索引的第一步。学习索引通过学习有序数据集的数据分布规律将数据点与分布位置相关联并建立模型，通过模型快速的实现数据检索以减少不必要的间接查询。因此，如何快速有效的构建有序数据集的数据分布模型是学习索引的关键。
[0005]目前在学习索引中对有序数据集的建模一般有神经网络模型、线性回归模型和逻辑回归模型等。然而，神经网络模型、线性回归模型和逻辑回归模型等消耗的计算资源较多，具有较本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分段函数拟合的单调有序数据处理方法，包括：获取目标单调有序数据集；遍历所述目标单调有序数据集，将所述目标单调有序数据集划分为多个数据段；利用线性函数和二阶多项式函数将所有所述数据段分别拟合为函数模型；将所有所述函数模型汇总，得到所述目标单调有序数据集对应的函数模型集合，以降低处理器处理所述目标单调有序数据集所需的算力。2.根据权利要求1所述的方法，其中，所述遍历所述目标单调有序数据集，将所述目标单调有序数据集划分为多个数据段，包括：将所述目标单调有序数据集中的第一个数据点和第二个数据点分别作为初始数据段的左端点数据点和右端点数据点，并利用可行空间窗算法计算所述初始数据段的可行区间；将所述目标单调有序数据集中的第一个数据点作为备选第一数据段的左端点数据点，将所述目标单调有序数据集中的其他数据点依次作为所述备选第一数据段的右端点数据点以得到所述备选第一数据段，利用可行空间窗算法和可行系数空间算法，验证所述备选第一数据段，直到确定第一数据段；将所述目标单调有序数据集中所述第一数据段的右端点数据点对应的数据点的下一个数据点作为第二数据段的左端点数据点，并进一步确定所述第二数据段；遍历所述目标单调有序数据集，直到将所述目标单调有序数据集划分为多个所述数据段。3.根据权利要求2所述的方法，其中，所述利用可行空间窗算法和可行系数空间算法，验证所述备选第一数据段，直到确定第一数据段，包括：利用可行空间窗算法计算所述备选第一数据段的第一可行区间；响应于确定所述备选第一数据段的第一可行区间与所述初始数据段的可行区间不存在交集，利用可行系数空间算法计算所述备选第一数据段的第二可行区间，并进一步确定所述备选第一数据段的第二可行区间与所述初始数据段的可行区间是否存在交集；响应于确定所述备选第一数据段的第二可行区间与所述初始数据段的可行区间不存在交集，确定所述目标单调有序数据集中所述备选第一数据段的右端点数据点对应的数据点的前一个数据点为所述第一数据段的右端点数据点。4.根据权利要求3所述的方...

【专利技术属性】
技术研发人员：崔栋，张华，温巧燕，李文敏，王华伟，涂腾飞，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：