【技术实现步骤摘要】
本申请涉及数据存储，尤其涉及一种数据合并调度方法、设备及存储介质。
技术介绍
1、类lsm（log-structured merge trees，日志结构合并树，简称lsm树）架构的数据库通过追加写入和定期合并操作优化查询性能，依赖数据合并任务清理存储空洞、降低文件重叠度以维持数据有序性。现有的合并调度技术普遍采用固定阈值触发策略或人工干预机制，通过直方图统计文件重叠情况（如点深度pd的离散区间分布）。
2、然而，该方案在面向htap（混合事务/分析处理）场景时面临显著缺陷：
3、维护自动化不足：传统方法需数据库管理员频繁手动识别合并时机并触发任务，尤其在事务处理（tp）负载持续写入小文件时，运维负担剧增；
4、htap场景适配薄弱：tp数据的频繁随机更新导致数据分布快速劣化（空洞率与重叠度激增），同时低密度数据流入下层引发连锁合并（瀑布效应），造成过量输入输出（io）放大；
5、数据分布表征低效：现有直方图需至少16个参数描述文件重叠状态，参数冗余且无法还原分布形态特征（如峰值位置、波动...
【技术保护点】
1.一种数据合并调度方法，其特征在于，所述数据合并调度方法包括：
2.如权利要求1所述的数据合并调度方法，其特征在于，所述待执行表的调度信息包括：待执行表的优先队列、新增数据文件和固定心跳；所述监听待执行表的调度信息，基于所述调度信息选取目标待执行表的步骤包括：
3.如权利要求1所述的数据合并调度方法，其特征在于，所述分析所述目标待执行表的数据分布状态，基于所述数据分布状态进行层级切分，触发合并任务的步骤包括：
4.如权利要求3所述的数据合并调度方法，其特征在于，所述分析所述目标待执行表的数据分布状态，基于所述数据分布状态进行层级切...
【技术特征摘要】
1.一种数据合并调度方法，其特征在于，所述数据合并调度方法包括：
2.如权利要求1所述的数据合并调度方法，其特征在于，所述待执行表的调度信息包括：待执行表的优先队列、新增数据文件和固定心跳；所述监听待执行表的调度信息，基于所述调度信息选取目标待执行表的步骤包括：
3.如权利要求1所述的数据合并调度方法，其特征在于，所述分析所述目标待执行表的数据分布状态，基于所述数据分布状态进行层级切分，触发合并任务的步骤包括：
4.如权利要求3所述的数据合并调度方法，其特征在于，所述分析所述目标待执行表的数据分布状态，基于所述数据分布状态进行层级切分，触发合并任务的步骤还包括：
5.如权利要求4所述的数据合并调度方法，其特征在于，所述若存在跨距分组文件数大于或等于目标阈值，则生成复合层合并任务的步骤包括：
6.如权利要求5所述的数据合并调度方法，其特征在于，所述若存在...
【专利技术属性】
技术研发人员：韩枫，徐鹏，
申请(专利权)人：矩阵起源深圳信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。