一种数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种数据处理方法及装置，包括：获取待处理数据；基于第一模型从各归置组中确定与待处理数据映射的第一归置组；其中，任一归置组具有归置组与存储介质之间的映射关系；任一归置组的映射关系是基于第二模型以及各存储介质的状态信息周期性确定的；根据第一归置组的映射关系，从各存储介质中确定第一存储介质；将待处理数据映射至第一存储介质。基于第一模型降低随机因素，实现高频小数据量的数据分布；基于第二模型，通过低频大数据量的调整方式实现更新归置组的映射关系，进而提高数据处理的均衡性、灵活性及效率。灵活性及效率。灵活性及效率。

【技术实现步骤摘要】
一种数据处理方法及装置


[0001]本专利技术涉及数据处理
，尤其涉及一种数据处理方法及装置。

技术介绍

[0002]随着计算机网络技术的发展，数据量在逐渐的增加。为了更好的管理数据，需要将数据存储至物理硬盘、分布式数据库、云服务器等存储介质中。
[0003]目前，数据处理的方式一般是通过预设算法计算待存储数据，得到计算结果；根据计算结果确定目标归置组，进而将待存储数据映射至目标归置组；然后根据目标归置组的映射规则，确定出目标存储介质，进而将待存储数据映射到目标存储介质。
[0004]在上述方法中，根据预设算法得到的计算结果具有随机因素；例如预设算法为求余算法，导致多个待存储数据的计算结果相同；再如不同的计算结果指向相同的归置组；进而使得多个数据会指向同一个归置组，造成数据分配不均衡，导致数据处理不均衡。根据归置组的映射规则确定目标存储介质的方式灵活性较差，无法灵活的更新归置组的映射规则，使得存储介质的负载均衡性较差，存储介质处理数据的均衡性差，进而影响数据处理的效率。

技术实现思路

[0005]本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：获取待处理数据；基于第一模型从各归置组中确定与所述待处理数据映射的第一归置组；任一归置组具有所述归置组与存储介质之间的映射关系；任一归置组的映射关系是基于第二模型以及各存储介质的状态信息周期性确定的；根据所述第一归置组的映射关系，从所述各存储介质中确定第一存储介质；将所述待处理数据映射至所述第一存储介质。2.如权利要求1所述的方法，其特征在于，所述方法还包括：采集当前时刻的各存储介质的状态信息；将所述当前时刻的各存储介质的状态信息输入所述第二模型，得到所述各归置组的更新概率、所述各存储介质的映射概率以及迁移概率；根据所述各归置组的更新概率、所述各存储介质的映射概率以及所述迁移概率更新归置组的映射关系。3.如权利要求2所述的方法，其特征在于，根据所述各归置组的更新概率、所述各存储介质的映射概率以及所述迁移概率更新归置组的映射关系，包括：在所述迁移概率大于迁移阈值时，根据所述各归置组的更新概率确定第二归置组；根据所述各存储介质的映射概率更新所述第二归置组的映射关系。4.如权利要求3所述的方法，其特征在于，根据所述各归置组的更新概率确定第二归置组，包括：将所述更新概率最大的归置组确定为第二归置组；根据所述各存储介质的映射概率更新所述第二归置组的映射关系，包括：按照从小到大的规则，根据所述各存储介质的映射概率确定第二存储介质；根据所述第二存储介质确定所述第二归置组更新后的映射关系。5.一种数据处理装置，其特征在于，包括：获取模块，用于获取待处理数据；处理模块，用于基于第一模型从各归置组中确定与所述待处理数据映射的第...

【专利技术属性】
技术研发人员：卫宣光，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：