一种分布式存储磁盘分组方法、系统、计算机及存储介质技术方案

本发明专利技术提供一种分布式存储磁盘分组方法、系统、计算机及存储介质，方法包括：当接收到视频对象时，将视频对象切分为若干个重要数据；对机动组内的磁盘进行初步过滤，以获取若干个待选磁盘；以待选磁盘所属的上位机为区隔条件将若干个待选磁盘分隔为若干个初选队列；通过上位机的IP负载对初选队列进行队列优先排序，通过待选磁盘的能力值，对初选队列内的待选磁盘进行磁盘优先排序；基于重要数据的数量、队列优先排序及磁盘优先排序，自不同的初选队列中提取最大容量相同的待选磁盘，以获取存储磁盘组。通过IP负载对初选队列进行排序，规避上位机负载过高的情况，通过磁盘排序保障视频对象循环写入的均衡性，确保磁盘容量的最大化应用。用。用。

【技术实现步骤摘要】
一种分布式存储磁盘分组方法、系统、计算机及存储介质


[0001]本申请涉及数据处理
，特别是涉及一种分布式存储磁盘分组方法、系统、计算机及存储介质。

技术介绍

[0002]随着AI、大数据、云计算等技术的发展，智能视频云的使用已逐渐成熟，智能视频云是基于云计算技术的理念，采用视频作为“云端”向“终端”呈现处理结果的一种云计算方案，其主要的功能有视频储存、视频处理、视频直播、内容分发等。
[0003]智能视频云最核心的视频存储，其需要大量的磁盘服务器硬件资源构建一个分布式的存储集群来做技术支撑。分布式存储一般都是采用纠删编码，即一个视频对象切成大小相同的若干份重要数据，然后将每份数据分别发送到一个磁盘组下的不同的磁盘中。
[0004]现有的磁盘分组方式，一般随机将最大容量不同的磁盘混合分组至同一存储磁盘组下使用，这将导致该存储磁盘组在视频写入的过程中，最大容量较大的磁盘内的剩余空间被浪费，难以保证容量的最大化利用，且随机混合磁盘的方式，也将导致在视频对象写入磁盘的过程中，不同磁盘所归属的上位机的负载难以平衡，进而使不同磁盘的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式存储磁盘分组方法，其特征在于，包括以下步骤：当接收到视频对象时，将所述视频对象切分为若干个重要数据；对机动组内的磁盘进行初步过滤，以获取若干个待选磁盘；以所述待选磁盘所属的上位机为区隔条件，将若干个所述待选磁盘分隔为若干个初选队列；通过所述上位机的IP负载对所述初选队列进行队列优先排序，并通过所述待选磁盘的能力值，对所述初选队列内的所述待选磁盘进行磁盘优先排序；基于所述重要数据的数量、所述队列优先排序及所述磁盘优先排序，自不同的所述初选队列中提取最大容量相同的所述待选磁盘，以获取存储磁盘组。2.根据权利要求1所述的分布式存储磁盘分组方法，其特征在于，所述对机动组内的磁盘进行初步过滤，以获取若干个待选磁盘的步骤包括：提取机动组内可使用的磁盘，以获取若干个初选磁盘；基于所述初选磁盘的能力值及存储周期对若干个所述初选磁盘进行过滤，以获取若干个待选磁盘。3.根据权利要求1所述的分布式存储磁盘分组方法，其特征在于，所述待选磁盘的能力值的计算公式为：，其中，表示待选磁盘的能力值，表示待选磁盘的最大容量，表示待选磁盘的已用容量。4.根据权利要求1所述的分布式存储磁盘分组方法，其特征在于，所述通过所述上位机的IP负载对所述初选队列进行优先值排序的具体步骤包括：通过待选磁盘的写入速度计算所述待选磁盘的磁盘负载；统计同一所述上位机下的所述待选磁盘的磁盘负载，以获取所述上位机的IP负载，基于不同的所述IP负载对所述初选队列进行优先排序。5.根据权利要求1所述的分布式存储磁盘分组方法，其特征在于，所述基于所述重要数据的数量、所述队列优先排序及所述磁盘优先排序，自不同的所述初选队列中提取最大容量相同的所述待选磁盘，以获取存储磁盘组的步骤包括：若所述初选队列的数量大于或等于所述重要数据的数量，则基于所述队列优先排序，提取与所述重要数据的数量对应的所述初选队列为候选队列;基于所述磁盘优先排序，自不同的所述候选队列中分别提取最大容量相同的所述待选磁盘为第一候选磁盘；组合若干个所述第一候选磁盘为存储磁盘组。6.根据权利要求1所述的分布式存储磁盘分组方法，其特征在于，所述基于所述重要数据的数量、所述队列优先排序及所述磁盘优先排序，自不同的所述初选队列中提取最大容量相同的所述待选磁盘，以获取存储磁盘组的步...

【专利技术属性】
技术研发人员：苏伟，唐涛，黄东业，周圆，朱杰，
申请(专利权)人：江西云眼视界科技股份有限公司，
类型：发明
国别省市：