视频数据分布式存储方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了一种视频数据分布式存储方法，包括：根据待存储的视频数据集获取满足预设条件的哈希函数集合；基于所需的准确率确定哈希表的第一个数；使用所述哈希函数集合分别通过每个哈希表确定将所述待存储的视频数据集中的每个视频数据映射到相应的哈希桶中的第二个数；连接所述第一个数和所述第二个数得到Row key值；根据所述Row key值创建HBase表；将所述待存储的视频数据集缓存至所述HBase表中。本发明专利技术还公开了一种视频数据分布式存储装置、计算机设备及存储介质。本发明专利技术能够将视频数据均匀的缓存在HBase表中，解决了数据倾斜的问题。

Video data distributed storage method, device, computer equipment and storage medium

The invention discloses a video data distributed storage method, which comprises: obtaining a hash function set meeting preset conditions according to the video data set to be stored; determining the first number of hash tables based on the required accuracy; using the hash function set to determine to map each video data in the video data set to be stored to the corresponding The second number in the hash bucket; connecting the first number and the second number to get the row key value; creating HBase table according to the row key value; caching the video data set to be stored into the HBase table. The invention also discloses a video data distributed storage device, a computer device and a storage medium. The invention can cache video data evenly in HBase table, and solves the problem of data skew.

【技术实现步骤摘要】
视频数据分布式存储方法、装置、计算机设备及存储介质
本专利技术涉及分布式存储
，尤其涉及一种视频数据分布式存储方法、装置、计算机设备及存储介质。
技术介绍
随着信息技术的飞速发展，需要存储的视频数据容量正在迅猛增长，存储系统的规模变得越来越庞大，目前单个计算机已经不能满足现状的需求。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可以搭建起大规模结构化存储集群，能够满足大型互联网应用的高并发、高可用、优质响应时间等需求。但是，HBase在创建表时没有提前进行预分区，创建的HBase表默认只有一个region，当大量连续的Rowkey集中写入某一个region中时，会造成集群中视频数据分布不均衡，从而产生热点问题，即大量的客户端会集中访问热点视频数据所在的节点。如此，又进一步导致热点视频数据所在的节点超出自身承受能力，引起性能下降甚至造成视频数据不可用。同时，集群中的其他节点无法服务其他视频数据请求，造成资源浪费。因此，有必要提供一种新的视频数据均匀缓存的方案，来解决HBase分布式存储系本文档来自技高网...

【技术保护点】
1.一种视频数据分布式存储方法，其特征在于，所述方法包括：/n根据待存储的视频数据集获取满足预设条件的哈希函数集合；/n基于所需的准确率确定哈希表的第一个数；/n使用所述哈希函数集合分别通过每个哈希表确定将所述待存储的视频数据集中的每个视频数据映射到相应的哈希桶中的第二个数；/n连接所述第一个数和所述第二个数得到Row key值；/n根据所述Row key值创建HBase表；/n将所述待存储的视频数据集缓存至所述HBase表中。/n

【技术特征摘要】
1.一种视频数据分布式存储方法，其特征在于，所述方法包括：
根据待存储的视频数据集获取满足预设条件的哈希函数集合；
基于所需的准确率确定哈希表的第一个数；
使用所述哈希函数集合分别通过每个哈希表确定将所述待存储的视频数据集中的每个视频数据映射到相应的哈希桶中的第二个数；
连接所述第一个数和所述第二个数得到Rowkey值；
根据所述Rowkey值创建HBase表；
将所述待存储的视频数据集缓存至所述HBase表中。


2.如权利要求1所述的方法，其特征在于，所述根据待存储的视频数据集获取满足预设条件的哈希函数集合包括：
获取多个原始哈希函数；
从所述待存储的视频数据集中获取由第一视频数据和第二视频数据组成的多个视频数据对，其中，所述第一视频数据和所述第二视频数据之间的相似度大于预设相似度阈值；
使用每个原始哈希函数计算所述视频数据对中的第一视频数据的第一哈希值及计算所述视频数据对中的第二视频数据的第二哈希值；
判断所述第一哈希值与所述第二哈希值之间的差值是否小于或者等于预设差值阈值；
当所述第一哈希值与所述第二哈希值之间的差值小于或者等于所述预设差值阈值时，将对应的所述原始哈希函数确定为满足条件的哈希函数；
将所有满足条件的哈希函数构建为哈希函数集合。


3.如权利要求1所述的方法，其特征在于，所述基于所需的准确率确定哈希表的第一个数包括：
从每个所述视频数据中随机抽取预设帧数的图像；
根据所述图像的特征将所述图像转换为二进制序列；
根据所述预设帧数的图像的二进制序列得到所述视频数据的数据序列；
采用预设概率计算模型计算任意两个视频数据映射到一个哈希桶内的概率及对应的参数值；
基于所需的准确率确定目标参数值，所述目标参数值为哈希表的第一个数。


4.如权利要求3所述的方法，其特征在于，所述预设概率计算模型为：
1-[1-(1-r/d)k]l
其中，d所述视频数据的数据序列的维度，r的取值范围为[1，d]，k为所述图像的特征的维度，l为所述参数值，大于0；
所述采用预设概率计算模型计算任意两个视频数据映射到一个哈希桶内的概率及对应的参数值包括：
在不同的r和l的基础上采用预设概率计算模型计算任意两个视频数据映射到一个哈希桶内的概率。


5.如权利要求4所述的方法，其特征在于，所述使用所述哈希函数集合分别通...

【专利技术属性】
技术研发人员：尚智，
申请(专利权)人：深圳市网心科技有限公司，
类型：发明
国别省市：广东;44