一种数据存储方法、系统、计算机设备及存储介质技术方案

本发明专利技术涉及存储技术领域，并具体公开了一种数据存储方法、系统、计算机设备及存储介质，方法包括：按预设条件开启集群中节点的计时器；监测所述计时器是否超时；响应于所述计时器超时，基于计时器超时的节点发起选举，并基于集群中其它节点以及发起选举的节点自身对所述发起选举的节点进行投票；基于投票结果确定所述发起选举的节点能否成为主中心服务以基于所述主中心服务承担数据存储业务。通过本发明专利技术的方案，在服务器集群中实现了高可用的数据存储。据存储。据存储。

【技术实现步骤摘要】
一种数据存储方法、系统、计算机设备及存储介质


[0001]本专利技术涉及存储
，尤其涉及一种数据存储方法、系统、计算机设备及存储介质。

技术介绍

[0002]随着安防技术的快速发展，安防监控逐渐向着数字化、网络化、智能化的方向演进，随之而来的是海量视频数据存储压力，传统的单机存储系统在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意，那么就催生出了通过集群应用、网络技术实现的分布式存储系统，因此对存储设备的容量、读写性能、可靠性、扩展性等都提出了更高的要求。安防监控行业的实时视频存储是将摄像机产生的实时视频流进行7*24小时不间断的录像，以便后续对这些录像进行点播、下载、计算等应用，基于这些行业特性，行业内一般将视频存储系统分为存储业务层和存储数据层，存储业务层负责视频流数据的存储管理，承担视频存储的业务功能并生成和管理与视频业务相关的元数据，对接存储数据层以及对存储数据层提供的资源进行分配，记录数据在存储数据层的相关信息，以便后续能够有效的进行数据读取。存储数据层是为数据提供物理的存储空间，保证数据在存储空间的均匀分布，提供存入数据的安全保护，保障数据读写的IO(Input Output，输入输出)性能，存储数据层一般包括物理磁盘、文件系统、块设备、对象存储、第三方存储系统等提供的存储资源池。由于存储业务层既要支持视频业务功能又要保障存储系统的特性，还要与存储数据层进行有效的结合，所以如何实现高效的存储业务层也成为了安防监控厂商们所要解决的重要问题。
[0003]现有技术中，一种实现方案是将NVR(Network Video Recorder，即网络视频存储器)进行集群化管理，系统包括网络编码器、多个网络视频存储器(即NVR)和一个NVR管理器，网络编码器、NVR管理器和各NVR均与IP(Internet Protocol互联网协议)网络相连，各NVR支持网络编码器直接在其上存取音视频数据的网络存储协议，以将网络编码器编码输出的音视频数据直接保存在NVR上；NVR管理器包括映射模块和监控模块，映射模块存储有网络编码器与各NVR的映射关系，监控模块对各NVR接收的音视频数据的监控管理；各NVR在NVR管理器的控制下通过IP网络接收网络编码器编码后的音视频数据，并进行录像，以及响应客户端或网络编码器的访问请求、查询或回放或存储录像数据。这种实现方案将视频应用业务与存储系统耦合，无法将所有NVR的存储资源虚拟化管理，NVR管理器也存在单点故障问题，无法提供高可用的存储系统，并且可靠性、扩容性、兼容性也都不尽人意。
[0004]在有些优化方案中，有技术将视频应用业务与存储系统分离，存储节点只处理视频存储业务和解析下达给自己的录像计划，从录像计划对应的前端设备获取视频流并存储。这种方案也没有将取流的业务与存储系统隔离，也无法提供有效的高可用视频存储系统。
[0005]无论是NVR集群化实现方案还是优化方案中，都没有将取流业务功能与存储系统隔离，并且每个存储节点服务都要生成和管理所有类型的视频业务元数据，承担所有的业
务处理以及响应客户端的请求，对存储资源的使用也大大限制了存储系统的兼容性，无法实现高可用、易扩展、兼容性好的分布式视频存储系统。目前的实现方案都普遍存在以下问题：
[0006]1)管理节点故障后会导致集群的数据写入运作不正常，录像丢失。
[0007]2)元数据生成和管理的方式导致录像检索时要向所有存储节点进行检索，将所有存储节点的返回结果进行合并后才返回给调用者，无法做到录像检索的秒级返回。
[0008]3)取流业务与存储系统的耦合限制了业务故障切换和存储空间的使用，比如某个存储节点故障，故障节点的取流和存储业务将会切换到其它存储节点，在故障节点恢复后将再对取流和存储业务进行负载均衡，会导致在存储周期内某些通道占用的未写满的物理存储空间的浪费。
[0009]4)对存储资源的管理和使用大大限制了存储系统的兼容性，无法动态适配多种类型的存储数据层。

技术实现思路

[0010]有鉴于此，本专利技术提出了一种数据存储方法、系统、计算机设备及存储介质，实现一种选主算法来保证任何场景下都能选出主服务来承担集群的操作，并将视频存储业务与视频数据读写分离出不同的服务进程来承担，解决了现有技术中遇到的可用性、扩展性、兼容性等方面的问题。
[0011]基于上述目的，本专利技术实施例的一方面提供了一种数据存储方法，具体包括如下步骤：
[0012]按预设条件开启集群中节点的计时器；
[0013]监测所述计时器是否超时；
[0014]响应于所述计时器超时，基于计时器超时的节点发起选举，并基于集群中其它节点以及发起选举的节点自身对所述发起选举的节点进行投票；
[0015]基于投票结果确定所述发起选举的节点能否成为主中心服务以基于所述主中心服务承担数据存储业务。
[0016]在一些实施方式中，基于集群中其它节点以及发起选举的节点自身对所述发起选举的节点进行投票包括：
[0017]将发起选举的节点的任期加1，并基于所述发起选举的节点的任期向所述其它节点发送投票指令，并为所述发起选举的节点自身投票；
[0018]接收所述其它节点基于所述投票指令返回的投票结果。
[0019]在一些实施方式中，其它节点接收到所述投票指令后还包括：
[0020]基于发起选举的节点的任期与其它节点自身的任期对所述发起选举的节点进行投票，并返回投票结果给所述发起选举的节点；或，
[0021]响应于所述其它节点自身故障，返回网络连接错误的投票结果给所述发起选举的节点。
[0022]在一些实施方式中，基于发起选举的节点的任期与其它节点自身的任期对所述发起选举的节点进行投票包括：
[0023]将所述发起选举的节点的任期与所述其它节点自身的任期进行比较；
[0024]若是所述发起选举的节点的任期比所述其它节点自身的任期小，则拒绝对所述发起选举的节点进行投票；
[0025]若是所述发起选举的节点的任期比所述其它节点自身的任期大，则对所述发起选举的节点进行投票；
[0026]若是所述发起选举的节点的任期与所述其它节点自身的任期相等，则基于所述发起选举的节点发起选举的时间与所述其它节点自身发起选举的时间对所述发起选举的节点进行投票。
[0027]在一些实施方式中，基于投票结果确定所述发起选举的节点能否成为主中心服务包括：
[0028]基于所述投票结果判断集群中存活节点数是否大于总节点数的一半；
[0029]若是所述存活节点数大于所述总节点数的一半，则基于所述投票结果得到发起选举的节点得到的投票数，并基于所述发起选举的节点得到的投票数与总节点数确定所述发起选举的节点能否成为主中心服务；
[0030]若是所述存活节点数小于所述总节点数的一半，则获取发起选举的节点的节点ID，并基于所述节点ID确定所述发起选举的节点能否成为主中心服务。
[0031]在一些实施方式中，基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：按预设条件开启集群中节点的计时器；监测所述计时器是否超时；响应于所述计时器超时，基于计时器超时的节点发起选举，并基于集群中其它节点以及发起选举的节点自身对所述发起选举的节点进行投票；基于投票结果确定所述发起选举的节点能否成为主中心服务以基于所述主中心服务承担数据存储业务。2.根据权利要求1所述的方法，其特征在于，基于集群中其它节点以及发起选举的节点自身对所述发起选举的节点进行投票包括：将发起选举的节点的任期加1，并基于所述发起选举的节点的任期向所述其它节点发送投票指令，并为所述发起选举的节点自身投票；接收所述其它节点基于所述投票指令返回的投票结果。3.根据权利要求2所述的方法，其特征在于，其它节点接收到所述投票指令后还包括：基于发起选举的节点的任期与其它节点自身的任期对所述发起选举的节点进行投票，并返回投票结果给所述发起选举的节点；或响应于所述其它节点自身故障，返回网络连接错误的投票结果给所述发起选举的节点。4.根据权利要求3所述的方法，其特征在于，基于发起选举的节点的任期与其它节点自身的任期对所述发起选举的节点进行投票包括：将所述发起选举的节点的任期与所述其它节点自身的任期进行比较；若是所述发起选举的节点的任期比所述其它节点自身的任期小，则拒绝对所述发起选举的节点进行投票；若是所述发起选举的节点的任期比所述其它节点自身的任期大，则对所述发起选举的节点进行投票；若是所述发起选举的节点的任期与所述其它节点自身的任期相等，则基于所述发起选举的节点发起选举的时间与所述其它节点自身发起选举的时间对所述发起选举的节点进行投票。5.根据权利要求1所述的方法，其特征在于，基于投票结果确定所述发起选举的节点能否成为主中心服务包括：基于所述投票结果判断集群中存活节点数是否大于总节点数的一半；若是所述存活节点数大于所述总节点数的一半，则基于所述投票结果得到发起选举的节点得到的投票数，并基于所述发起选举的节点得到的投票数与总节点数确定所述发起选举的节点能否成为主中心服务；若是所述存活节点数小于所述总节点数的一半，则获取发起选举的节点的节点ID，并基于所述节点ID确定所述发起选举的节点能否成为主中心服务。6.根据权利要求5所述的方法，其特征在于，基于所述发起选举的节点得到的投票数与总节点数确定所述发起选举的节点能否成为主中心服务包括：判断所述发起选举的节点得到的投票数是否超过总节点数的一半；若是所述发起选举的节点得到的投票数超过所述总节点数的一半，则确定所述发起选
举的节点成为主中心服务；若是所述发起选举的节点得到的投票数未超过所述总节点数的一半，则返回响应于所述计时器超时，基于计时器超时的节点发起选举的步骤。7.根据权利要求5所述的方法，其特征在于，基于所述节点ID确定所述发起选举的节点能否成为主中心服务包括：响应于所述节点ID是存活节点中的最小值，则确定所述发起选举的节点成为主中...

【专利技术属性】
技术研发人员：夏华丽，郭军，张志勇，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：