本发明专利技术公开了一种基于分布式内存的视频帧数据动态均衡存储管理方法，实现面向视频帧数据的实时分析计算，具体步骤包括：接入视频帧数据，将视频帧数据队列化；设定并开始选择周期T；解析已接收的计算指令，获取分布式节点性能参数和实时信息，并反馈管理节点；创建分布式节点二维表，实现节点优选；遍历分布式节点二维表，选择忙闲状态标识为“1”且内存分配权值最大的节点；定量化视频帧数据，映射到已选节点内存,同时添加工作记录至工作表；当选择周期T结束时，分布式节点重新定量化和反馈内存分配权值和忙闲状态标识并更新二维表；管理节点统计工作表内任务节点；判断视频帧数据存储操作是否结束和分布式节点内存是否满载。
【技术实现步骤摘要】
本专利技术属于计算机科学存储
，特别是涉及一种基于分布式内存的视频帧数据动态均衡存储管理方法。
技术介绍
分布式网络存储技术就是将数据分布存储至多台独立的机器，利用多台机器组成分布式系统，解决了集中式存储系统单存储节点的瓶颈问题，提高了系统的可靠性和拓展性。需要说明的是本专利应用于常规的局域网，局域网内计算机的性能配置相同或者差别不大。计算机中所有程序的运行都是在内存中进行的，其作用是用于暂时存放CPU中的运算数据，以及与硬盘等外部存储器交换的数据。计算机运行过程中，CPU会把磁盘内需要运算的数据调到内存中进行存储，由于内存的读写效率远高于磁盘读写效率，因此，将需要计算的数据存储到内存就可以提高计算性能。更为重要的是，本专利研究的是实时的视频帧数据，面向分析计算模块，通过图像提取有用的特征信息，而且数据量很大，仅仅靠一台或是几台计算机内存存储是不够的；另外，实时的视频帧数据需要快速的被获取，存储在内存中，以便更快地被调用。分布式内存结合了分布式和内存的优点，以网络中的内存为存储介质,并通过分布式存储管理协议实现系统的通信机制，以保证良好的可控性和动态性。在系统运行时，能够随时加入新的机器节点，并使系统的存储能力保持良好的可扩展状态。同时，通过合理的转化存储介质机制，及时处理失效的机器节点及所存储的数据，保证了整个系统的高容错性。专利中数据是帧为单位，数据量庞大，如果多台节点没有配置成负载均衡的集群系统，反而会制约整个分布式节点系统性能的发挥。负载均衡技术是将大量同时到达或是短时间内大量到达的视频帧数据处理后合理的分配给后台各个节点之上的技术。并且当某台分布式节点由于故障而停止运行时，能够停止向该分布式节点存储数据，并寻找新的分布式节点。分布式数据库的分片策略直接影响系统中数据存储节点的均衡负载。数据的分片策略主要分为水平分片，垂直分片，以及将水平分片和垂直分片相结合的混合分片。目前，分布式内存数据存储策略最常用的主要有以下三种：（1）Round-Robin策略。将进入数据库的数据串行化，然后依次轮流分配到各个节点上。对于某些低谓语查询十分有效，但是各节点的负载能力不同，并且查询需要所有节点参与，很大程度上降低了系统性能。该类方法在下列文献中均有论述：A.B.M.Rubaiyat Islam Sadat and paola Lecca.On the performances in simulation of parallel databases: an overview on the most recent techniques for query optimization. International Workshop on High Performance Computational Systems Biology.2009. 蒋占军，李成. 分布式无线通信系统中并行Round Robin调度算法研究. 新型工业化,2011。（2）Range范围划分策略。针对某一属性的值域进行划分，每一划分的值域对应一个节点，当到达的数据落入到哪一个划分值域内，数据就存储在相应的节点上。对简单查询有效，且查询不需要所有节点参与，但是各个范围内的数据量很可能不同，容易出现数据倾斜。该类方法在下列文献中有论述：A. Silberschatz, H.F.Korrth. Database Systems Concepts, 4th ed. McGraw-Hill, 2002.（3）Hash划分策略。Hash划分是针对数据的一个或者几个属性设计一个Hash函数，所有到达系统的数据根据Hash函数计算出来的值来确定所存储的节点。可以支持简单查询和复杂查询，但在增加节点时数据需重新分配，从而增加了系统冗余。该类方法在下列文献中均有论述：Martin Wolstencrooft, Omer F. Rana and J. Huw Davies. Distributed Storage of High-Volume Environment Simulation Data: Mantle Modelling. Proceedings of the 2006 IEEE/WIC/ACM International Conference on Web Intelligence. 李存琛. 海量数据分布式存储技术的研究和应用. 计算机科学与技术,2012。
技术实现思路
本专利技术的目的在于提供一种解决面向视频数据实时分析计算的视频帧数据高速存储管理的难题，针对视频帧数据的特点，提出一种基于分布式内存的视频帧数据动态均衡存储管理方法，以解决上述
技术介绍
中提出的问题。 为实现上述目的，本专利技术提供如下技术方案：一种基于分布式内存的视频帧数据动态均衡存储管理方法,包括有以下步骤， 步骤1，接入视频帧数据，将视频帧数据队列化；步骤2，利用管理节点监测任务并发送计算指令，设定并开始选择周期T；步骤3，解析已接收的计算指令，获取分布式节点性能参数和实时信息，并根据获取的数据定量化内存分配权值和判断状态，反馈管理节点；步骤4，基于反馈结果，创建分布式节点二维表，应用于后续节点优选；步骤5，遍历分布式节点二维表，选择忙闲状态标识为“1”且内存分配权值最大的节点；步骤6，定量化视频帧数据，映射到已选节点内存,同时创建并添加工作记录至工作表，节点任务结束则自动删除工作表记录；步骤7，当选择周期T结束时，分布式节点重新定量化和反馈内存分配权值和忙闲状态标识并更新二维表；管理节点统计工作表内任务节点，依据统计节点情况执行负载均衡策略，同时开始下一周期选择存储过程。步骤8，周期性判断视频帧数据存储操作是否结束和全部分布式节点内存是否满载，若两者均未完成，则继续下一周期，若两者任一完成，则任务结束。 优选的，步骤3中包括以下子步骤：步骤3.1，接收并解析定量化指令后，分布式节点获取自身性能参数和实时信息；步骤3.2，性能参数有CPU频率、内存大小，分别用表示；实时状态信息CPU利用率、内存占用率，分别用表示；网络带宽占用率表示；步骤3.3，根据步骤3.2中网络带宽占用率大小，定性节点忙闲状态；步骤3.4，各节点将步骤2所得到的结果发送到分布式管理节点。 优选的，步骤5包括以下子步骤：步骤5.1，遍历分布式节点二维表，选中忙闲状态标识为“1”的节点；步骤5.2，基于步骤5.1中已选中的节点选出内存分配权值最大的节点，获取其编号即选出节点；步骤5.3，若存在两个或多个内存分配权值相等，则依据“就近原则”选择，获取节点编号。 优选的，步骤7中包括以下子步骤：步骤7.1，选择周期T结束，对分布式节点并发处理，重新定量化和反馈内存分配权值和忙闲状态标识并更新二维表内对应数据；步骤7.2，管理节点统计工作表内任务节点依据统计节点情况执行负载均衡策略。与现有技术相比，本专利技术的有益效果是：本专利技术利用分布式节点实时运行参数和闲忙状态作为考量标准，通过已建立的筛选机制，从而选择最优节点，并将视频帧数据存储到分布式节点内存；通过周期反馈机制，实现分布式节点的监测和均衡负载。本专利技术提出的基于分布式内存的视频帧数据动态均衡存储管理方法具有方法简洁、执行效率本文档来自技高网...
【技术保护点】
一种基于分布式内存的视频帧数据动态均衡存储管理方法,其特征在于：包括有以下步骤：步骤1，接入视频帧数据，将视频帧数据队列化；步骤2，利用管理节点监测任务并发送计算指令，设定并开始选择周期T；步骤3，解析已接收的计算指令，获取分布式节点性能参数和实时信息，并根据获取的数据定量化内存分配权值和判断状态，反馈管理节点；步骤4，基于反馈结果，创建分布式节点二维表，应用于后续节点优选；步骤5，遍历分布式节点二维表，选择忙闲状态标识为“1”且内存分配权值最大的节点；步骤6，定量化视频帧数据，映射到已选节点内存,同时创建并添加工作记录至工作表，节点任务结束则自动删除工作表记录；步骤7，当选择周期T结束时，分布式节点重新定量化和反馈内存分配权值和忙闲状态标识并更新二维表；管理节点统计工作表内任务节点，依据统计节点情况执行负载均衡策略，同时开始下一周期选择存储过程；步骤8，周期性判断视频帧数据存储操作是否结束和全部分布式节点内存是否满载，若两者均未完成，则继续下一周期，若两者任一完成，则任务结束。
【技术特征摘要】
1.一种基于分布式内存的视频帧数据动态均衡存储管理方法,其特征在于：包括有以下步骤：步骤1，接入视频帧数据，将视频帧数据队列化；步骤2，利用管理节点监测任务并发送计算指令，设定并开始选择周期T；步骤3，解析已接收的计算指令，获取分布式节点性能参数和实时信息，并根据获取的数据定量化内存分配权值和判断状态，反馈管理节点；步骤4，基于反馈结果，创建分布式节点二维表，应用于后续节点优选；步骤5，遍历分布式节点二维表，选择忙闲状态标识为“1”且内存分配权值最大的节点；步骤6，定量化视频帧数据，映射到已选节点内存,同时创建并添加工作记录至工作表，节点任务结束则自动删除工作表记录；步骤7，当选择周期T结束时，分布式节点重新定量化和反馈内存分配权值和忙闲状态标识并更新二维表；管理节点统计工作表内任务节点，依据统计节点情况执行负载均衡策略，同时开始下一周期选择存储过程；步骤8，周期性判断视频帧数据存储操作是否结束和全部分布式节点内存是否满载，若两者均未完成，则继续下一周期，若两者任一完成，则任务结束。2.根据权利要求1所述的一种基于分布式内存的视频帧数据动态均衡存储管理方法，其特征在于：所述步骤3中包括...
【专利技术属性】
技术研发人员：朱庆，
申请(专利权)人：江苏得得空间信息科技有限公司，南通智慧建筑产业研究院有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。