一种基于分布式集群的视频图像信息采集方法技术

本发明专利技术涉及一种基于分布式集群的视频图像信息采集方法，步骤如下：步骤1，采集设备/系统中的数据互连专网，数据通过专网互连存储到集群区，集群区存储的数据再次通过专网互连提供给业务信息系统；步骤2，集群区由集群管理层和接口服务层组成，集群区的集群管理层向专网提供一个固定的IP端口；步骤3，集群区中的集群管理层有主管理节点和备管理节点；集群管理层中的主管理节点和备管理节点共连接相同且独立IP端口提供数据传输服务；步骤4，接口服务层由Nginx作为管理多个独立无状态的接口节点，接口节点采用HTTP长连接方式连接集群管理层中的主管理节点和备管理节点；步骤5，接口服务层中的接口节点分别互连信息队列/缓存和云存储服务；步骤6，信息队列/缓存区互连主业务集群，主业务集群互连云存储服务。采用基于分布式集群的视频图像信息采集方法，提高视频、图片信息处理能力及成本时间的节约。

A method of video image information collection based on Distributed Cluster

【技术实现步骤摘要】
一种基于分布式集群的视频图像信息采集方法
本专利技术涉及网络安防领域，具体而言，涉及一种基于分布式集群的视频图像信息采集方法。
技术介绍
随着深度学习、视频智能分析和大数据技术的发展，对海量视频图像数据进行深度挖掘、分析已经具备条件，这些数据需要一个集中存储视频图像的数据库来支撑。视频图像数据库存储来自智能化采集设备的视频片段文件、图像文件及其所含的人员、车辆、物品、场景和视频图像标签等对象，同时对各业务系统提供数据服务接口，支撑各种应用需求。视频图像数据库每天接收的数据量可达几千万到上亿，这些数据对各应用系统的业务开展至关重要。例如，中国专利技术专利：201910134543.5，公开了一种基于大数据的信息采集方法，所述基于大数据的信息采集系统包括：数据源模块、数据传输模块、中央控制模块、检索模块、信息集成模块、信息管理模块、大数据分析模块、平衡模块、云存储模块、显示模块。本专利技术通过大数据分析模块得到分析结果存储在分布式数据库的分析结果表中，不需要到分布式数据库中海量的大数据中获取大数据，所以耗时短且易于实现；同时，通过平衡模块根据数据平衡策略和大数据集群负载和性能数据动态调整数据平衡的网络带宽，重新启动数据平衡程序，能够在保障集群正常数据生产的同时，提高集群数据平衡的效率和弹性。又例如，中国专利技术专利：201710373026.4，公开了一种基于分布式集群的数据采集系统，所述系统包括主采集节点、数据解析模块和多个子采集节点；所述主采集节点连接多个所述子采集节点，所述子采集节点用于采集数据，所述主采集节点用于接收各个所述子采集节点采集的数据；所述数据解析模块用于分别计算各个所述子采集节点采集的数据的变化速率，根据所述变化速率调节各个所述子采集节点的数据采集频率；本专利技术所公开的系统，能通过变化速率调节各个所述子采集节点的数据采集频率，从而使得各个子采集节点的采集频率与其所采集到的数据的变化速率相适应。基于上述现有技术的不足，无法解决数据库每天持续稳定的接收存储，高达几千万到上亿条视频图像信息和结构化描述信息的数据量。
技术实现思路
针对现有技术不能解决数据库每天持续稳定的接收存储，高达几千万到上亿条视频图像信息和结构化描述信息的数据量。本专利技术的目的在于提供一种基于分布式集群的视频图像信息采集方法，步骤如下：步骤1，采集设备/系统中的数据互连专网，数据通过专网互连存储到集群区，集群区存储的数据再次通过专网互连提供给业务信息系统；步骤2，集群区由集群管理层和接口服务层组成，集群区的集群管理层向专网提供一个固定的IP端口；步骤3，集群区中的集群管理层有主管理节点和备管理节点；集群管理层中的主管理节点和备管理节点共连接相同且独立IP端口提供数据传输服务；步骤4，接口服务层由Nginx作为管理多个独立无状态的接口节点，接口节点采用HTTP长连接方式连接集群管理层中的主管理节点和备管理节点；步骤5，接口服务层中的接口节点分别互连信息队列/缓存和云存储服务；步骤6，信息队列/缓存互连主业务集群，主业务集群互连云存储服务。进一步的，步骤3所述的主管理节点若出现故障，备管理节点启动切换继续提供服务，启动切换主管理节点和备管理节点根据配置的优先级，主管理节点和备管理节点相互启动切换时间为0.1-2S。进一步的，步骤3所述集群管理层作为所有外部专网请求的入口，集群管理层需对外提供一个固定的IP，当主管理节点发生故障时，备管理节点继续使用同一个IP对外提供服务。进一步的，步骤3所述集群管理层通过主管理节点和备管理节点的方式实现管理节点的高可用，采用Keepalived实现主管理节点和备管理节点的故障转移和自动恢复，采用故障转移和自动恢复步骤如下：步骤3.1，Keepalived使用的虚拟路由冗余协议(VRRP)在一个路由器组之间共享一个虚拟IP，路由器组里设置一个主节点和多个备节点，主节点将对外的IP绑定到自身机器上，定期发组播包，备节点收不到组播包时将主节点标记为异常，根据配置的优先级来选举一个备节点当作主节点，以保持通信的连续性、可靠性，消除单节点故障；步骤3.2，Keepalived定期执行用户指定的脚本，在集群管理层中主管理节点和备管理节点所在机器上编辑健康检查脚本，实现主管理节点和备管理节点故障的迁移，健康检查脚本执行步骤如下：步骤3.2.1，运行linux命令检查管理节点；步骤3.2.2，linux命令检查集群管理层中的管理节点，若管理节点异常，管理节点自动重启，等待15-30毫秒，再次检查重启后的管理节点是否正常，检查结果显示正常，linux命令结束；步骤3.2.3，若自动重启后的管理节点的检查结果为异常，linux命令判断管理节点为故障，linux命令继续分析故障管理节点状态，故障管理节点状态为主管理节点时，给指定的管理员发告警邮件，将故障管理节点自动优先级降低5，然后中止Keepalived进程；步骤3.2.4，linux命令同步检查同一个虚拟路由组的其他Keepalived，若有Keepalived接收不到主管理节点的组播包，Keepalived尝试访问集群管理层向专网提供的服务地址；步骤3.2.5,尝试访问集群管理层向专网提供的IP地址异常，再次尝试连接默认网关Ping；步骤3.2.6,若默认网关Ping无法连通，linux命令判定自身所在检查的服务器有网络故障，给管理员发告警邮件；步骤3.2.7,若默认网关Ping连通，linux命令判定集群管理层中主管理节点有故障，自动将虚拟IP绑定到自身所在服务器上，接管主管理节点的任务。进一步的，步骤3所述的接口服务层，在接收集群管理层发送的图像和视频片段时，进行解析校验，然后解码图像和视频片段。进一步的，步骤4所述Nginx根据接口节点的响应时间，将集群管理层发送的图像和视频片段分配到处理速度最快的接口节点，以保证接口服务层的每个接口节点处理等量的视频图像。进一步的，步骤4所述Nginx自动检查所管理的接口节点健康状态，自动将故障接口节点从列表中删除；在检查到故障的接口节点恢复正常后，将接口节点加入列表继续提供服务。进一步的，步骤4所述Nginx同时提供动态增加接口节点，在有新的接口节点需要加入接口服务层时，通过修改Nginx程序管理的接口节点列表并给Nginx发USR1的进程信号，实现不停止服务进行扩容。进一步的，步骤4所述接口节点互连信息队列/缓存，接口节点内部的实时信息存储到信息队列/缓存中，以实现接口节点无任务，当执行任务的接口节点出现故障时，其他接口节点从信息队列/缓存中提取任务当下状态，继续执行任务。进一步的，步骤4中所述接口节点在收到集群管理层发送的信息后，先将信息进行拆分，图片与视频文件存储至信息队列/缓存中，结构化信息通过NFS网络文件系统存储至云存储服务中，以缩短信息处理时间。进一步的，步骤4所述接口节点互连云存储服务中的云存节点，每个接口节点独立互本文档来自技高网...

【技术保护点】
1.一种基于分布式集群的视频图像信息采集方法，其特征在于，包括如下步骤：/n步骤1，采集设备/系统中的数据互连专网，数据通过专网互连存储到集群区，集群区存储的数据再次通过专网互连提供给业务信息系统；/n步骤2，集群区由集群管理层和接口服务层组成，集群区的集群管理层向专网提供一个固定的IP端口；/n步骤3，集群区中的集群管理层有主管理节点和备管理节点；集群管理层中的主管理节点和备管理节点共连接相同且独立IP端口提供数据传输服务；/n步骤4，接口服务层由Nginx作为管理多个独立无状态的接口节点，接口节点采用HTTP长连接方式连接集群管理层中的主管理节点和备管理节点；/n步骤5，接口服务层中的接口节点分别互连信息队列/缓存和云存储服务；/n步骤6，信息队列/缓存区互连主业务集群，主业务集群互连云存储服务。/n

【技术特征摘要】
1.一种基于分布式集群的视频图像信息采集方法，其特征在于，包括如下步骤：
步骤1，采集设备/系统中的数据互连专网，数据通过专网互连存储到集群区，集群区存储的数据再次通过专网互连提供给业务信息系统；
步骤2，集群区由集群管理层和接口服务层组成，集群区的集群管理层向专网提供一个固定的IP端口；
步骤3，集群区中的集群管理层有主管理节点和备管理节点；集群管理层中的主管理节点和备管理节点共连接相同且独立IP端口提供数据传输服务；
步骤4，接口服务层由Nginx作为管理多个独立无状态的接口节点，接口节点采用HTTP长连接方式连接集群管理层中的主管理节点和备管理节点；
步骤5，接口服务层中的接口节点分别互连信息队列/缓存和云存储服务；
步骤6，信息队列/缓存区互连主业务集群，主业务集群互连云存储服务。


2.根据权利要求1所述基于分布式集群的视频图像信息采集方法，其特征在于：步骤3所述的主管理节点，若出现故障备管理节点启动切换继续提供服务，启动切换主管理节点和备管理节点根据配置的优先级，主管理节点和备管理节点相互启动切换时间为0.1-2S。


3.根据权利要求1所述基于分布式集群的视频图像信息采集方法，其特征在于：步骤3所述集群管理层作为所有外部专网请求的入口，集群管理层需对外提供一个固定的IP，当主管理节点发生故障时，备管理节点继续使用同一个IP对外提供服务。


4.根据权利要求1所述基于分布式集群的视频图像信息采集方法，其特征在于：步骤3所述集群管理层通过主管理节点和备管理节点的方式实现管理节点的高可用，采用Keepalived实现主管理节点和备管理节点的故障转移和自动恢复，采用故障转移和自动恢复步骤如下：
步骤3.1，Keepalived使用的虚拟路由冗余协议(VRRP)在一个路由器组之间共享一个虚拟IP，路由器组里设置一个主节点和多个备节点，主节点将对外的IP绑定到自身机器上，定期发组播包，备节点收不到组播包时将主节点标记为异常，根据配置的优先级来选举一个备节点当作主节点，以保持通信的连续性、可靠性，消除单节点故障；
步骤3.2，Keepalived定期执行用户指定的脚本，在集群管理层中主管理节点和备管理节点所在机器上编辑健康检查脚本，实现主管理节点和备管理节点故障的迁移，健康检查脚本执行步骤如下：
步骤3.2.1，运行linux命令检查管理节点；
步骤3.2.2，linux命令检查集群管理层中的管理节点，若管理节点异常，管理节点自动重启，等待15-30毫秒，再次检查重启后的管理节点是否正常，检查结果显示正常，linux命令结束；
步骤3.2.3，若自动重启后的管理节点的检查结果为异常，linux命令判断管理节点为故障，linux命令继续分析故障管理节点状态，故障管理节点状态为主管理节点时，给指定的管理员发告警邮件，将故障管理节点自动优先级降低5，然后中止Keepalived进程；
步骤3.2.4，linux命令同步检查同一个虚拟路由组的其他Keepalived，若有Keepalived接收不到主管理节点的组播包，Keepalived尝试访问集群管理层向专网提供的服务地址；
步骤3.2.5，尝试访问集群管理层...

【专利技术属性】
技术研发人员：庄超明，刘庆伟，但良峰，张波涛，张亨通，李斌，孙丽丽，孟卿卿，王德敏，
申请(专利权)人：北京中盾安全技术开发公司，
类型：发明
国别省市：北京;11