一种基于云计算的监控系统中的快速转码方法及系统技术方案

本发明专利技术涉及一种基于云计算的监控系统中的快速转码方法及系统，该方法包括：云服务器接收用户的视频转码任务请求；视频分片服务器对视频进行分片处理并上传至分布式文件系统；建立最小化转码开销时间模型，根据最小化转码开销时间模型求解转码任务的调度方案，根据调度方案向各个节点分发视频分片；各个节点完成分发的视频分片的转码任务后，对各个转码后的视频数据进行合并保存。在多台成本低廉的服务器主机上布置集群，通过有效的资源调度策略，能够使得云资源负载均衡，降低集群转码任务的总开销，节省资源，从而降低了服务器能耗，利用云端丰富的集群资源应对海量的视频转码，具有较强的可扩展性、健壮性提升系统转码任务吞吐量。

A fast transcoding method and system in monitoring system based on Cloud Computing

【技术实现步骤摘要】
一种基于云计算的监控系统中的快速转码方法及系统
本专利技术涉及电子信息
，尤其涉及一种基于云计算的监控系统中的快速转码方法及系统。
技术介绍
目前，随着电子硬件技术、网络通信技术以及软件工程技术的高速发展，电子监控系统越来越成为工程设备监测以及社会秩序监督不可或缺的一部分，其能够帮助人们监控工程设备的运作状态是否正常以及提供涉安事件的重要现场证据。传统的视频监控系统通常在本地部署完成，并且基于USB、SATA等存储协议对监控数据进行本地化存储，采集到的视频数据通常不需要进行特殊处理变传输到监控中心由专人进行后期完成。然而，中小型单位的监控系统中的监控摄像头通常数量有限，覆盖范围小，系统具有一定的封闭性，若需要对移动的目标进行追踪，这会消耗大量的人力物力资源而且实时性不强，容易导致目标丢失。考虑到本地服务器资源有限，传统的视频监控系统在外界摄像头设备数量增多时，随着捕获图像数量增加以及摄像头捕获图像分辨率的增加，会难以应对高质量视频图像存储与处理工作，高分辨率图像对服务器存储能力的要求更高，实时的处理能力也对网络传输的速度以及服务器的计算能力有着严格的要求。此外，用户对监控系统日益提升的需求，诸如高分辨率、高码率、高抗干扰能力以及用户终端功能多样化，使得布置一套完整的本地化监控系统，对一些单位设置中小型企业来说也是一笔不小的开销。
技术实现思路
本专利技术针对现有技术中存在的技术问题，提供一种基于云计算的监控系统中的快速转码方法及系统，解决现有技术中监控系统数据量大难以及时处理的问题。本专利技术解决上述技术问题的技术方案如下：一种基于云计算的监控系统中的快速转码方法，包括：步骤1，云服务器接收用户的视频转码任务请求；步骤2，视频分片服务器对视频进行分片处理并上传至分布式文件系统；步骤3，建立最小化转码开销时间模型，根据所述最小化转码开销时间模型求解转码任务的调度方案，根据所述调度方案向各个节点分发视频分片；步骤4，各个节点完成分发的所述视频分片的转码任务后，对各个转码后的视频数据进行合并保存。一种基于云计算的监控系统中的快速转码系统，包括：云服务器101，接收用户的视频转码任务请求；视频分片服务器102，用于对视频进行分片处理并上传至分布式文件系统；调度方案计算模块103，用于建立最小化转码开销时间模型，根据所述最小化转码开销时间模型求解转码任务的调度方案；视频数据处理模块104，根据所述调度方案向各个节点分发视频分片，各个节点完成分发的所述视频分片的转码任务后，对各个转码后的视频数据进行合并保存。本专利技术的有益效果是：在在多台成本低廉的服务器主机上布置集群，通过有效的资源调度策略，能够使得云资源负载均衡，降低集群转码任务的总开销，节省资源，从而降低了服务器能耗，利用云端丰富的集群资源应对海量的视频转码，具有较强的可扩展性、健壮性提升系统转码任务吞吐量，降低转码开销时间，缩短了用户从发出请求至获取到目标视频的时延，提升了用户体验。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步，所述步骤1中转码请求包括获取其中的视频名称、目标格式、目标比特率以及需要适配的设备配置信息。进一步，所述步骤1之后还包括：根据所述视频转码任务的到达时间、截止时间、紧急程度、优先权重以及在队列中的等待时间建立加权打分机制，确定各个所述视频转码任务的优先级，根据各个所述视频转码任务的优先级构建视频转码任务队列进一步，所述步骤2中视频分片服务器从所述视频转码任务队列中获取视频ID，根据所述视频ID向云数据库请求对应的视频文件，更新当前所述视频转码任务的相关文件信息以及待转码状态，放入视频分片任务队列，由预处理服务器中的分片程序对所述视频分片任务队列中的所述视频文件按照单位时间长度或单位文件大小进行分片；取出视频分片数据并上传至分布式文件系统中进行冗余存储。进一步，所述步骤3中所述最小化转码开销时间模型为：且i,l为正整数；其中，X表示转码任务的调度方案，N表示集群中的节点个数，M为视频vi的种类数量，L为视频vi分成的视频分片的个数，表示视频分片是否被放置在节点n上运行的变量，表示视频分片在节点n的计算开销，表示视频分片的大小，Sn表示节点n的最大存储上限。进一步，所述视频分片在节点n的计算开销其中，为视频分片的编解码CPU计算复杂度，为视频分片的GPU转码的计算复杂度，dsystem表示程序从启动到消亡期间产生的系统开销常数；cn表示第n个CPU的计算能力，gn表示第n个GPU的计算能力。进一步，所述步骤3中根据所述最小化转码开销时间模型求解转码任务的调度方案的过程包括：步骤301，将各个视频分片任务按照复杂度从高到低排序，将节点集合中的各个节点的计算能力按照GPU、CPU优先级排序；步骤302，依次将各个所述视频分片的转码任务分给所述节点集合中计算能力最强的节点；步骤303，判断当前节点的预计开销时间超过节点处理所述转码任务的理想开销时间或存储的所述视频分片超过了节点的承受值时，更换加入当前节点的转码任务；判断所述当前节点无法继续添加新的转码任务时，则将所述当前节点从所述节点集合中去除；若当前节点已无法继续添加新任务，则该当前节点完成调度，则将该当前节点从节点集合中去除。步骤304，判断存在没有分给所述节点的所述转码任务时，执行步骤302；判断各个所述转码任务均分给各个所述节点后，得到所述转码任务的调度方案X。进一步，所述视频分片的转码任务的理想开销时间为：采用上述进一步方案的有益效果是：针对视频分片大小可能不一致的情况建立最小化转码开销负载均衡模型，并通过求得的调度方案在分布式框架Hadoop下依据分布式计算框架编写视频转码程序，借助开源多媒体处理软件ffmpeg完成视频编解码操作；将CPU与GPU计算相结合，综合考虑每个计算节点的CPU和GPU计算负载均衡的情况，应用GPU完成计算密集型的视频转码，利用GPU强大的并行计算能力进行进一步加速；针对服务器出现宕机的情况有冗余存储机制和自动纠错机制，且总体成本低廉。附图说明图1为本专利技术实施例提供的一种基于云计算的监控系统中的快速转码方法的流程图；图2为本专利技术提供的一种基于云计算的监控系统中的快速转码方法的实施例的流程图；图3为本专利技术提供的一种基于云计算的监控系统中的快速转码系统的实施例的结构框图；图4为本专利技术提供实施例提供的一种基于云计算的监控系统中的快速转码系统实现转码过程的流程图。附图中，各标号所代表的部件列表如下：101、云服务器，102、视频分片服务器，103、调度方案计算模块，104、视频数据处理模块。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。本文档来自技高网...

【技术保护点】
1.一种基于云计算的监控系统中的快速转码方法，其特征在于，包括：/n步骤1，云服务器接收用户的视频转码任务请求；/n步骤2，视频分片服务器对视频进行分片处理并上传至分布式文件系统；/n步骤3，建立最小化转码开销时间模型，根据所述最小化转码开销时间模型求解转码任务的调度方案，根据所述调度方案向各个节点分发视频分片；/n步骤4，各个节点完成分发的所述视频分片的转码任务后，对各个转码后的视频数据进行合并保存。/n

【技术特征摘要】
1.一种基于云计算的监控系统中的快速转码方法，其特征在于，包括：
步骤1，云服务器接收用户的视频转码任务请求；
步骤2，视频分片服务器对视频进行分片处理并上传至分布式文件系统；
步骤3，建立最小化转码开销时间模型，根据所述最小化转码开销时间模型求解转码任务的调度方案，根据所述调度方案向各个节点分发视频分片；
步骤4，各个节点完成分发的所述视频分片的转码任务后，对各个转码后的视频数据进行合并保存。


2.根据权利要求1所述的方法，其特征在于，所述步骤1中转码请求包括获取其中的视频名称、目标格式、目标比特率以及需要适配的设备配置信息。


3.根据权利要求1所述的方法，其特征在于，所述步骤1之后还包括：
根据所述视频转码任务的到达时间、截止时间、紧急程度、优先权重以及在队列中的等待时间建立加权打分机制，确定各个所述视频转码任务的优先级，根据各个所述视频转码任务的优先级构建视频转码任务队列。


4.根据权利要求3所述的方法，其特征在于，所述步骤2中视频分片服务器从所述视频转码任务队列中获取视频ID，根据所述视频ID向云数据库请求对应的视频文件，更新当前所述视频转码任务的相关文件信息以及待转码状态，放入视频分片任务队列，由预处理服务器中的分片程序对所述视频分片任务队列中的所述视频文件按照单位时间长度或单位文件大小进行分片；
取出视频分片数据并上传至分布式文件系统中进行冗余存储。


5.根据权利要求1所述的方法，其特征在于，所述步骤3中所述最小化转码开销时间模型为：

且i,l为正整数；






其中，X表示转码任务的调度方案，N表示集群中的节点个数，M为视频vi的种类数量，L为视频vi分成的视频分片的个数，表示视频分片是否被放置在节点n上运行的变量，表示视频分片在节点n的计算开销，表示视频分片的大小，Sn表示节点n的最大存储上限。


6.根据权利要求5所述的...

【专利技术属性】
技术研发人员：彭凯，刘强，詹玮琪，彭麟雅，丁泽彦，谭衡睿，胡祺，
申请(专利权)人：武汉珞佳伟业科技有限公司，
类型：发明
国别省市：湖北;42