一种基于流计算的视频处理方法技术

本发明专利技术公开了一种基于流计算的视频处理方法，在分布式云计算框架中，视频数据经转换后分别得到图形以及图形属性，分析引擎解析出图形以及图形属性，将所述图形发送至图形分析数据库，所述图形属性发送至第一存储数据库；所述图形分析数据库分析所述图形，并将分析结果传输至第二存储数据库；处于第二存储数据库内的分析结果与第一存储数据库中的图形属性进行关联，关联结果存储至所述第一存储数据库中；API接口，所述API接口与第一存储数据库相交互，所述API接口用于实现视频数据的快速检索。本发明专利技术通过结合采用分布式计算技术和分布式存储技术，高效利用集群，提升分析效率，提供存储和检索性能，有效解决海量图形分析需求。

A video processing method based on stream computing

【技术实现步骤摘要】
一种基于流计算的视频处理方法
本专利技术属于视频处理方法
，具体涉及一种基于流计算技术的视频处理方法。
技术介绍
随着物联技术的发展，各类智能设备产生的视频越来越多，对海量数据的产生对视频分析及检索造成了挑战。传统方式，采用数据库存储，检索性能受到集群规模限制（一般不能超过100节点），检索性能较差；且对图形进行分析过程也无法集群并行化处理，分析往往无法满足海量图形分析需求。通过采用分布式计算技术和分布式存储技术，可以高效利用集群资源，提升分析效率，提供存储和检索性能，有效解决了海量图形分析需求。
技术实现思路
本专利技术的目的是提升海量视频分析处理能力和存储能力。为达到上述目的，本专利技术的技术方案如下：一种基于流计算的视频处理方法，在分布式云计算框架中，视频数据经转换后分别得到图形以及图形属性，分析引擎解析出图形以及图形属性，将所述图形发送至图形分析数据库，所述图形属性发送至第一存储数据库；所述图形分析数据库分析所述图形，并将分析结果传输至第二存储数据库；处于第二存储数据库内的分析结果与第一存储数据库中的图形属性进行关联，关联结果存储至所述第一存储数据库中；API接口，所述API接口与所述第一存储数据库相交互，所述API接口用于实现视频数据的快速检索。本专利技术中，首先通过数据转换，将其分别以图形以及图形属性的方式单独存储，与之前的单独数据库相比，本专利技术采用分布式云计算框架，检索不受规模限制，检索性能优；同时，后期计算与检索时，图形与图形属性独立，互不影响，则检索时，能够根据图形属性，快速找到对应图形，提高了检索效率，本专利技术中，由于结合了图形分析数据库，对图形进行单独分析，能够满足海量图形需求；无需在同一个数据库中进行多重运算，提高了视频数据处理的效率，使得分布式云计算框架内的多个数据库，均有各自独立的运算性能，提高应用效率。本专利技术中，通过结合采用分布式计算技术和分布式存储技术，可以高效利用集群资源，提升分析效率，提供存储和检索性能，有效解决了海量图形分析需求。本专利技术中，由于图形和图形属性通过不同的数据库存储，实现了分布式云计算框架，为海量视频分析与存储提供了一套通用技术方案，基于流计算技术，将实时采集的视频数据，进行解析和智能分析处理，实现基于场景的视频分析和检索，有效满足实时视频图形的智能分析需求。作为本专利技术的进一步改进，所述视频数据经转换后分别得到图形以及图形属性具体为：视频数据通过Opencv按帧转换后，分别得到图形以及图形属性。本技术方案中，采用的是Opencv技术，其是一种轻量级、高效且由一系列C的函数和少量C++类构成，同时提供多种语言接口，实现图形处理和计算机视觉方面的多种通用算法；同时，OpenCV提供的视觉处理算法非常丰富，并且其它部分以C语言编写，加上其开源的特性，处理得当，不需要添加新的外部支持也可以完整的编译链接生成执行程序，故可以用它来做算法的移植，OpenCV的代码经过适当改写可以正常的运行在DSP系统和ARM嵌入式系统中，方便应用，无需进行过多的改进。本技术方案中，转化过程具体采用分布式过程，在多机集群上并行执行，转换速度快，可有效应对海量视频格式转换，转换后图形与图形属性分离，图形用于后续分析，图形属性用于标注分析图形，提供后期检索元数据。作为本专利技术的进一步改进，所述图形以及图形属性以消息流的形式推送至分析引擎，分析引擎解析出图形以及图形属性。本专利技术中，采用kafka消息队列进行消息流的推送，通过kafka的检查点（Checkpointing），配合流处理引擎的水印机制，保障图形数据的时序处理，解决分布式环境下时序数据处理的数据乱序问题。作为本专利技术的进一步改进，所述分析引擎内设有流计算单元，所述分析引擎根据流计算单元解析出图形以及图形属性。本技术方案中，尤其是在一些实时搜索应用环境中的某些具体问题，类似于MapReduce方式的离线处理，其并不能很好地解决问题。而流计算方式，可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点。同时，流运算在内容方面，能够对于数据进行更快运算和分析的需求;对数字格式的信息流，进行快速处理并反馈。本专利技术中，通过流计算单元进行解析，可以将图形以及图形属性分别进行解析，便于后期的分离等。由于之前已经进行了转换，故此处需要进行解析，使得图形以及图形属性后期便于区分，以实现初步存储图形属性的目的。作为本专利技术的进一步改进，所述图形分析数据库内交互有应用程序接口，所述应用程序接口用于接入特定场景分析程序，以实现对图形的特定场景分析。本专利技术中，通过增加通用型的应用程序接口，便于根据需求进行多种程序的载入，并插入相关分析算法，通过算法替换，可以快速将本专利技术用于不同业务分析场景，大大提升视频分析灵活性，有效适应业务分析需求。作为本专利技术的进一步改进，所述特定场景分析程序通过智能算法模型，调用所述图形并对其进行业务分析，得到场景分析后图形的特征信息，并将所述特征信息传输至第二存储数据库。本技术方案中，具体是通过得到的特征信息，进行存储，便于后期的检索等，提高了检索效率，且智能算法模型等技术，较为成熟；比如：入侵检测，通过前后时序图形中的物体位置坐标差异，检测物体是否移动，通过标识移动路径确定是否入侵特定区域。针对入侵检测，可获得位置，入侵路径等信息并进行保存，以便于检索使用。作为本专利技术的进一步改进，所述特征信息通过数据流的形式传输至第二存储数据库。本技术方案中，特征信息通过数据流的形式传输，数据传输快速、广域以及持续；其具备一次存取，持续处理，有限存储，近似结果，快速响应的特点。作为本专利技术的进一步改进，所述处于第二存储数据库内的分析结果与第一存储数据库中的图形属性进行关联，具体是指将第二存储数据库内的图形的特征信息与第一数据库内图形属性的特征信息进行关联。本技术方案中，通过特征信息进行关联，相比于其它信息，特征信息容易获得，且区别性强，进而与图形属性关联时，关联度高，不易混淆。作为本专利技术的进一步改进，所述API接口，通过与每个第一数据库中的图形属性分别进行匹配，将匹配度最高的图形属性对应的图形作为匹配结果进行检索结果输出。本技术方案中，通过API接口，可快速定位图形分析特征和特征指向对应的图形，并以可视化形式直观展示，为视频检索，提供了一定的基础，同时用户可以直观、快速得到检索结果。作为本专利技术的进一步改进，所述API接口具体是通过特征信息与每个第一数据库中的图形属性分别进行匹配。由于之前的存储和分析以及关联都是通过特征信息，则为了加快检索效率，此处也是采用特征信息进行配对。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实例，对于本领域普通技术人员来讲，在不付出创造本文档来自技高网...

【技术保护点】
1.一种基于流计算的视频处理方法，其特征在于，在分布式云计算框架中，视频数据经转换后分别得到图形以及图形属性，分析引擎解析出图形以及图形属性，将所述图形发送至图形分析数据库，所述图形属性发送至第一存储数据库；/n所述图形分析数据库分析所述图形，并将分析结果传输至第二存储数据库；处于第二存储数据库内的分析结果与第一存储数据库中的图形属性进行关联，关联结果存储至所述第一存储数据库中；/nAPI接口，所述API接口与所述第一存储数据库相交互，所述API接口用于实现视频数据的快速检索。/n

【技术特征摘要】
1.一种基于流计算的视频处理方法，其特征在于，在分布式云计算框架中，视频数据经转换后分别得到图形以及图形属性，分析引擎解析出图形以及图形属性，将所述图形发送至图形分析数据库，所述图形属性发送至第一存储数据库；
所述图形分析数据库分析所述图形，并将分析结果传输至第二存储数据库；处于第二存储数据库内的分析结果与第一存储数据库中的图形属性进行关联，关联结果存储至所述第一存储数据库中；
API接口，所述API接口与所述第一存储数据库相交互，所述API接口用于实现视频数据的快速检索。


2.根据权利要求1所述的一种基于流计算的视频处理方法，其特征在于，所述视频数据经转换后分别得到图形以及图形属性具体为：
视频数据通过Opencv按帧转换后，分别得到图形以及图形属性。


3.根据权利要求1所述的一种基于流计算的视频处理方法，其特征在于，所述图形以及图形属性以消息流的形式推送至分析引擎，分析引擎解析出图形以及图形属性。


4.根据权利要求3所述的一种基于流计算的视频处理方法，其特征在于，所述分析引擎内设有流计算单元，所述分析引擎根据流计算单元解析出图形以及图形属性。


5.根据权利要求1所述的一种基于流计算的视频处理方...

【专利技术属性】
技术研发人员：程宏亮，王锟，王永峰，苏魁，郭联伟，穆宇浩，
申请(专利权)人：美林数据技术股份有限公司，
类型：发明
国别省市：陕西;61