基于卷积神经网络的智能流媒体视频大数据分析方法技术

本发明专利技术提供了一种基于卷积神经网络的智能流媒体视频大数据分析方法，包括：通过单帧预测器对流媒体视频数据进行分帧识别，得到图像帧；将图像帧输入基于卷积神经网络的数据分析模型进行处理；采用递归神经网络将各图像帧进行时序拟合，输出全场景化识别框架。本发明专利技术采用基于卷积神经网络的数据分析模型替代现有技术采用的检测、识别、分割以及跟踪四个步骤，一是数据处理结构更清晰；二是通过共享计算能够提高算法效率，并且通过多个相关任务共同学习来提高算法性能；三是统一框架之后只需要做关键帧的标注就可以，在训练的过程中就会把数据前后帧串联起来，减少了标注量，提高了效率。效率。效率。

【技术实现步骤摘要】
基于卷积神经网络的智能流媒体视频大数据分析方法


[0001]本专利技术涉及流媒体视频大数据处理
，特别涉及一种基于卷积神经网络的智能流媒体视频大数据分析方法。

技术介绍

[0002]卷积神经网络(Convolutional Neural Networks，即CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。
[0003]视频内容分析是要对视频内容有一个比较完整的理解，它是通过摄像头或者通过视频，要站在机器的角度去看而不是以人的身份区理解和分析视频内容。从数据角度来首，根据数据将业务场景拆分成几个核心的技术问题：检测、识别、分割以及跟踪，针对这些问题以持续去做优化。
[0004]传统算法中，音视频处理中经常在开始时会有很多数据预处理，比如图像裁减、音视频平衡化等等，按照传统分类框架会提取各种特征：点特征、边缘特征、轮廓特征等等，音频中会有频谱特征以及一些实际特征。特征提取完成之后，需要串联一个比较强的分类器以及各种算法，针对各种问题再加入一些后处理，来进行分类识别。

技术实现思路

[0005]为了解决上述技术问题，本专利技术提供了一种基于卷积神经网络的智能流媒体视频大数据分析方法，包括以下步骤：
[0006]S100通过单帧预测器对流媒体视频数据进行分帧识别，得到图像帧；
[0007]S200将图像帧输入基于卷积神经网络的数据分析模型进行处理；r/>[0008]S300采用递归神经网络将各图像帧进行时序拟合，输出全场景化识别框架。
[0009]可选的，在S200步骤中，数据分析模型进行处理的方式如下：
[0010]S210将输入的各图像帧在结果层次进行参数共享，并对多图像帧进行了多任务深度学习；
[0011]S220采用数据分析模型中做解卷积处理进行分割；
[0012]S230采用数据分析模型中的本地CNN架构在图像层面做进行遍历滑动进行识别。
[0013]可选的，在S200步骤中，输入的图像帧为原始图像，基于卷积神经网络的数据分析模型中定义了损失函数和优化目标，进行深度学习，通过自我迭代，逐步达到优化收敛。
[0014]可选的，S200步骤中使用的所述数据分析模型的构建方法如下：
[0015]获得训练样本图像和测试样本图像；
[0016]构建卷积神经网络基础模型，包括配置卷积单元、激活单元和池化单元，读取卷积单元配置数据、激活单元配置数据、池化单元配置数据、卷积层的层数及全连接层的层数；根据卷积单元配置数据配置卷积单元、根据激活单元配置数据配置激活单元及根据池化单元配置数据配置池化单元，配置卷积层的层数、全连接层的层数构建成卷积神经网络基础
模型；
[0017]将训练样本图像输入卷积神经网络基础模型，经过前向传递和反向传递两个步骤反复循环更新网络的权值矩阵，其中，在前向传递时，在每个原始卷积核上，以手调核与原始卷积核的点乘对原始卷积核的调制，得到调制卷积核，以调制卷积核取代原始卷积核，进行神经网络的前向传递；直至达到设定次数训练过程结束，得到训练好的卷积神经网络模型；
[0018]将测试样本图像输入到训练好的卷积神经网络模型进行测试验证，进行优化调整，即得到数据分析模型。
[0019]可选的，在S200步骤中，依据流媒体视频数据构建只有特征模型部分的CNN模型构图，作为特征构图；
[0020]将图像帧的全连接层连接至特征构图，形成初级网络模型；使用训练数据集训练初级网络模型，提取初级网络模型中各层的特征图；
[0021]计算特征图和其相连图像帧的平均模型几何形状，并根据平均局部几何结构得到计算结果；
[0022]使用训练数据集并结合损失函数对预测模型进行训练，并用训练完成后的预测模型对输入图像进行深度预测，根据深度预测对后续图像帧进行优化调整。
[0023]可选的，在S100步骤中，对流媒体视频数据格式进行初始化，保留流媒体视频数据中的主要时间结构；采用时空辨识模型在捕捉流媒体视频数据内容中主要要素时，捕捉每个图像帧存在容易忽略的细节信息的关键区域，在每帧图片中选定并关注关键区域；
[0024]在S200步骤中，采用基于图像合成方法本地化的损失函数，接收包括关键区域的第一图像帧和包括细节信息的第二图像帧；分析图像帧以确定局部损失函数，合并第一图像帧和第二图像帧，生成包含细节信息呈现的流媒体视频数据。
[0025]可选的，在S210步骤中，构建参数共享的特征提取框架，特征提取框架包括多个卷积块的图像帧特征。
[0026]可选的，在S100步骤中，若流媒体视频数据同时用多个摄像装置进行采集，则对各摄像装置采用的媒体视频数据进行分帧识别后，还进行图像帧的筛选，筛选时，选定其中一个摄像装置的媒体视频数据为主选数据，其它摄像装置的媒体视频数据为副选数据，将主选数据中的各图像帧的图像质量逐一与处于其前一图像帧和后一图像帧时间段内副选数据的各图像帧经权值运算后图像质量进行比对，若主选数据的图像质量小于其中一个副选数据经权值运算后图像质量，则以该副选数据的图像帧替代主选数据的图像帧作为有效图像帧进行后续处理。
[0027]可选的，所述权值运算中采用的权值根据副选数据的摄像装置相对主选数据的摄像装置的采集角度系数进行确定。
[0028]可选的，在S220步骤中，选择可用的分割点用来分割所述图像帧，并将图像帧的这些被分割图像片断辨认为符号，将图像帧的图像片断与表示符号或者符号的一部分图像模板进行比较，其中，
[0029]图像帧的图像片断对应从第一分割点到第二分割点的分割点序列，比较得到与图像模板相关的候选图像片断，候选图像片断构成对图像帧的所述图像片断的辨认结果，每个候选图像片断与图像模板和所述图像帧的所述图像片断之间的匹配的度量相关，形成候
选图像片断的序列表示，序列表示包括对应图像帧中的分割点的数据块，其中，
[0030]数据块包括对与随后分割点相对应的数据块的数据索引，数据索引包括候选图像片断的信息以及分割点之间的图像帧的图像片断的相关的度量，将候选图像片断的序列表示与对照表进行比较，对照表设定被表示为符号序列，其中，
[0031]符号序列保持对被允许的随后的符号的数据索引，找到对应着对照表中被允许的符号序列的候选图像片断序列，以及将这些被允许的符号序列中的至少一个返回，作为图像帧的候选辨认结果。
[0032]本专利技术的基于卷积神经网络的智能流媒体视频大数据分析方法，采用基于卷积神经网络的数据分析模型替代现有技术采用的检测、识别、分割以及跟踪四个步骤，对于流媒体视频的数据端而言，数据不是人抽象化的数据，而是原始数据，不再抽象化的盘面特征预估，对于深度学习的目标端，能够把各种损失函数和优化目标定义清楚，给定了数据和优化目标，深度学习的过程是一个自我迭代，逐步优化收敛的过程；本专利技术的优点包括：一是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的智能流媒体视频大数据分析方法，其特征在于，包括以下步骤：S100通过单帧预测器对流媒体视频数据进行分帧识别，得到图像帧；S200将图像帧输入基于卷积神经网络的数据分析模型进行处理；S300采用递归神经网络将各图像帧进行时序拟合，输出全场景化识别框架。2.根据权利要求1所述的基于卷积神经网络的智能流媒体视频大数据分析方法，其特征在于，在S200步骤中，数据分析模型进行处理的方式如下：S210将输入的各图像帧在结果层次进行参数共享，并对多图像帧进行了多任务深度学习；S220采用数据分析模型中做解卷积处理进行分割；S230采用数据分析模型中的本地CNN架构在图像层面做进行遍历滑动进行识别。3.根据权利要求1所述的基于卷积神经网络的智能流媒体视频大数据分析方法，其特征在于，在S200步骤中，输入的图像帧为原始图像，基于卷积神经网络的数据分析模型中定义了损失函数和优化目标，进行深度学习，通过自我迭代，逐步达到优化收敛。4.根据权利要求1所述的基于卷积神经网络的智能流媒体视频大数据分析方法，其特征在于，S200步骤中使用的所述数据分析模型的构建方法如下：获得训练样本图像和测试样本图像；构建卷积神经网络基础模型，包括配置卷积单元、激活单元和池化单元，读取卷积单元配置数据、激活单元配置数据、池化单元配置数据、卷积层的层数及全连接层的层数；根据卷积单元配置数据配置卷积单元、根据激活单元配置数据配置激活单元及根据池化单元配置数据配置池化单元，配置卷积层的层数、全连接层的层数构建成卷积神经网络基础模型；将训练样本图像输入卷积神经网络基础模型，经过前向传递和反向传递两个步骤反复循环更新网络的权值矩阵，其中，在前向传递时，在每个原始卷积核上，以手调核与原始卷积核的点乘对原始卷积核的调制，得到调制卷积核，以调制卷积核取代原始卷积核，进行神经网络的前向传递；直至达到设定次数训练过程结束，得到训练好的卷积神经网络模型；将测试样本图像输入到训练好的卷积神经网络模型进行测试验证，进行优化调整，即得到数据分析模型。5.根据权利要求1所述的基于卷积神经网络的智能流媒体视频大数据分析方法，其特征在于，在S200步骤中，依据流媒体视频数据构建只有特征模型部分的CNN模型构图，作为特征构图；将图像帧的全连接层连接至特征构图，形成初级网络模型；使用训练数据集训练初级网络模型，提取初级网络模型中各层的特征图；计算特征图和其相连图像帧的平均模型几何形状，并根据平均局部几何结构得到计算结果；使用训练数据集并结合损失函数对预测模型进行训练，并用训练完成后的预测模型对输入图像进行深度预测，根据深度预测对后续图像帧进行优化调整。6.根据权利要求1所述的基于卷积神经网络的智能流媒体视频大数据分...

【专利技术属性】
技术研发人员：张才明，
申请(专利权)人：中国劳动关系学院，
类型：发明
国别省市：