【技术实现步骤摘要】
基于双流神经网络的视频行为预测方法、装置及介质
本专利技术涉及深度学习及人工智能
，具体涉及一种基于双流神经网络的视频行为预测方法、装置及介质。
技术介绍
视频分类是人工智能研究的重要方向之一，在实际生活中有着众多的应用。当前，随着大数据时代的来临，视频分类/行为识别是计算机视觉领域中非常有挑战性的课题，因为其不仅仅要分析目标体的空间信息，还要分析时间维度上的信息。如何更好的提取出空间-时间特征是问题的关键。视频分类算法在近些年得到了长足的进步，有些算法使用三维卷积，LSTM的方式处理视频数据，但视频数据往往冗余性大，且物体变化特性很难捕捉。
技术实现思路
针对上述技术缺陷，本专利技术实施例的目的在于提供一种基于双流神经网络的视频行为预测方法、装置及可读存储介质。为实现上述目的，第一方面，本专利技术实施例提供了一种基于双流神经网络的视频行为预测方法，包括：获取待处理的视频片段，对待处理的视频片段按相等间隔进行分段以得到多个分段视频；根据所述分段视频得到RGB图片和光流...
【技术保护点】
1.一种基于双流神经网络的视频行为预测方法，其特征在于，包括：/n获取待处理的视频片段，对待处理的视频片段按相等间隔进行分段以得到多个分段视频；/n根据所述分段视频得到RGB图片和光流图片；/n将所述RGB图片送入完成训练的双流神经网络模型的第一支路进行预测，以得到第一预测结果；/n同时将所述光流图片送入双流神经网络模型的第二支路进行预测，以得到第二预测结果；/n将所述第一预测结果和第二预测结果进行融合，以得到最终预测结果。/n
【技术特征摘要】
1.一种基于双流神经网络的视频行为预测方法，其特征在于，包括：
获取待处理的视频片段，对待处理的视频片段按相等间隔进行分段以得到多个分段视频；
根据所述分段视频得到RGB图片和光流图片；
将所述RGB图片送入完成训练的双流神经网络模型的第一支路进行预测，以得到第一预测结果；
同时将所述光流图片送入双流神经网络模型的第二支路进行预测，以得到第二预测结果；
将所述第一预测结果和第二预测结果进行融合，以得到最终预测结果。
2.如权利要求1所述的视频行为预测方法，其特征在于，所述第一支路或第二支路包括卷积层、池化层和输出层，所述卷积层用于对所述RGB图片或光流图片进行特征提取，以得到RGB图像特征或光流图像特征；所述池化层用于对所述RGB图像特征或光流图像特征进行特征降维和特征融合，以得到融合结果；所述输出层用于对所述融合进行行为预测，以得到所述第一预测结果或第二预测结果。
3.如权利要求2所述的视频行为检测方法，其特征在于，所述方法还包括训练所述双流神经网络模型，具体为：
获取样本视频，按相等间隔对所述样本视频进行分段，以得到短片段；
根据所述短片段，采用前向传播计算误差方法和反向传播更新模型权重方法训练所述双流神经网络模型。
4.如权利要求3所述的视频行为检测方法，其特征在于，采用前向传播计算误差方法和反向传播更新模型权重方法训练所述双流神经网络模型，具体包括：
S1：针对所述短片段进行建模：
Result＝H(G(F(T1；W),F(T2；W),…,F(Tk；W)))
其中F(Tk；W)函数代表采用W作为参数的卷积网络作用于短片段Tk，函数返回Tk相对于所有类别的得分；段共识函数G代表结合多个短片段的类别得分输出以获得他们之间关于类别假设的共识；基于该共识，预测函数H预测整段视频属于每个行为类别的概率；
S2：结合标准分类交叉熵损失，关于部分共识的最终损失函数L的形式为:
其中，C是行为总类别数，yi是类别数目；共识函数G采用最简单的形式，即Gi＝g(Fi(T1),…,Fi(Tk))，采用用聚合函数g从所有片段中相同类别的得分中推断出某个类别分数Gi；聚合函数g采用...
【专利技术属性】
技术研发人员：刘圭圭，李凡平，石柱国，
申请(专利权)人：北京以萨技术股份有限公司，青岛以萨数据技术有限公司，安徽以萨数据技术有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。