动作预测方法、装置、非易失性存储介质及电子设备制造方法及图纸

本申请公开了一种动作预测方法、装置、非易失性存储介质及电子设备。其中，该方法包括：获取目标视频数据，并将目标视频数据平均分割为第一预设数量份视频片段，其中，目标视频数据为实时更新的视频数据；从每个视频片段中随机抽取第二预设数量帧图像，并依据第二预设数量帧图像得到每个视频片段对应的局部视频特征信息；依据各个视频片段对应的局部视频特征信息，得到目标视频数据对应的全局视频特征信息；依据全局视频特征信息对目标视频数据中的目标对象的动作进行预测。本申请解决了相关技术中没有充分利用视频中包含的不同时间尺度的特征信息导致预测结果不佳的技术问题。的特征信息导致预测结果不佳的技术问题。的特征信息导致预测结果不佳的技术问题。

【技术实现步骤摘要】
动作预测方法、装置、非易失性存储介质及电子设备


[0001]本申请涉及图像处理领域，具体而言，涉及一种动作预测方法、装置、非易失性存储介质及电子设备。

技术介绍

[0002]相关技术中在对交通视频中的行人行为进行预测时，从交通视频中所提取的特征通常为单一时间尺度的特征，没有很好地利用不同时间尺度的视频中所包含的特征信息，导致存在特征冗余和建模过程复杂的问题，并且相关技术中是对离线视频进行处理，导致预测效果不佳。
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本申请实施例提供了一种动作预测方法、装置、非易失性存储介质及电子设备，以至少解决相关技术中没有充分利用视频中包含的不同时间尺度的特征信息导致预测结果不佳的技术问题。
[0005]根据本申请实施例的一个方面，提供了一种动作预测方法，包括：获取目标视频数据，并将目标视频数据平均分割为第一预设数量份视频片段，其中，目标视频数据为实时更新的视频数据；从每个视频片段中随机抽取第二预设数量帧图像，并依据第二预设数量帧图像得到每个视频片段对应的局部视频特征信息；依据各个视频片段对应的局部视频特征信息，得到目标视频数据对应的全局视频特征信息；依据全局视频特征信息对目标视频数据中的目标对象的动作进行预测。
[0006]可选地，依据第二预设数量帧图像得到每个视频片段对应的局部视频特征信息的步骤包括：对第二预设数量帧图像的色彩信息进行下采样，得到每个视频片段对应的色差特征信息；通过二维卷积网络处理色差特征信息和第二预设数量帧图像，得到每个视频片段对应的局部视频特征信息。
[0007]可选地，通过二维卷积网络处理色差特征信息和第二预设数量帧图像，得到每个视频片段对应的局部视频特征信息的步骤包括：采用二维卷积神经网络处理色差特征信息，得到每个视频片段的深层特征信息；采用二维卷积神经网络处理第二预设数量帧图像，得到每个视频片段的原始特征信息；融合深层特征信息，原始特征信息和色差特征信息，得到每个视频片段对应的局部视频特征信息。
[0008]可选地，依据各个视频片段对应的局部视频特征信息，得到目标视频数据对应的全局视频特征信息的步骤包括：在目标视频数据更新后，确定更新后的目标视频数据相比于更新前的目标视频数据增加的第三预设数量个视频片段；确定第三预设数量个视频片段中的各个视频片段的局部视频特征信息；依据第三预设数量个视频片段对应的局部视频特征信息对全局视频特征信息进行更新。
[0009]可选地，依据第三预设数量个视频片段对应的局部视频特征信息对全局视频特征
信息进行更新的步骤包括：确定视频片段的生成时间信息；依据生成时间信息，保留第三预设数量个视频片段和第一预设数量个视频片段中最近生成的预设数量个视频片段对应的局部视频特征信息；依据预设数量个视频片段对应的局部视频特征信息生成全局视频特征信息。
[0010]可选地，依据各个视频片段对应的局部视频特征信息，得到目标视频数据对应的全局视频特征信息的步骤包括：将全部的局部视频特征信息输入到循环神经网络模型中，得到循环神经网络模型输出的全局视频特征信息。
[0011]可选地，依据全局视频特征信息对目标视频数据中的目标对象的动作进行预测的步骤之后，动作预测方法还包括：确定预测动作的动作类型，其中，动作类型包括异常动作类型和正常动作类型，异常动作类型为存在安全隐患的动作类型；在预测动作的动作类型为异常动作类型的情况下，生成警示信息。
[0012]根据本申请实施例的另一方面，还提供了一种动作预测装置，包括：第一处理模块，用于获取目标视频数据，并将目标视频数据平均分割为第一预设数量份视频片段，其中，目标视频数据为实时更新的视频数据；第二处理模块，用于对每个视频片段而言，从每个视频片段中随机抽取第二预设数量帧图像，并依据第二预设数量帧图像得到每个视频片段对应的局部视频特征信息；第三处理模块，用于依据各个视频片段对应的局部视频特征信息，得到目标视频数据对应的全局视频特征信息；第四处理模块，用于依据全局视频特征信息对目标视频数据中的目标对象的动作进行预测。
[0013]根据本申请实施例的另一方面，还提供了一种非易失性存储介质，非易失性存储介质中存储有程序，其中，在程序运行时控制非易失性存储介质所在设备执行动作预测方法。
[0014]根据本申请实施例的另一方面，还提供了一种电子设备，电子设备包括处理器和存储器，处理器用于运行存储在存储器中的程序，其中，程序运行时执行动作预测方法。
[0015]在本申请实施例中，采用获取目标视频数据，并将目标视频数据平均分割为第一预设数量份视频片段，其中，目标视频数据为实时更新的视频数据；对每个视频片段而言，从每个视频片段中随机抽取第二预设数量帧图像，并依据第二预设数量帧图像得到每个视频片段对应的局部视频特征信息；依据各个视频片段对应的局部视频特征信息，得到目标视频数据对应的全局视频特征信息；依据全局视频特征信息对目标视频数据中的目标对象的动作进行预测的方式，通过获取视频中各个视频片段的局部特征，并根据局部特征得到全局特征，达到了综合考虑不同时间尺度的图像特征的目的，从而实现了避免特征冗余的技术效果，进而解决了相关技术中没有充分利用视频中包含的不同时间尺度的特征信息导致预测结果不佳技术问题。
附图说明
[0016]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0017]图1是根据本申请实施例提供的一种计算机终端的结构示意图；
[0018]图2是根据本申请实施例提供的一种动作预测方法的流程示意图；
[0019]图3是根据本申请实施例提供的一种特征提取流程的流程示意图；
[0020]图4是根据本申请实施例提供的一种动作预测流程的流程示意图；
[0021]图5是根据本申请实施例提供的一种动作预测装置的结构示意图。
具体实施方式
[0022]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0023]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动作预测方法，其特征在于，包括：获取目标视频数据，并将所述目标视频数据平均分割为第一预设数量份视频片段，其中，所述目标视频数据为实时更新的视频数据；从每个所述视频片段中随机抽取第二预设数量帧图像，并依据所述第二预设数量帧图像得到每个所述视频片段对应的局部视频特征信息；依据各个所述视频片段对应的局部视频特征信息，得到所述目标视频数据对应的全局视频特征信息；依据所述全局视频特征信息对所述目标视频数据中的目标对象的动作进行预测。2.根据权利要求1所述的动作预测方法，其特征在于，所述依据所述第二预设数量帧图像得到每个所述视频片段对应的局部视频特征信息的步骤包括：对所述第二预设数量帧图像的色彩信息进行下采样，得到每个所述视频片段对应的色差特征信息；通过二维卷积网络处理所述色差特征信息和所述第二预设数量帧图像，得到每个所述视频片段对应的所述局部视频特征信息。3.根据权利要求2所述的动作预测方法，其特征在于，所述通过二维卷积网络处理所述色差特征信息和所述第二预设数量帧图像，得到每个所述视频片段对应的所述局部视频特征信息的步骤包括：采用所述二维卷积神经网络处理所述色差特征信息，得到每个所述视频片段的深层特征信息；采用所述二维卷积神经网络处理所述第二预设数量帧图像，得到每个所述视频片段的原始特征信息；融合所述深层特征信息，所述原始特征信息和所述色差特征信息，得到每个所述视频片段对应的所述局部视频特征信息。4.根据权利要求1所述的动作预测方法，其特征在于，所述依据各个所述视频片段对应的局部视频特征信息，得到所述目标视频数据对应的全局视频特征信息的步骤包括：在所述目标视频数据更新后，确定更新后的所述目标视频数据相比于更新前的所述目标视频数据增加的第三预设数量个视频片段；确定所述第三预设数量个视频片段中的各个视频片段的所述局部视频特征信息；依据所述第三预设数量个视频片段对应的所述局部视频特征信息对所述全局视频特征信息进行更新。5.根据权利要求4所述的动作预测方法，其特征在于，所述依据所述第三预设数量个视频片段对应的所述局部视频特征信息对所述...

【专利技术属性】
技术研发人员：袁昌龙，王琳，吕方惠，夏敏，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：