基于多角度视频的动作识别方法及相关设备技术

本发明专利技术实施例公开了一种基于多角度视频的动作识别方法及相关设备，相关实施例可应用于云技术、云安全、人工智能、智慧交通等各种场景。其中，该方法包括：获取对目标对象采集的多角度的N个检测视频，并在对每个检测视频进行图像帧抽取处理和加权融合处理后，得到用于对检测视频中的目标对象在相应拍摄角度下执行的动作信息进行记录的动作描述图，那么，通过对动作描述图的信息融合处理，可得到记录了目标对象在多个不同拍摄角度下的动作信息的动作融合描述图，进而基于对该动作融合描述图的识别处理，可得到针对目标对象是否执行了目标动作的识别结果，基于对多角度的动作信息的结合识别过程，可提升对目标动作进行动作识别的准确度。准确度。准确度。

【技术实现步骤摘要】
基于多角度视频的动作识别方法及相关设备


[0001]本申请涉及计算机
，尤其涉及一种基于多角度视频的动作识别方法及相关设备。

技术介绍

[0002]随着互联网技术的不断深入发展，可采用计算机技术辅助用户的生产和生活，如可基于计算机技术辅助用户进行动作的判别等。而当前在基于计算机技术进行动作判别时，主要是通过对用户佩戴设备的传感器的采集数据的分析进行确定的，而由于用户佩戴设备中的传感器的精度较低，且在环境中受到干扰能力差，那么自然地，基于对传感器的采集数据进行分析，从而进行动作判别的方式存在准确度较低的问题。

技术实现思路

[0003]本申请实施例提供了一种基于多角度视频的动作识别方法及相关设备，可提升对目标视频数据中的对象进行目标动作识别时的准确度。
[0004]一方面，本专利技术实施例提供了一种基于多角度视频的动作识别方法，包括：获取针对目标对象采用多个不同的拍摄角度拍摄得到的N个检测视频，其中，所述N为大于等于2的正整数；对所述N个检测视频进行图像帧抽取处理和加权融合处理，得到M个动作描述图，其中，所述M为正整数，一个动作描述图用于对检测视频中的目标对象在相应拍摄角度下执行的动作信息进行记录；对每个动作描述图记录的动作信息进行信息融合处理，得到用于描述所述目标对象在多个不同拍摄角度的动作信息的动作融合描述图；根据所述动作融合描述图对所述目标对象执行的动作进行识别处理，得到针对所述目标对象的动作识别结果，所述动作识别结果用于表征所述目标对象是否执行目标动作。
[0005]再一方面，本专利技术实施例提供了一种基于多角度视频的动作识别装置，包括：获取单元，用于获取针对目标对象采用多个不同的拍摄角度拍摄得到的N个检测视频，其中，所述N为大于等于2的正整数；处理单元，用于对所述N个检测视频进行图像帧抽取处理和加权融合处理，得到M个动作描述图，其中，所述M为正整数，一个动作描述图用于对检测视频中的目标对象在相应拍摄角度下执行的动作信息进行记录；所述处理单元，还用于对每个动作描述图记录的动作信息进行信息融合处理，得到用于描述所述目标对象在多个不同拍摄角度的动作信息的动作融合描述图；识别单元，用于根据所述动作融合描述图对所述目标对象执行的动作进行识别处理，得到针对所述目标对象的动作识别结果，所述动作识别结果用于表征所述目标对象是否执行目标动作。
[0006]再一方面，本专利技术实施例提供了一种计算机设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储支持计算机设备执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如下步骤：获取针对目标对象采用多个不同的拍摄角度拍摄得到的N个检测视频，其中，所述N为大于等于2的正整数；对所述N个检测视频进行图像帧抽取处理和加权融合处理，得到M个动作描述图，其中，所述M为正整数，一个动作描述图用于对检测视频中的目标对象在相应拍摄角度下执行的动作信息进行记录；对每个动作描述图记录的动作信息进行信息融合处理，得到用于描述所述目标对象在多个不同拍摄角度的动作信息的动作融合描述图；根据所述动作融合描述图对所述目标对象执行的动作进行识别处理，得到针对所述目标对象的动作识别结果，所述动作识别结果用于表征所述目标对象是否执行目标动作。
[0007]再一方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序指令，所述程序指令被处理器执行时，所述程序指令被处理器执行时，用于执行如第一方面所述的基于多角度视频的动作识别方法。
[0008]在本申请实施例中，计算机设备在对目标对象进行动作识别，以确定该目标对象执行的动作是否为目标动作的过程中，可先获取对该目标对象采用不同的角度进行拍摄所得到的多个检测视频，进而可对获取到的多个检测视频中的每个检测视频进行图像帧抽取处理和加权融合处理，并得到多个动作描述图，在得到每个检测视频的动作描述图后，基于动作描述图中对该目标对象在相应拍摄角度下执行的动作的相关信息的记录，可使计算机设备进一步地可对得到的动作描述图进行信息融合处理，从而得到该目标对象的动作融合描述图，以使计算机设备可获取到目标对象在不同角度下的动作信息，那么，基于计算机设备对动作融合描述图的识别处理，可使计算机设备获取到目标对象在不同拍摄角度下对应的动作信息，从而可实现对目标对象在不同角度的动作进行识别，从而可使计算机设备基于对动作融合描述图的识别处理，实现对目标对象在多角度执行动作的识别，也就可提升计算机设备在对目标对象进行动作判别的准确度和置信度。
附图说明
[0009]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0010]图1是本专利技术实施例提供的一种针对对象的动作识别系统的示意图；图2是本专利技术实施例提供的一种基于多角度视频的动作识别方法的示意流程图；图3是本专利技术实施例提供的一种动作的示意图；图4是本专利技术实施例提供的另一种基于多角度视频的动作识别方法的示意流程图；图5a是本专利技术实施例提供的一种第一算法对应执行代码的示意图；
图5b是本专利技术实施例提供的一种第二算法对应执行代码的示意图；图5c是本专利技术实施例提供的一种基于多角度视频的动作识别方法的示意图；图5d是本专利技术实施例提供的一种采用不同方法进行动作检测的对比结果的示意图；图5e是本专利技术实施例提供的一种目标动作检测输出结果的示意图；图6是本专利技术实施例提供的一种动作识别装置的示意性框图；图7是本专利技术实施例提供的一种计算机设备的示意性框图。
具体实施方式
[0011]本申请实施例提出了一种基于多角度视频的动作识别方法，使计算机设备可在检测目标对象是否执行目标动作时，先获取对目标对象进行不同角度拍摄，从而得到多个检测视频，从而可进一步对每个检测视频对应的动作描述图中记录的动作信息进行信息融合处理，得到用于描述该目标对象在多个不同角度的动作信息的动作融合描述图，进而使得计算机设备可根据对动作融合描述图中记录的，该目标对象在多个不同角度的动作信息的识别结果，确定目标对象是否执行目标动作，从而也就使计算机设备实现了在对目标对象进行目标动作检测时，是基于该目标对象的多视角拍摄信息进行目标动作检测的，也就可提升计算机设备在进行目标动作判别时的准确性和可信性。其中，该目标对象可以指某个类型下的随机对象，如任意的人物和/或任意的动物等；或，该目标对象也可以是指特定类型的对象，如60岁（或70岁等）以上的老年人和/或爬行动物等，而在本申请实施例中，主要以目标对象为人物进行详细说明。此外，该目标动作可以是摔倒动作，跑步动作，或者违规动作等，因此，基于对目标对象的目标动作检测，可确定该目标对象当前所处的对象状态，如可根据摔倒动作确定目标对象是否摔跤，根据跑步动作确定目标对象是否进行身体锻炼，而基于违规动作确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多角度视频的动作识别方法，其特征在于，包括：获取针对目标对象采用多个不同的拍摄角度拍摄得到的N个检测视频，其中，N为大于等于2的正整数；对所述N个检测视频进行图像帧抽取处理和加权融合处理，得到M个动作描述图，其中，M为正整数，一个动作描述图用于对检测视频中的目标对象在相应拍摄角度下执行的动作信息进行记录；对每个动作描述图记录的动作信息进行信息融合处理，得到用于描述所述目标对象在多个不同拍摄角度的动作信息的动作融合描述图；根据所述动作融合描述图对所述目标对象执行的动作进行识别处理，得到针对所述目标对象的动作识别结果，所述动作识别结果用于表征所述目标对象是否执行目标动作。2.如权利要求1所述的方法，其特征在于，任一动作描述图是通过调用多分枝卷积神经网络的一个分枝网络，对任一检测视频进行图像帧抽取处理和加权融合处理后得到的，所述多分枝卷积神经网络还包括主干网络；所述对每个动作描述图记录的动作信息进行信息融合处理，得到用于描述所述目标对象在多个不同拍摄角度的动作信息的动作融合描述图，包括：调用任一分枝网络对所述M个动作描述图中的任一动作描述图所记录的动作信息进行提取，得到所述任一动作描述图在对应拍摄角度下的动作信息；调用所述主干网络对由每个动作描述图提取到的对应拍摄角度下的动作信息进行信息融合处理，得到用于描述所述目标对象在多个不同拍摄角度的动作信息的动作融合描述图。3.如权利要求1所述的方法，其特征在于，一个动作描述图是对一个检测视频进行图像帧抽取处理和加权融合处理得到的；得到任一动作描述图的方式包括：对任一检测视频进行图像帧抽取处理，得到所述任一检测视频的一个或多个参考图像帧；获取任一参考图像帧对应的重要度分数，所述重要度分数用于表征相应参考图像帧的重要程度；采用重要度分数对相应参考图像帧进行加权求和，得到所述任一检测视频对应的动作描述图。4.如权利要求3所述的方法，其特征在于，所述对任一检测视频进行图像帧抽取处理，得到所述任一检测视频的一个或多个参考图像帧，包括：基于任一检测视频中各图像帧的显示顺序对所述任一检测视频进行图像帧抽取处理，得到所述任一检测视频对应的表征序列，将所述表征序列中包括的图像帧作为参考图像帧，或者；获取滑动窗口，并基于所述滑动窗口对所述任一检测视频进行图像帧抽取处理，将处于所述滑动窗口内的图像帧作为参考图像帧。5.如权利要求3所述的方法，其特征在于，所述获取任一参考图像帧对应的重要度分数，包括：获取用于表征所述一个或多个参考图像帧中的任一参考图像帧在对应检测视频中的显示时间的时间序列，所述时间序列包括的一个显示时间与一个参考图像帧相对应；
基于所述时间序列，对所述任一参考图像帧的显示时间进行调和处理，得到用于表征相应显示时间在进行动作描述时的时间重要度；将所述时间重要度作为与相应显示时间对应的任一参考图像帧的重要度分数。6.如权利要求3所述的方法，其特征在于，所述采用重要度分数对相应参考图像帧进行加权求和，得到所述任一检测视频对应的动作描述图，包括：若采用第一算法得到动作描述图，则获取所述一个或多个参考图像帧中每个参考图像帧的特征向量；采用任一参考图像帧的重要度分数，对相应特征向量进行加权求和，得到所述任一检测视频的表征向量；对所述表征向量进行还原重构处理，得到所述任一检测视频的动作描述图。7.如权利要求6所述的方法，其特征在于，所述第一算法由第一表达式进行表示；所述方法还包括：获取动作描述图的理论表达式，并对所述理论表达式进行一步近似求导处理，得到所述动作描述图的近似表达式，所述近似表达式用于表征在所述动作描述图中对应像素变化的梯度变...

【专利技术属性】
技术研发人员：丁强刚，黄予，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：