动作识别方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种动作识别方法、装置及电子设备，涉及图像处理技术领域，该方法包括：如果从视频帧中检测出目标对象，获取包含有该目标对象的多张图像，以及该多张图像的光流图像；从该多张图像中提取该目标对象的对象轨迹特征，从该多张图像的光流图像中提取该目标对象的光流轨迹特征；根据该对象轨迹特征和该光流轨迹特征，识别该目标对象的动作类型。本发明专利技术实施例通过结合视频帧中目标对象的轨迹信息，以及该图像的光流图像中该目标对象的光流信息，对目标对象的动作类型进行识别，由于融合了该目标对象的时间特征信息和空间特征信息，有效提高了动作类型的检测识别精度，并可以同时兼顾检测效率，提高了整体的检测性能。

【技术实现步骤摘要】
动作识别方法、装置及电子设备
本专利技术涉及图像处理
，尤其是涉及一种动作识别方法、装置及电子设备。
技术介绍
视频动作检测的任务是从视频中找出可能存在动作的片段，并对该动作所属的行为进行分类。随着国内外摄像设备的普及，对实时的在线视频动作检测也提出了更高的要求。目前，主流的在线视频动作检测方法多使用三维卷积网络，其计算量大，导致检测延迟高；而另一种使用二维卷积网络的视频动作检测方法，其计算速度较快，但是精度较低。整体而言，当前的在线视频动作检测方法无法同时兼顾检测精度和检测效率，整体性能较差。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种动作识别方法、装置及电子设备，可以同时兼顾在线视频动作检测的检测精度和检测效率，提高整体的检测性能。第一方面，本专利技术实施例提供了一种动作识别方法，包括：如果从视频帧中检测出目标对象，获取包含有该目标对象的多张图像，以及该多张图像的光流图像；从该多张图像中提取该目标对象的对象轨迹特征，从该多张图像的光流图像中提取该目标对象的光流轨迹特征；根据该对象轨迹特征和该光流轨迹特征，识别该目标对象的动作类型。在本专利技术较佳的实施例中，上述根据该对象轨迹特征和该光流轨迹特征，识别该目标对象的动作类型的步骤，包括：根据该对象轨迹特征和该光流轨迹特征，从该多张图像中确定发生动作的目标图像；根据该目标图像和该目标图像的光流图像，识别该目标对象的动作类型。在本专利技术较佳的实施例中，上述根据该对象轨迹特征和该光流轨迹特征，从该多张图像中确定发生动作的目标图像的步骤，包括：对该多张图像中的每张图像均执行下述操作：对图像中该目标对象的对象轨迹特征和光流轨迹特征进行拼接，得到该目标对象的复合轨迹特征；或者，将图像中该目标对象的对象轨迹特征和光流轨迹特征相加，得到该目标对象的复合轨迹特征；根据该目标对象的复合轨迹特征，从该多张图像中确定发生动作的目标图像。在本专利技术较佳的实施例中，上述根据该目标对象的复合轨迹特征，从该多张图像中确定发生动作的目标图像的步骤，包括：将该多张图像按时间顺序顺次排序；根据每个图像集包含的预设图像数，将排序后的该多张图像划分为多个图像集；对每一该图像集，按预设采样长度对该图像集中该目标对象的复合轨迹特征进行采样，得到该图像集的采样特征；将该图像集的采样特征输入到预先训练好的神经网络中，输出该图像集包含发生动作的图像的概率，该图像集中首张图像相对发生动作的图像区间始端的第一偏移量，以及该图像集中末张图像相对该图像区间末端的第二偏移量；根据该图像集包含发生动作的图像的概率，该第一偏移量和该第二偏移量，确定该图像集中发生动作的目标图像。在本专利技术较佳的实施例中，上述根据该目标对象的复合轨迹特征，从该多张图像中确定发生动作的目标图像的步骤，包括：对该多张图像中的每张图像，根据图像中该目标对象的复合轨迹特征，确定该图像作为动作起始图像的第一概率、该图像作为动作结束图像的第二概率、以及该图像发生了动作的第三概率；根据每张图像的第一概率、第二概率和第三概率，从该多张图像中确定发生动作的目标图像。在本专利技术较佳的实施例中，上述根据图像中该目标对象的复合轨迹特征，确定该图像作为动作起始图像的第一概率，该图像作为动作结束图像的第二概率，以及该图像发生了动作的第三概率的步骤，包括：将图像中该目标对象的复合轨迹特征，输入到预先训练好的神经网络中，输出该图像作为动作起始图像的第一概率、该图像作为动作结束图像的第二概率，以及该图像发生了动作的第三概率。在本专利技术较佳的实施例中，上述根据每张图像的该第一概率、该第二概率和该第三概率，从该多张图像中确定发生动作的目标图像的步骤，包括：根据该第一概率、该第二概率以及预设的概率要求，从该多张图像中确定满足该概率要求的动作起始图像和动作结束图像；根据该动作起始图像和该动作结束图像确定发生动作的图像集；按预设采样长度对该图像集中该目标对象的复合轨迹特征进行采样，得到该图像集的采样特征；将该图像集的采样特征，以及该图像集中每张图像的第三概率，输入预先训练好的神经网络中，输出该图像集包含发生动作的图像的概率；根据该图像集包含发生动作的图像的概率，确定发生动作的目标图像。在本专利技术较佳的实施例中，上述根据该动作起始图像和该动作结束图像确定发生动作的图像集的步骤，包括：将任一该动作起始图像作为起点，任一该动作结束图像作为终点，所对应的图像区间，确定为发生动作的图像集。在本专利技术较佳的实施例中，上述概率要求包括：如果该图像的第一概率大于预设的第一概率阈值，且大于该图像的前后两张图像的第一概率，将该图像确定为动作起始图像；如果该图像的第二概率大于预设的第二概率阈值，且大于该图像的前后两张图像的第二概率，将该图像确定为动作结束图像。在本专利技术较佳的实施例中，上述根据该图像集包含发生动作的图像的概率，确定发生动作的目标图像的步骤，包括：如果该图像集包含发生动作的图像的概率大于预设的第三概率阈值，将该图像集中的图像均确定为发生动作的目标图像。在本专利技术较佳的实施例中，上述根据该目标图像和该目标图像的光流图像，识别该目标对象的动作类型的步骤，包括：将该目标图像中该目标对象的对象轨迹特征，以及该目标图像的光流图像中该目标对象的光流轨迹特征，输入到预设的行为识别网络中，输出该目标图像中该目标对象的动作类型。在本专利技术较佳的实施例中，上述从该多张图像中提取该目标对象的对象轨迹特征，从该多张图像的光流图像中提取该目标对象的光流轨迹特征的步骤，包括：将该多张图像输入到预设的第一卷积神经网络中，输出该目标对象的对象轨迹特征；将该多张图像的光流图像输入到预设的第二卷积神经网络中，输出该目标对象的光流轨迹特征。第二方面，本专利技术实施例还提供了一种动作识别装置，包括：图像获取模块，用于如果从视频帧中检测出目标对象，获取包含有该目标对象的多张图像，以及该多张图像的光流图像；特征提取模块，用于从该多张图像中提取该目标对象的对象轨迹特征，从该多张图像的光流图像中提取该目标对象的光流轨迹特征；动作识别模块，用于根据该对象轨迹特征和该光流轨迹特征，识别该目标对象的动作类型。第三方面，本专利技术实施例还提供了一种电子设备，该电子设备包括处理器和存储器，该存储器存储有能够被该处理器执行的计算机可执行指令，该处理器执行该计算机可执行指令以实现上述动作识别方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述动作识别方法。本专利技术实施例带来了以下有益效果：本专利技术实施例提供的一种动作识别方法、装置及电子设备，如果从视频帧中检测出目标对象，获取包含有该目标对象的多张图像，以及该多张图像的光流图像；从该多张图像中提取该目标对象的对象轨迹特征，从该多张图像的光流图像中提取该目标对象的光流轨迹特征；根据该对象轨迹特征和该光流轨迹特征，识别该目标对象的动作类型。该方式中，通过结合视频帧图像中目标对象的轨迹信息，以及本文档来自技高网...

【技术保护点】
1.一种动作识别方法，其特征在于，包括：/n如果从视频帧中检测出目标对象，获取包含有所述目标对象的多张图像，以及所述多张图像的光流图像；/n从所述多张图像中提取所述目标对象的对象轨迹特征，从所述多张图像的光流图像中提取所述目标对象的光流轨迹特征；/n根据所述对象轨迹特征和所述光流轨迹特征，识别所述目标对象的动作类型。/n

【技术特征摘要】
1.一种动作识别方法，其特征在于，包括：
如果从视频帧中检测出目标对象，获取包含有所述目标对象的多张图像，以及所述多张图像的光流图像；
从所述多张图像中提取所述目标对象的对象轨迹特征，从所述多张图像的光流图像中提取所述目标对象的光流轨迹特征；
根据所述对象轨迹特征和所述光流轨迹特征，识别所述目标对象的动作类型。


2.根据权利要求1所述的动作识别方法，其特征在于，所述根据所述对象轨迹特征和所述光流轨迹特征，识别所述目标对象的动作类型的步骤，包括：
根据所述对象轨迹特征和所述光流轨迹特征，从所述多张图像中确定发生动作的目标图像；
根据所述目标图像和所述目标图像的光流图像，识别所述目标对象的动作类型。


3.根据权利要求2所述的动作识别方法，其特征在于，所述根据所述对象轨迹特征和所述光流轨迹特征，从所述多张图像中确定发生动作的目标图像的步骤，包括：
对所述多张图像中的每张图像均执行下述操作：对图像中所述目标对象的对象轨迹特征和光流轨迹特征进行拼接，得到所述目标对象的复合轨迹特征；或者，将图像中所述目标对象的对象轨迹特征和光流轨迹特征相加，得到所述目标对象的复合轨迹特征；
根据所述目标对象的复合轨迹特征，从所述多张图像中确定发生动作的目标图像。


4.根据权利要求3所述的动作识别方法，其特征在于，所述根据所述目标对象的复合轨迹特征，从所述多张图像中确定发生动作的目标图像的步骤，包括：
将所述多张图像按时间顺序顺次排序；
根据每个图像集包含的预设图像数，将排序后的所述多张图像划分为多个图像集；
对每一所述图像集，按预设采样长度对所述图像集中所述目标对象的复合轨迹特征进行采样，得到所述图像集的采样特征；
将所述图像集的采样特征输入到预先训练好的神经网络中，输出所述图像集包含发生动作的图像的概率，所述图像集中首张图像相对发生动作的图像区间始端的第一偏移量，以及所述图像集中末张图像相对所述图像区间末端的第二偏移量；
根据所述图像集包含发生动作的图像的概率，所述第一偏移量和所述第二偏移量，确定所述图像集中发生动作的目标图像。


5.根据权利要求3所述的动作识别方法，其特征在于，所述根据所述目标对象的复合轨迹特征，从所述多张图像中确定发生动作的目标图像的步骤，包括：
对所述多张图像中的每张图像，根据图像中所述目标对象的复合轨迹特征，确定所述图像作为动作起始图像的第一概率、所述图像作为动作结束图像的第二概率、以及所述图像发生了动作的第三概率；
根据每张图像的所述第一概率、所述第二概率和所述第三概率，从所述多张图像中确定发生动作的目标图像。


6.根据权利要求5所述的动作识别方法，其特征在于，所述根据图像中所述目标对象的复合轨迹特征，确定所述图像作为动作起始图像的第一概率，所述图像作为动作结束图像的第二概率，以及所述图像发生了动作的第三概率的步骤，包括：
将图像中所述目标对象的复合轨迹特征，输入到预先训练好的神经网络中，输出所述图像作为动作起始图像的第一概率、所述图像作为动作结束图像的第二概率，以及所述图像发生了动作的第三概率。


7.根据权利要求5或6所述的动作识别方法，其特征在于，所述根据每张图像的所述第一概率、所述第二概率和所述第三概率，从所述多张图像中确定发生动作的目标图像的步骤，包括：
根据所述第一概率、所述...

【专利技术属性】
技术研发人员：吴骞，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11