视频人体关键点检测方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:21548605 阅读:36 留言:0更新日期:2019-07-06 21:51
本发明专利技术涉及一种视频人体关键点检测方法,包括:提取待检测视频中的多帧待检测图像;获取多帧所述待检测图像之间的光流场,以及获取各所述待检测图像的特征图;根据所述光流场将所述特征图融合,得到所述待检测图像的增强特征图;将所述增强特征图输入预设神经网络,得到所述待检测图像中的人体关键点。通过提取多帧图像之间的光流场,对待检测图像进行增强,进而提高视频关键点检测的准确率。

Video Human Key Point Detection Method, Device, Computer Equipment and Storage Media

【技术实现步骤摘要】
视频人体关键点检测方法、装置、计算机设备和存储介质
本专利技术涉及图像处理领域,特别是涉及一种视频人体关键点检测方法、装置、计算机设备和存储介质。
技术介绍
人体关键点检测研究的是如何对图像中人体的各个关键点准确地识别和定位,它是动作识别、人机交互等诸多计算机视觉应用的基础。目前视频人体关键点检测上通常采用“自底向上”和“自顶向下”两种方法,但这两种算法都只是简单的将视频分解为若干帧,再利用单帧的处理算法进行逐帧处理,没有利用帧间的时域信息,导致人体关键点检测准确率较低。
技术实现思路
本专利技术的目的在于提供一种视频人体关键点检测方法、装置、计算机设备和可读存储介质,可以有效提高视频中人体关键点检测的准确性。本专利技术的目的通过如下技术方案实现:一种视频人体关键点检测方法,所述方法包括:提取待检测视频中的多帧待检测图像;获取多帧所述待检测图像之间的光流场,以及获取各所述待检测图像的特征图;根据所述光流场将所述特征图融合,得到所述待检测图像的增强特征图;将所述增强特征图输入预设神经网络,得到所述待检测图像中的人体关键点。在一个实施例中,所述待检测图像包括当前帧图像和至少一个历史帧图像;所述提取待检测视频中的多帧待检测图像的步骤,包括:提取所述待检测视频中的当前帧图像;提取所述待检测视频中至少一个历史帧图像,所述历史帧图像的取帧时刻位于所述当前帧图像之前且与所述当前帧图像相邻。在一个实施例中,所述获取多帧所述待检测图像之间的光流场,以及获取各所述待检测图像的特征图的步骤,包括:获取所述当前帧图像和所述历史帧图像之间的光流场;获取所述当前帧图像的当前特征图,以及获取所述历史帧图像的历史特征图。在一个实施例中,所述获取所述当前帧图像和所述历史帧图像之间的光流场的步骤,包括:将所述当前帧图像和所述历史帧图像输入预设神经光流网络,得到所述当前帧图像和所述历史帧图像之间的光流场。在一个实施例中,所述根据所述光流场将所述特征图融合,得到所述待检测图像的增强特征图的步骤,包括:根据所述光流场将所述历史特征图向所述当前特征图对齐,得到对齐特征图;将所述对齐特征图和所述当前特征图进行时域融合,得到所述增强特征图。在一个实施例中,所述获取所述当前帧图像和所述历史帧图像之间的光流场的步骤,包括:将所述当前帧图像和所述历史帧图像输入预设神经光流网络,得到所述当前帧图像和所述历史帧图像之间的光流场,还得到尺度场;其中,所述尺度场与所述特征图维度相同。在一个实施例中,所述根据所述光流场将所述特征图融合,得到所述待检测图像的增强特征图的步骤,包括:根据所述光流场将所述历史特征图向所述当前特征图对齐,得到对齐特征图;将所述对齐特征图和所述尺度场相乘得到细化特征图;将所述细化特征图和所述当前特征图进行时域融合,得到所述增强特征图。一种视频人体关键点检测装置,所述装置包括:图像提取模块,用于提取待检测视频中的多帧待检测图像;光流特征提取模块,用于获取多帧所述待检测图像之间的光流场,以及获取各所述待检测图像的特征图;图像增强模块,用于根据所述光流场将所述特征图融合,得到所述待检测图像的增强特征图;关键点检测模块,用于将所述增强特征图输入预设神经网络,得到所述待检测图像中的人体关键点。一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时上述步骤。一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述步骤。本专利技术提供的视频人体关键点检测方法,其提取待检测视频中的多帧待检测图像;获取多帧所述待检测图像之间的光流场,以及获取各所述待检测图像的特征图;根据所述光流场将所述特征图融合,得到所述待检测图像的增强特征图;将所述增强特征图输入预设神经网络,得到所述待检测图像中的人体关键点。通过提取多帧图像之间的光流场,对待检测图像进行增强,进而提高视频关键点检测的准确率。附图说明图1为一个实施例中视频人体关键点检测方法的应用环境图;图2为一个实施例中视频人体关键点检测方法的流程示意图;图3为另一个实施例中视频人体关键点检测方法的流程示意图;图4为另一个实施例中视频人体关键点检测装置的结构框图;图5为一个实施例中计算机设备的内部结构图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本专利技术进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本专利技术,并不限定本专利技术的保护范围。本申请提供的视频人体关键点检测方法可以应用于如图1所示的应用环境中。该应用环境包括服务器104和摄像装置102,服务器104从摄像装置102中获取待检测视频,并提取待检测视频中的多帧待检测图像;服务器104获取多帧所述待检测图像之间的光流场,以及获取各所述待检测图像的特征图;服务器104根据所述光流场将所述特征图融合,得到所述待检测图像的增强特征图;服务器104将所述增强特征图输入预设神经网络,得到所述待检测图像中的人体关键点。其中,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现;摄像装置可以采用摄像头、相机、手机等等具有摄像功能的装置实现。在一个实施例中,如图2所示,提供了一种视频人体关键点检测方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:步骤S202,提取待检测视频中的多帧待检测图像。在本步骤中,待检测图像包括当前帧图像和至少一个历史帧图像。在具体实施过程中,步骤S202的提取待检测视频中的多帧待检测图像,包括:1)提取所述待检测视频中的当前帧图像;2)提取所述待检测视频中至少一个历史帧图像,所述历史帧图像的取帧时刻位于所述当前帧图像之前且与所述当前帧图像相邻。例如,可以提取相邻的三帧图像,将最后一帧图像作为当前帧图像,将前面两帧图像作为历史帧图像。步骤S204,获取多帧所述待检测图像之间的光流场,以及获取各所述待检测图像的特征图。在本步骤中,光流估计是根据两个观测瞬间之间的物体表面、形状等的变化从而计算出物体运动变化的一种方法。光流表征的是两幅图像间的运动信息,它反映的是前一帧图像中的像素运动到后一帧图像的瞬时速度。在本实施例中,采用Flownet2S网络来进行帧间的光流估计。如图3所示,在一个实施例中,步骤S204的获取多帧所述待检测图像之间的光流场,以及获取各所述待检测图像的特征图,包括:步骤S410,获取所述当前帧图像和所述历史帧图像之间的光流场;步骤S420,获取所述当前帧图像的当前特征图,以及获取所述历史帧图像的历史特征图。在一个实施例中,步骤S410的获取所述当前帧图像和所述历史帧图像之间的光流场,可以包括:将所述当前帧图像和所述历史帧图像输入预设神经光流网络,得到所述当前帧图像和所述历史帧图像之间的光流场。具体的,用Mi→k来表示一个通过Flownet2S而计算得到第i帧到第k帧的二维光流场。假设某一像素在第i帧位于位置p,在第k帧是该像素运动到位置q,那么则有q=p+δp,其中δp=Mi→k(p);进行特征对齐前,需要通过双线性插值将光流缩放到特征图的相同尺寸;由于上式中δp大都是小数,所以需要通过式(1)来实现特征对齐。其中c表示的是特征图f的一个通道,q遍历特征图上的每一个坐标,G是双线性插值变换核。由于G是二维的,可本文档来自技高网...

【技术保护点】
1.一种视频人体关键点检测方法,其特征在于,所述方法包括:提取待检测视频中的多帧待检测图像;获取多帧所述待检测图像之间的光流场,以及获取各所述待检测图像的特征图;根据所述光流场将所述特征图融合,得到所述待检测图像的增强特征图;将所述增强特征图输入预设神经网络,得到所述待检测图像中的人体关键点。

【技术特征摘要】
1.一种视频人体关键点检测方法,其特征在于,所述方法包括:提取待检测视频中的多帧待检测图像;获取多帧所述待检测图像之间的光流场,以及获取各所述待检测图像的特征图;根据所述光流场将所述特征图融合,得到所述待检测图像的增强特征图;将所述增强特征图输入预设神经网络,得到所述待检测图像中的人体关键点。2.根据权利要求1所述的方法,其特征在于,所述待检测图像包括当前帧图像和至少一个历史帧图像;所述提取待检测视频中的多帧待检测图像的步骤,包括:提取所述待检测视频中的当前帧图像;提取所述待检测视频中至少一个历史帧图像,所述历史帧图像的取帧时刻位于所述当前帧图像之前且与所述当前帧图像相邻。3.根据权利要求2所述的方法,其特征在于,所述获取多帧所述待检测图像之间的光流场,以及获取各所述待检测图像的特征图的步骤,包括:获取所述当前帧图像和所述历史帧图像之间的光流场;获取所述当前帧图像的当前特征图,以及获取所述历史帧图像的历史特征图。4.根据权利要求3所述的方法,其特征在于,所述获取所述当前帧图像和所述历史帧图像之间的光流场的步骤,包括:将所述当前帧图像和所述历史帧图像输入预设神经光流网络,得到所述当前帧图像和所述历史帧图像之间的光流场。5.根据权利要求4所述的方法,其特征在于,所述根据所述光流场将所述特征图融合,得到所述待检测图像的增强特征图的步骤,包括:根据所述光流场将所述历史特征图向所述当前特征图对齐,得到对齐特征图;将所述对齐特征图和所述当前特征图进...

【专利技术属性】
技术研发人员:张樯张挺李斌李司同崔洪
申请(专利权)人:北京环境特性研究所
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1