一种关节点信息的获取方法及装置制造方法及图纸

技术编号:24965156 阅读:39 留言:0更新日期:2020-07-21 15:08
本发明专利技术提供了一种关节点信息的获取方法及装置。本发明专利技术实施例提供的关节点信息的获取方法及装置,综合利用多个深度摄像头的关节点坐标信息,从而可以避免部分摄像头的图像中丢失某个(些)关节点的情况,提高了关节点信息的完整性和准确性,进而可以为后续基于关节点信息进行步态分析提供更好的数据支持。另外,本发明专利技术实施例还通过关节点的补全和/或修正处理,提高了关节点信息的正确性和完整性。另外,本发明专利技术实施例还基于各帧图像中目标对象的深度信息的精度的高低情况,为关节点位置坐标设置与精度正相关的权值,基于该权值进行关节点坐标的综合处理,可以进一步提高关节点位置坐标的准确性。

A method and device for obtaining joint point information

【技术实现步骤摘要】
一种关节点信息的获取方法及装置
本专利技术涉及视频图像处理
,具体涉及一种关节点信息的获取方法及装置。
技术介绍
在视频图像处理领域中,一种应用场景是通过视频图像采集目标对象(如行人、动物)的步态,进而通过对步态进行分析,获取目标对象的健康信息。步态通常是指对象行走的方式和风格。以行人为例,一个人的步态是自身结构与功能、运动调节系统、个人行为及心理活动在行走时的外在表现。因此在康复、医疗和养老等领域,步态分析可为诊断疾病、确定康复和治疗方案提供重要的依据。步态特征包括运动学(如关节点的空间位置坐标、角度、速度、角速度、加速度等)、动力学(地面反力、关节点受力、力矩等)、肌电、能量消耗等多方面参数。空间位置坐标是运动学分析的基础数据。本文中主要涉及关节点的空间位置坐标。现有技术的一种基于数字视频和数字图像处理的步态分析方法,在人身上粘贴标志点,并通过单个摄像机拍摄行人走路的视频信息,在硬盘上形成数字视频文件,然后把数字视频文件切分成图像序列,以便后面的图像处理。通过图像处理,识别出每一幅图像中标志点的坐标,有了标志点的坐标,就可以计算出步态中的运动学参数。上述方法通过在行人身上手动贴上标志点,基于图像分析跟踪不同行人(模板匹配技术),并计算运动信息(运动估计技术)。上述方法在实际应用中通常存在以下问题:单个摄像机在拍摄行走的人员时,由于人员行走导致行人相对于摄像头的角度发生变化,容易会出现部分关节点缺失,造成步态信息不完整而无法进行有效分析。另外,当现场人员有多人,当多个人员位置相对较近时,关节点检测技术精度降低,容易出现关节点检测错位的情况,造成步态信息错误而无法进行有效分析。
技术实现思路
本专利技术实施例要解决的技术问题是提供一种关节点信息的获取方法及装置,提高关节点信息的准确性和完整性。为解决上述技术问题,本专利技术实施例提供关节点信息的获取方法,包括:获取至少2个摄像头拍摄的观测区域内目标对象的视频,所述至少2个摄像头位于所述观测区域的不同位置,通过不同拍摄角度拍摄所述观测区域;根据每个摄像头所拍摄的视频及对应深度信息,分别获取每帧图像中所述目标对象的关节点,得到该图像中的关节点坐标信息;对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合,得到综合后的关节点坐标信息。优选的,所述根据每个摄像头所拍摄的视频及对应深度信息,分别获取每帧图像中所述目标对象的关节点,得到该图像中的关节点坐标信息的步骤,包括:针对每个摄像头所拍摄的视频的每帧图像,分别执行以下处理:基于目标对象关节点检测算法,检测该图像中所述目标对象的关节点,结合深度摄像头的深度信息,得到该图像中的关节点坐标信息,所述关节点坐标信息包括检测到的关节点的空间位置;基于该图像之前的历史图像中检测到的各个关节点的运动信息,预测在该图像拍摄时刻各个关节点的预测空间位置;根据所述预测空间位置,对该图像中的关节点坐标信息进行补全处理和/或修正处理;其中,所述补全处理为:在该图像中的关节点坐标信息未包含有所述目标对象的完整关节点时,确定该图像中的缺失关节点,并将该缺失关节点的预测空间位置,补充到该图像中的关节点坐标信息中;所述修正处理为:根据每个关节点的预测空间位置与当前帧图像中检测到的对应关节点的空间位置的差异,修正该图像中的关节点坐标信息,其中,在所述差异超过预设门限时,使用关节点的预测空间位置替换检测到的关节点的空间位置。优选的,所述对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合的步骤,包括:对不同摄像头同一时刻拍摄的图像中的同一关节点的关节点坐标信息进行累加并计算平均值,得到综合后的关节点坐标信息。优选的,在获取每帧图像中所述目标对象的关节点时,进一步获取该图像中目标对象的深度值精度信息,所述深度值精度信息用于表示所述摄像头在拍摄该图像时获取的所述目标对象的深度信息的精度;所述对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合的步骤,包括:根据每个关节点坐标信息的权值,对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行加权求和,得到综合后的关节点坐标信息,其中,所述图像中的关节点坐标信息的权值,与所述图像中目标对象的深度值精度信息所表示的精度正相关。优选的,所述深度值精度信息包括以下信息中的至少一种:所述目标对象与摄像头间的空间距离;所述目标对象的运动方向与所述摄像头光轴之间的运动夹角;在对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行加权求和之前,所述方法还包括:根据图像中目标对象的深度值精度信息,确定该图像中的关节点坐标信息的权值,其中,所述关节点坐标信息的权值,与第一接近程度和/或第二接近程度均为正相关关系,所述第一接近程度为所述空间距离和所述摄像头的最佳精度距离的接近程度,所述第二接近程度为所述运动夹角和90度的接近程度。优选的,所述深度值精度信息包括以下信息中的至少一种:所述目标对象与摄像头间的空间距离;所述目标对象的运动方向与所述摄像头光轴之间的运动夹角;在对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行加权求和之前,所述方法还包括:根据图像中目标对象的深度值精度信息和关节点坐标信息属性,确定该图像中的关节点坐标信息的权值,所述关节点坐标信息属性包括:从图像中检测得到的原始关节点坐标信息;通过补全处理或修正处理得到的非原始关节点坐标信息;其中,所述关节点坐标信息的权值,与第一接近程度和/或第二接近程度均为正相关关系;所述关节点坐标信息的权值,还与和关节点坐标信息属性的取值为正相关关系;所述第一接近程度为所述空间距离和所述摄像头的最佳精度距离的接近程度,所述第二接近程度为所述运动夹角和90度的接近程度;所述关节点坐标信息属性在原始关节点坐标信息下的取值,高于非原始关节点坐标信息下的取值。优选的,所述根据每个关节点坐标信息的权值,对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合的步骤,包括:针对不同摄像头同一时刻拍摄的图像中的同一关节点:根据关节点坐标信息的权值,对不同摄像头拍摄的该关节点的关节点坐标信息进行加权求和,得到该关节点综合后的关节点坐标信息;或者,从不同摄像头拍摄的该关节点的关节点坐标信息中,选择出权值最高的关节点坐标信息,作为综合后的关节点坐标信息。本专利技术实施例还提供了一种关节点信息的获取装置,包括:视频获取单元,用于获取至少2个摄像头拍摄的观测区域内目标对象的视频,所述至少2个摄像头位于所述观测区域的不同位置,通过不同拍摄角度拍摄所述观测区域;关节点检测单元,用于根据每个摄像头所拍摄的视频及对应深度信息,分别获取每帧图像中所述目标对象的关节点,得到该图像中的关节点坐标信息;信息综合单元,用于对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合,得到综合后的关节点坐标信息。优选的,所述关节点检测单元,还用于针对每个摄像头所拍摄的本文档来自技高网
...

【技术保护点】
1.一种关节点信息的获取方法,其特征在于,包括:/n获取至少2个摄像头拍摄的观测区域内目标对象的视频,所述至少2个摄像头位于所述观测区域的不同位置,通过不同拍摄角度拍摄所述观测区域;/n根据每个摄像头所拍摄的视频及对应深度信息,分别获取每帧图像中所述目标对象的关节点,得到该图像中的关节点坐标信息;/n对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合,得到综合后的关节点坐标信息。/n

【技术特征摘要】
1.一种关节点信息的获取方法,其特征在于,包括:
获取至少2个摄像头拍摄的观测区域内目标对象的视频,所述至少2个摄像头位于所述观测区域的不同位置,通过不同拍摄角度拍摄所述观测区域;
根据每个摄像头所拍摄的视频及对应深度信息,分别获取每帧图像中所述目标对象的关节点,得到该图像中的关节点坐标信息;
对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合,得到综合后的关节点坐标信息。


2.如权利要求1所述的获取方法,其特征在于,所述根据每个摄像头所拍摄的视频及对应深度信息,分别获取每帧图像中所述目标对象的关节点,得到该图像中的关节点坐标信息的步骤,包括:
针对每个摄像头所拍摄的视频的每帧图像,分别执行以下处理:
检测当前帧图像中所述目标对象的关节点,结合对应深度信息,得到该图像中的关节点坐标信息,所述关节点坐标信息包括检测到的关节点的空间位置;
基于该图像之前的历史图像中检测到的各个关节点的运动信息,预测在该图像拍摄时刻各个关节点的预测空间位置;
根据所述预测空间位置,对该图像中的关节点坐标信息进行补全处理和/或修正处理;
其中,所述补全处理为:在该图像中的关节点坐标信息未包含有所述目标对象的完整关节点时,确定该图像中的缺失关节点,并将该缺失关节点的预测空间位置,补充到该图像中的关节点坐标信息中;
所述修正处理为:根据每个关节点的预测空间位置与当前帧图像中检测到的对应关节点的空间位置的差异,修正该图像中的关节点坐标信息,其中,在所述差异超过预设门限时,使用关节点的预测空间位置替换检测到的关节点的空间位置。


3.如权利要求1或2所述的获取方法,其特征在于,所述对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合的步骤,包括:
对不同摄像头同一时刻拍摄的图像中的同一关节点的关节点坐标信息进行累加并计算平均值,得到综合后的关节点坐标信息。


4.如权利要求2所述的获取方法,其特征在于,
在获取每帧图像中所述目标对象的关节点时,进一步获取该图像中目标对象的深度值精度信息,所述深度值精度信息用于表示所述摄像头在拍摄该图像时获取的所述目标对象的深度信息的精度;
所述对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合的步骤,包括:
根据每个关节点坐标信息的权值,对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行加权求和,得到综合后的关节点坐标信息,其中,所述图像中的关节点坐标信息的权值,与所述图像中目标对象的深度值精度信息所表示的精度正相关。


5.如权利要求4所述的获取方法,其特征在于,
所述深度值精度信息包括以下信息中的至少一种:所述目标对象与摄像头间的空间距离;所述目标对象的运动方向与所述摄像头光轴之间的运动夹角;
在对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行加权求和之前,所述方法还包括:
根据图像中目标对象的深度值精度信息,确定该图像中的关节点坐标信息的权值,其中,所述关节点坐标信息的权值,与第一接近程度和/或第二接近程度均为正相关关系,所述第一接近程度为所述空间距离和所述摄像头的最佳精度距离的接近程度,所述第二接近程度为所述运动夹角和90度的接近程度。


6.如权利要求4所述的获取方法,其特征在于,
所述深度值精度信息包括以下信息中的至少一种:所述目标对象与摄像头间的空间距离;所述目标对象的运动方向与所述摄像头光轴之间的运动夹角;
在对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行加权求和之前,所述方法还包括:
根据图像中目标对象的深度值精度信息和关节点坐标信息属性,确定该图像中的关节点坐标信息的权值,所述关节点坐标信息属性包括:从图像中检测得到的原始关节点坐标信息;通过补全处理或修正处理得到的非原始关节点坐标信息;其中,所述关节点坐标信息的权值,与第一接近程度和/或第二接近程度均为正相关关系;所述关节点坐标信息的权值,还与和关节点坐标信息属性的取值为正相关关系;所述第一接近程度为所述空间距离和所述摄像头的最佳精度距离的接近程度,所述第二接近程度为所述运动夹角和90度的接近程;所述关节点坐标信息属性在原始关节点坐标信息下的取值,高于非原始关节点坐标信息下的取值。


7.如权利要求4至6任一项所述的获取方法,其特征在于,所述根据每个关节点坐标信息的权值,对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合的步骤,包括:
针对不同摄像头同一时刻拍摄的图像中的同一关节点:
根据关节点坐标信息的权值,对不同摄像头拍摄的该关节点的关节点坐标信息进行加权求和,得到该关节点综合后的关节点坐标...

【专利技术属性】
技术研发人员:张盼张杨
申请(专利权)人:株式会社日立制作所
类型:发明
国别省市:日本;JP

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1