一种单目摄像头的人物识别方法技术

本发明专利技术公开了一种单目摄像头的人物识别方法

【技术实现步骤摘要】
一种单目摄像头的人物识别方法、装置、设备及存储介质


[0001]本专利技术涉及计算机视觉
，尤其涉及一种单目摄像头的人物识别方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]现在针对人物的定位以及更深层面的动作识别往往需要采用深度摄像头或定位传感器实现
。
在室内定位的方法中，常用的室内定位技术主要包括基于超声波定位技术
、
基于红外线的定位技术
、
基于超宽带的定位技术
、
射频识别定位技术
、
基于激光传感器的定位技术以及基于视觉的定位技术
。
上述技术通常用来获取室内场景的信息，例如人的位置，场景的大小等等
。
利用这些信息可以利用许多算法来完成室内定位的工作
。
[0003]激光
、
红外
、
超声波等定位方法虽然精度可观，但依赖的硬件设备成本巨大，部署所需条件繁杂，不适用于普通的室内场景
。
在低成本的方法如蓝牙
、WIFI
定位中，硬件的成本相对低廉，但精度在较小的室内场景中基本没有使用价值
。
因此亟需一种低成本
、
高精度的室内定位识别技术
。

技术实现思路

[0004]为解决上述技术问题，本专利技术提供一种单目摄像头的人物识别方法
、
装置
、
设备及存储介质，能够低成本
、
高精度的是实现室内人物的定位识别
。
[0005]本专利技术实施例提供一种单目摄像头的人物识别方法，所述方法包括：
[0006]通过单目摄像头获取场景图像；
[0007]对所述场景图像中的人物进行姿态估计，确定所述人物的关键点的像素坐标；
[0008]根据所述单目摄像头的相机内部参数将所述像素坐标转换为真实坐标系的真实坐标；
[0009]根据所述人物的关键点的真实坐标确定所述人物的动作向量；
[0010]根据确定的动作向量识别所述人物的行为动作
。
[0011]优选地，所述对所述场景图像中的人物进行姿态估计，确定所述人物的关键点的像素坐标，具体包括；
[0012]将所述场景图像输入到预先进行姿态估计训练的深度学习神经网络模型中进行姿态估计，识别所述人物的关键点；
[0013]根据对所述场景图像建立的图像坐标系确定不同关键点的像素坐标；
[0014]所述关键点包括左耳
、
右耳
、
左眼
、
右眼
、
鼻子
、
左肩
、
右肩
、
左肘
、
右肘
、
左腕
、
右腕
、
左臀
、
右臀
、
左膝
、
右膝
、
左踝以及右踝
。
[0015]作为一种优选方案，所述根据所述单目摄像头的相机内部参数将所述像素坐标转换为真实坐标系的真实坐标，具体包括：
[0016]根据所述相机内部参数确定相机内参矩阵；
[0017]根据所述相机内参矩阵构建图像坐标系与所述真实坐标系间的坐标转换模型；
[0018]获取所述场景图像中的一个关键点的高度作为先验信息；
[0019]将所述先验信息以及所述关键点的像素坐标输入到所述坐标转换模型中进行计算，输出转换后的真实坐标；
[0020]所述坐标转换模型为：
[0021]其中，
u
和
v
分别为所述关键点在所述图像坐标系下的
x
坐标与
y
坐标，
R
为所述相机内参矩阵中的旋转矩阵，
T
为所述相机内参矩阵中的平移矩阵，
X
w
、Y
w
和
Z
w
分别为所述关键点在所述真实坐标系下的
x
坐标
、y
坐标以及
z
坐标；
f
x
、f
y
分别为单目摄像头的焦距
f
在所述图像坐标系的
x
坐标方向与
y
坐标方向的焦距偏移量；
u0和
v0分别为所述图像坐标系上的光心相对实际相机光心像素值在
x
坐标方向与
y
坐标方向的偏移量
。
[0022]进一步地，所述获取所述场景图像中的一个关键点的高度作为先验信息，具体包括：
[0023]根据所述场景图像计算遮挡系数；
[0024]当所述遮挡系数大于0时，判定出现遮挡，选用所述人物的肩部的高度作为所述先验信息；
[0025]当所述遮挡系数不大于0时，判定未出现遮挡，选用所述人物的踝部的高度作为所述先验信息；
[0026]其中，遮挡系数
kp
max
、kp
min
分别表示图像坐标系下关键点的最大
X
轴坐标和最小
X
轴坐标，
box
max
表示所述人物的检测框的最大
X
轴坐标
。
[0027]优选地，所述根据所述人物的关键点的真实坐标确定所述人物的动作向量，包括：
[0028]计算所述人物不同关键点之间的空间向量作为所述动作向量；
[0029]所述动作向量包括躯干向量和腿部向量；
[0030]所述躯干向量由臀部中点到肩部中点确定，所述腿部向量具体为左腿向量或右腿向量；所述左腿向量由左臀到左膝与左踝的中点确定，所述右腿向量由右臀到右膝与右踝的中点确定
。
[0031]进一步地，所述根据确定的动作向量识别所述人物的行为动作，具体包括：
[0032]当所述躯干向量与所述腿部向量之间的旋转角在预设的第一范围内，且所述躯干向量与所述腿部向量所在平面的法向量与所述真实坐标系的
z
轴垂直时，确定所述人物为站立状态；
[0033]当所述躯干向量与所述腿部向量之间的旋转角在预设的第二范围内，且所述躯干向量与所述腿部向量所在平面的法向量与所述真实坐标系的
z
轴垂直时，确定所述人物为坐姿状态；
[0034]当所述躯干向量与所述腿部向量之间的旋转角在所述第一范围内，且所述躯干向量与所述真实坐标系的
z
轴垂直时，确定所述人物为躺姿状态
。
[0035]优选地，所述方法还包括：
[0036]根据所述人物的关键点确定的肩部向量以及躯干向量构成人体平面；
[0037]将所述人体平面的法向量的指向作为所述人物的朝向；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种单目摄像头的人物识别方法，其特征在于，所述方法包括：通过单目摄像头获取场景图像；对所述场景图像中的人物进行姿态估计，确定所述人物的关键点的像素坐标；根据所述单目摄像头的相机内部参数将所述像素坐标转换为真实坐标系的真实坐标；根据所述人物的关键点的真实坐标确定所述人物的动作向量；根据确定的动作向量识别所述人物的行为动作
。2.
如权利要求1所述的单目摄像头的人物识别方法，其特征在于，所述对所述场景图像中的人物进行姿态估计，确定所述人物的关键点的像素坐标，具体包括；将所述场景图像输入到预先进行姿态估计训练的深度学习神经网络模型中进行姿态估计，识别所述人物的关键点；根据对所述场景图像建立的图像坐标系确定不同关键点的像素坐标；所述关键点包括左耳
、
右耳
、
左眼
、
右眼
、
鼻子
、
左肩
、
右肩
、
左肘
、
右肘
、
左腕
、
右腕
、
左臀
、
右臀
、
左膝
、
右膝
、
左踝以及右踝
。3.
如权利要求1所述的单目摄像头的人物识别方法，其特征在于，所述根据所述单目摄像头的相机内部参数将所述像素坐标转换为真实坐标系的真实坐标，具体包括：根据所述相机内部参数确定相机内参矩阵；根据所述相机内参矩阵构建图像坐标系与所述真实坐标系间的坐标转换模型；获取所述场景图像中的一个关键点的高度作为先验信息；将所述先验信息以及所述关键点的像素坐标输入到所述坐标转换模型中进行计算，输出转换后的真实坐标；所述坐标转换模型为：其中，
u
和
v
分别为所述关键点在所述图像坐标系下的
x
坐标与
y
坐标，
R
为所述相机内参矩阵中的旋转矩阵，
T
为所述相机内参矩阵中的平移矩阵，
X
w
、Y
w
和
Z
w
分别为所述关键点在所述真实坐标系下的
x
坐标
、y
坐标以及
z
坐标；
f
x
、f
y
分别为单目摄像头的焦距
f
在所述图像坐标系的
x
坐标方向与
y
坐标方向的焦距偏移量；
u0和
v0分别为所述图像坐标系上的光心相对实际相机光心像素值在
x
坐标方向与
y
坐标方向的偏移量
。4.
如权利要求3所述的单目摄像头的人物识别方法，其特征在于，所述获取所述场景图像中的一个关键点的高度作为先验信息，具体包括：根据所述场景图像计算遮挡系...

【专利技术属性】
技术研发人员：谢雪梅，卜凡，潘睿，
申请(专利权)人：琶洲实验室黄埔，
类型：发明
国别省市：