本发明专利技术公开了一种基于骨骼特征点提取的人体姿势识别方法，主要用于解决利用单摄像头进行人体姿势的识别问题。其实现步骤为：(1)视频输入；(2)预处理；(3)提取粗骨骼；(4)提取骨骼特征点；(5)骨骼特征点分类；(6)姿势识别；(7)输出姿势识别结果。本发明专利技术利用廓形图的像素点到边缘的最短距离获得粗骨骼，然后利用与前胸节点的距离计算骨骼特征点并分类，再根据骨骼特征点与前胸节点的相对位置信息进行姿势判断。能够在只有单摄像头的视频流输入的情况下，避免大量的计算判断出人体动作。本发明专利技术的优势在于计算量小，硬件要求低，准确率高，适应性强。
【技术实现步骤摘要】
本专利技术属于图像处理
，更进一步涉及一种计算机视觉领域中基于骨骼特征点提取的人体姿势识别方法。本专利技术可用于智能监控系统识别环境中人体的异常行为，本专利技术还可以用于常规摄像头识别人体动作实现远程遥控以及人机交互。
技术介绍
目前，人体动作识别主要是基于复杂的纹理计算或者需要除单个摄像头以外其它设备的支持。如果是通过纹理计算来识别动作，大多需要对彩色图像或者灰度图进行采样学习匹配计算，在应用中有一个非常明显的问题：计算量大，大部分由于性能限制，需要长时间的计算才能获得结果，导致无法完成及时的遥控。如果是通过单个摄像头以外的其它设备支持，再应用中有以下几个问题：1)成本加大，无论是增加摄像头还是增加红外摄像头以及穿戴式无线遥感器都需要大幅提高设备的成本；2)使用场景受限，红外摄像头不适用于多人场合比如街道，穿戴式无线遥感器不适用于室外场景。因此，为了适应主流摄像设备上快速并且准确的判断人体动作，需要一种适应性更广的人体动作识别方法。深圳同洲电子股份有限公司申请的专利“一种人体姿势识别的方法和装置”(申请号：201410505930.2，公开号：104281839A)公开的人体姿势识别方法：1)获得深度图像；2)获得人脸图和轮廓图；3)确定人体轮廓图；4)将轮廓图与预设动作图进行对比识别人体姿势。该方法存在的不足之处是：使用预设动作图使得动作识别数量受限，而拍摄角度的或轮廓图提取的差异会导致识别率低。索尼公司申请的专利“人体三维姿势识别方法和装置”(申请号：201010272736.6，公开号：102385695A)公开的人体三维姿势识别方法：1)对包含人体的输入图像进行三维姿势识别；2)通过运动传感器信息矫正识别的三维姿势。该方法存在的不足之处是：通过特征提取判断动作计算量大，需要运动传感器的辅助使得应用成本上升，应用场景受限。Jianhao Ding在其发表的论文“Extraction of Human Body Skeleton Based on Silhouette Images”(International Workshop on Education Technology&Computer Science,2010,1:71-74)中提出了采用采用人体廓形图来提取人体骨骼从而判断姿势的方法。该方法使用廓形图的欧式距离转换和其欧式距离转换的梯度信息来获得骨骼和骨骼特征点，再采用深度搜索的方式将骨骼连接起来，从而通过骨骼形状判断姿势。该方法存在的不足之处是：抗噪声数据能力差；对于人体廓形图提取不理想的情况下，会导致骨骼特征点连接出错率高，从而无法判断出正确的人体姿势。
技术实现思路
：本专利技术的目的是克服上述现有技术中存在的不足，提出通过骨骼特征点提取的基于视频的人体姿势识别方法。本专利技术通过人体廓形图中每个像素点到边缘的最短距离提取出一个粗骨骼和前胸节点，再通过到前胸节点的距离，提取出骨骼特征点，通过判断特征点和前胸节点的距离和夹角特征信息，进行分类和筛选，再通过剩下的特征点的距离和夹角特征信息判断姿势，从而达到人体姿势的判断。为实现上述目的，本专利技术的具体实现步骤包括如下：(1)视频输入：(1a)将摄像头拍摄的视频图像输入计算机，按照视频拍摄顺序逐帧读取视频图像，得到图像信息；(2)预处理：(2a)使用核化相关滤波器KCF追踪算法,从当前帧图像中裁剪包含人体廓形形的矩形图像；(2b)将裁剪后的矩形图像等比例缩放至宽度150像素的矩形图像，使用OneCut图像切割算法，从矩形图像中提取人体廓形图C；(3)提取粗骨骼：(3a)计算人体廓形图C中每个像素点到人体轮廓图C的人体轮廓边缘的最短欧式距离，并用每个素点的最短欧式距离替换提取该最短欧式距离的人体廓形图C像素点的像素值，获得人体廓形图D；(3b)遍历人体廓形图D中所有像素点，筛选出满足以下条件的像素点，加入粗骨骼像素点集合S中： D ( p ) ≥ D ( q ) , ∀ q ∈ Q ]]>其中，D(p)表示人体廓形图D中像素点p的像素值，D(q)表示人体廓形图D中像素q的像素值，Q表示像素点p的8连通域，表示任意符号，∈表示属于符号；(3c)遍历人体廓形图D中所有像素点，选择像素值最大的像素点作为前胸节点E；(3d)判断计数器是否达到上限值20，若是，保留前胸节点E的坐标值，并将计数器清0；否则，计数器加1，比较上一帧的前胸节点Ei-1的y轴坐标值和当前帧的前胸节点Ei的y轴坐标值，将y轴坐标值更小的前胸节点赋给当前帧的前胸节点E；(4)提取骨骼特征点：(4a)遍历粗骨骼像素点集合S中的节点，计算每个节点与前胸节点E的欧式距离，将满足以下条件的节点加入到骨骼特征点点集合F中：其中，dchest(p)表示节点p与前胸节点E的欧式距离，表示存在符号，n表示在{1,2,3…本文档来自技高网...
【技术保护点】
一种基于骨骼特征点提取的人体姿势识别方法，其具体实现步骤如下：(1)视频输入：(1a)将摄像头拍摄的视频图像输入计算机，按照视频拍摄顺序逐帧读取视频图像，得到图像信息；(2)预处理：(2a)使用核化相关滤波器KCF追踪算法,从当前帧图像中裁剪包含人体廓形形的矩形图像；(2b)将裁剪后的矩形图像等比例缩放至宽度150像素的矩形图像，使用OneCut图像切割算法，从矩形图像中提取人体廓形图C；(3)提取粗骨骼：(3a)计算人体廓形图C中每个像素点到人体轮廓图C的人体轮廓边缘的最短欧式距离，并用每个素点的最短欧式距离替换提取该最短欧式距离的人体廓形图C像素点的像素值，获得人体廓形图D；(3b)遍历人体廓形图D中所有像素点，筛选出满足以下条件的像素点，加入粗骨骼像素点集合S中：其中，D(p)表示人体廓形图D中像素点p的像素值，D(q)表示人体廓形图D中像素q的像素值，Q表示像素点p的8连通域，表示任意符号，∈表示属于符号；(3c)遍历人体廓形图D中所有像素点，选择像素值最大的像素点作为前胸节点E；(3d)判断计数器是否达到上限值20，若是，保留前胸节点E的坐标值，并将计数器清0；否则，计数器加1，比较上一帧的前胸节点Ei‑1的y轴坐标值和当前帧的前胸节点Ei的y轴坐标值，将y轴坐标值更小的前胸节点赋给当前 帧的前胸节点E；(4)提取骨骼特征点：(4a)遍历粗骨骼像素点集合S中的节点，计算每个节点与前胸节点E的欧式距离，将满足以下条件的节点加入到骨骼特征点点集合F中：其中，dchest(p)表示节点p与前胸节点E的欧式距离，表示存在符号，n表示在{1,2,3…}范围内的一个正整数，∈表示属于符号；(4b)遍历骨骼特征点集合F，计算每个骨骼特征点到其它骨骼特征点的欧式距离；(4c)选取骨骼特征点之间欧式距离小于4的两个骨骼特征点，从骨骼特征点集合F中删除这两个骨骼特征点，将以这个两个骨骼特征点为端点的线段的中点作为新的骨骼特征点加入到骨骼特征点集合F中；(4d)判断骨骼特征点集合F中骨骼特征点到其它骨骼特征点的欧式距离是否小于4，若是，则执行步骤(4b)；否则，执行步骤(5)；(5)骨骼特征点分类：(5a)创建三个空的特征点集合，分别为躯干特征点集合M，左肢特征点集合L，右肢特征点集合R；(5b)遍历骨骼特征点集合F，将满足以下条件的骨骼特征点加入躯干特征点集合M中：|p.x‑E.x|≤5其中，p.x表示骨骼特征点p的x轴坐标值，E.x表示前胸节点E的x轴坐标值，|·|表示取绝对值操作；(5c)遍历躯干特征点集合M，以躯干特征点集合M中所有特征点为参数，使用最小二乘法进行直线拟合，获得直线k；(5d)遍历骨骼特征点集合F，计算每个骨骼特征点到直线k的距离，将到直线k的欧式距离小于5的骨骼特征点加入到集合M中；(5e)遍历躯干特征点集合M，计算躯干特征点集合M中每个节点到直线k 的欧式距离，将到直线k的欧式距离大于5的节点从躯干特征点集合M中删除；(5f)遍历骨骼特征点集合F，比较每个骨骼特征点的x轴坐标值和前胸节点的x轴坐标值的差值的大小，将差值小于0的骨骼特征点加入到左肢特征点集合L，将差值大于0的骨骼特征点加入到右肢特征点集合R；(5g)遍历左肢特征点集合L，将属于躯干特征点集合M的特征点从左肢特征点集合L中删除；(5h)遍历右肢特征点集合R，将属于躯干特征点集合M的特征点从右肢特征点集合R中删除；(6)姿势识别：(6a)遍历躯干特征点集合M，计算集合中特征点的y轴坐标值的最大值和最小值的平均值，将平均值作为人体腰部高度；(6b)遍历左肢特征点集合L和右肢特征点集合R，比较两个集合中特征点的y轴坐标值与人体腰部高度，将y轴坐标值大于人体腰部高度的特征点删除；(6c)遍历左肢特征点集合L和右肢特征点集合R，计算特征点的距离特征和夹角特征，并将得到的距离和夹角特征保存到各个特征点的特征信息中；(6d)按照左肢特征点集合L和右肢特征点集合R中各个特征点的夹角特征从小到大的顺序，对左肢特征点集合L和右肢特征点集合R进行排序，将与相邻特征点的夹角特征差值大于30度的特征点从所在的集合中删除，得到筛选掉噪声骨骼特征点后的特征点集合；(6e)按照左肢特征点集合L和右肢特征点集合R中各个特征点的距离特征从小到大的顺序，对左肢特征点集合和右肢特征点集合进行排序；(6f)依次遍历左肢特征点集合L和右肢特征点集合R，比较步骤(6b)中计算的各特征点夹角特征，将夹角递减的特征点集合对应肢体识别为上举姿势，将夹角递减的幅度识别为对应肢体上举的幅度；将夹角递增的特征点集合对应肢体识别为下垂姿势，将夹角递增的幅度识别为对应肢体下垂的幅度；将夹角维持在大于80度小于100度的区间内的特征点集合对应的肢体识别为平举姿势；(7)输出各姿势识别结果。...
【技术特征摘要】
1.一种基于骨骼特征点提取的人体姿势识别方法，其具体实现步骤如下：(1)视频输入：(1a)将摄像头拍摄的视频图像输入计算机，按照视频拍摄顺序逐帧读取视频图像，得到图像信息；(2)预处理：(2a)使用核化相关滤波器KCF追踪算法,从当前帧图像中裁剪包含人体廓形形的矩形图像；(2b)将裁剪后的矩形图像等比例缩放至宽度150像素的矩形图像，使用OneCut图像切割算法，从矩形图像中提取人体廓形图C；(3)提取粗骨骼：(3a)计算人体廓形图C中每个像素点到人体轮廓图C的人体轮廓边缘的最短欧式距离，并用每个素点的最短欧式距离替换提取该最短欧式距离的人体廓形图C像素点的像素值，获得人体廓形图D；(3b)遍历人体廓形图D中所有像素点，筛选出满足以下条件的像素点，加入粗骨骼像素点集合S中：其中，...
【专利技术属性】
技术研发人员：鲍亮，张卓晟，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。