一种基于双目视觉的人体动作识别方法及系统技术方案

本发明专利技术公开了一种基于双目视觉的人体动作识别方法及系统，其中，该基于双目视觉的人体动作识别方法首先通过双目标定获取相机的内外参数，然后对左右相机分别拍摄的图像进行预处理及目标检测，以提取出目标轮廓，接着，从目标轮廓中提取出目标的边缘，之后，对左右两幅图像中的像素点进行匹配，将匹配的结果作为HMM模型进行训练的数据依据。按照上述方法训练出多个动作对应的HMM模型，当采集者在相机采集范围内做出动作时，可通过已训练好的多个HMM模型分别判断采集者做出相应动作的概率。本发明专利技术能够较准确的判断人体三维立体信息且运行成本较低。

【技术实现步骤摘要】
201610188972

【技术保护点】
一种基于双目视觉的人体动作识别方法，其特征在于，包括以下步骤：S1：将同一型号的左相机和右相机固定于与地面平行的同一水平线上，两部相机之间的距离为设定值，且两部相机均能拍摄到完整的人体；S2：对所述左相机和所述右相机进行双目标定，首先准备一块带有多个圆形特征点的矩形标定板，其中，多个所述圆形特征点排列成多行和多列的阵列，位于同一行的圆形特征点的圆心在同一直线上，位于同一列的圆形特征点的圆心在同一直线上；S3：将所述标定板置于相机拍摄区域内的至少5个不同方位，并分别使用左相机和右相机对所述标定板进行拍摄，得到多张对应左相机的左标定板图像和多张对应右相机的右标定板图像；S4：计算所述左标定板图像中的多个所述圆形特征点在左图像坐标系中的坐标，以及所述右标定板图像中的多个所述圆形特征点在右图像坐标系中的坐标，其中，所述左图像坐标系的原点为所述左相机的成像面与其光轴的交点，所述右图像坐标系的原点为所述右相机的成像面与其光轴的交点；S5：利用极线约束规则分别匹配同一方位下的所述左标定板图像和所述右标定板图像，得到每个方位下多个所述圆形特征点在所述左图像坐标系和所述右图像坐标系中的特征圆心；S6：根据每个方位下多个所述圆形特征点在所述左图像坐标系和所述右图像坐标系中的特征圆心，利用Leventberg‑Marquardt算法求取相机单应矩阵H，以及两相机的内外参数和畸变系数，并将这些参数保存在一xml文件中；S7：在所述左相机和所述右相机的图像采集范围内，被采集者做出“平移”的动作；S8：使用所述左相机和所述右相机分别采集一帧左相机图像和一帧右相机图像；S9：分别对所述左相机图像和所述右相机图像进行滤波去噪处理和肤色增强处理，得到待检测左相机图像和待检测右相机图像；S10：采用高斯模型背景去除法分别去除所述待检测左相机图像和所述待检测右相机图像中的背景。得到待提取左相机图像和待提取右相机图像；S11：采用Sobel算子分别计算所述待提取左相机图像和所述待提取右相机图像中每一个像素点的梯度值G，并将该梯度值G与一预设梯度阈值进行比较，并根据每一像素点的比较结果分别生成一左边缘幅度图像和一右边缘幅度图像，其中：若G＞预设梯度阈值，则令所述左边缘幅度图像或所述右边缘幅度图像中相应的像素点的灰度值为255，若G＜预设梯度阈值，则令所述左边缘幅度图像或所述右边缘幅度图像中相应的像素点的灰度值为0；S12：剔除所述左边缘幅度图像和所述右边缘幅度图像中对比度低于一设定阈值T的点，得到一左边缘图像和一右边缘图像；S13：设定一匹配阈值，采用surf算法对所述左边缘图像和所述右边缘图像中的像素点进行匹配，得到多对匹配像素点，每对匹配像素点分别包括一个位于所述左边缘图像中的左像素点和一个位于所述右边缘图像中的右像素点；S14：从步骤S6中得到的xml文件中读取出相机单应矩阵H以及两相机的内外参数和畸变系数，并采用张氏标定法计算出每对像素点所对应的实际空间点在三维空间坐标系中的坐标；S15：利用S14步骤中得到的每对像素点所对应的实际空间点在三维空间坐标系中的坐标，对一HMM模型进行初始化及训练，得到对应“平移”动作的HMM模型λ1，λ1＝(A,π,μ,U,ω)；S16：在所述左相机和所述右相机的图像采集范围内，被采集者分别做出“下蹲”、“挥手”和“抬腿”的动作，并分别重复上述步骤S8～S15，其中于步骤S15中分别得到对应“下蹲”、“挥手”和“抬腿”动作的HMM模型，并分别用λ2，λ3 λ4表示；S17：根据前述步骤中得到的对应“平移”、“下蹲”、“挥手”和“抬腿”动作的HMM模型，分别建立“平移”、“下蹲”、“挥手”和“抬腿”动作的估计函数P1、P2、P3和P4，其中：Pn＝ln(p(O1,O2...OT|λn))，n＝1，2，3，4；S18：从t1时刻起至t2时刻止，被采集者在所述左相机和所述右相机的采集区域内做出“平移”、“下蹲”、“挥手”、“抬腿”中的任意动作，并使用所述左相机和所述右相机每隔一设定时间采集一幅图像，共采集T帧左相机图像和T帧右相机图像；S19：根据步骤S18采集到的所述左相机图像和所述右相机图像，得到一组观察符号O，其中O＝{O1,O2…OT}，O1‑OT分别表示对应于T个采集时刻的动作姿态；S20：将所述观察符号O分别输入到P1、P2、P3和P4中，分别计算得到被采集者对应“平移”、“下蹲”、“挥手”和“抬腿”动作的概率值P1、P2、P3和P4；S21：判断P1、P2、P3和P4中的最大值，最大值对应的动作即为被采集者在t1时刻至t2时刻之间所做出的动作。...

【技术特征摘要】

【专利技术属性】
技术研发人员：叶青，邓俊，张永梅，
申请(专利权)人：北方工业大学，
类型：发明
国别省市：北京;11