利用惯性传感器和深度摄像头传感器获取运动数据的方法技术

本发明专利技术公开了一种利用惯性传感器和深度摄像头传感器获取运动数据的方法，1)已经安装配置好的深度摄像头连接到计算机，得到人体关节在空间中的数据以及对应的可信度；2)在需要优化的用户关节位置绑好惯性传感器，该惯性传感器通过无线连接到计算机；3)需要获取的是关节状态x＝(Px，Py，Pz)，该关节状态即为关节在定义的坐标系下的坐标点；本发明专利技术提供的利用惯性传感器和深度摄像头传感器获取运动数据的方法，惯性传感器会绑在运动人员需要矫正的关节部位，本发明专利技术基于扩展卡尔曼滤波，但由于深度摄像头识别所得人体关节数据方差和人体姿势、坐标等很多关系变化，难以定量，引入可信度去修正这一点。

Motion Data Acquisition Method Using Inertial Sensor and Depth Camera Sensor

The invention discloses a method for obtaining motion data by using inertial sensors and depth camera sensors. 1) Depth cameras installed and configured are connected to computers to obtain data of human joints in space and corresponding credibility; 2) inertial sensors are bound to the position of user joints that need to be optimized, and the inertial sensors are connected to computers by wireless; To obtain the joint state x= (Px, Py, Pz), the joint state is the coordinate point of the joint in the defined coordinate system; the method of obtaining motion data by using inertial sensor and depth camera sensor provided by the present invention, the inertial sensor will be tied to the joint parts that need to be corrected by the movement personnel. The present invention is based on extended Kalman filter, but due to the depth camera identification institute. It is difficult to quantify the relationship between the variance of human joint data and human posture, coordinates and so on. Credibility is introduced to correct this point.

【技术实现步骤摘要】
利用惯性传感器和深度摄像头传感器获取运动数据的方法
本专利技术涉及人体识别、智能运动、传感器融合
，进一步说，尤其涉及一种利用惯性传感器和深度摄像头传感器获取运动数据的方法。
技术介绍
机器人的人体识别是室内机器人的核心支撑技术，深度摄像头作为室内机器人的通用传感器部件，可以返回带有深度信息的彩色图像。合理利用这些信息，可以高效，准确的得到人的点云信息。现有的室内机器人的人体识别通常是基于人脸识别，例如让人走到机器人面前，机器人根据人脸识别算法判断出这个人是谁。要实现室内机器人高效、准确的人体识别，在技术上主要有如下几个问题。1.人体检测，目标是在环境中准确的将人的点云与周围环境的点云分离出来。2.特征提取，目标是选择合适的特征，使得人体识别的准确率较高。由于光线，角度等一系列的变化，需要找出对光线变化以及角度变化不敏感的特征。3.特征学习，得到了上述特征数据，还需要对上述特征进行学习，得到一个合适的判别式，使得同一个人特征值差别要比不同人的特征值差别要小。虽然基于深度摄像头的人体识别技术越来越火，但在很多场合下深度摄像头存在很多误差。
技术实现思路
本专利技术为解决上述技术问题而采用的技术方案是提供一种利用惯性传感器和深度摄像头传感器获取运动数据的方法，其中，具体技术方案为：1)已经安装配置好的深度摄像头连接到计算机，得到人体关节在空间中的数据以及对应的可信度；2)在需要优化的用户关节位置绑好惯性传感器，该惯性传感器通过无线连接到计算机；3)需要获取的是关节状态x＝(Px，Py，Pz)，该关节状态即为关节在定义的坐标系下的坐标点；4)定义一个输入量ux使得：此输入量也是惯性传感器的的输入值；5)惯性传感读数需要本身坐标系到世界坐标系的转换；其中Timu为惯性传感器坐标系到世界坐标系的转换矩阵；6)该系统用一个离散的非线性微分方程来描述：X(k)＝AX(k-1)+BU(k)+W(k)其中P，V，Ac分别代表关节点的位置、速度、加速度；U是输入量，这个输入量是由惯性传感器输入所得；进一步的，W～N(0，Q(d))，W是过程噪声，Q(d)与运动距离相关，运动距离越大，噪声协方差越大；7)观测方程通过深度摄像头获取的关节点数据来建立；Z(k)＝CX(k)+V(k)其中C为3维单位矩阵。V～N(0，R(trust)))，这里R为基于深度摄像头人体识别的可信度计算得到的观测噪声协方差；上述的利用惯性传感器和深度摄像头传感器获取运动数据的方法，其中：8)根据1～7，基于扩展卡尔曼滤波器和惯性传感器数据，将预测方程线性化，更新预测方程和预测误差协方差：P(k)＝AP(k-1)AT+W(k)Q(k-1)WT(k)9)根据深度摄像头数据计算卡尔曼增益：K(k)＝P-(k)HT(k)(H(k)P-(k)HT(k)+VT(k)RVT(k))-1再更新和误差协方差：X(k)＝X-(k)+K(k)(Z(k)-HX-(k))P(k)＝(I-K(k)H)P-(k)10)不断重复8、9，即可以更新人体关节数据。本专利技术相对于现有技术具有如下有益效果：本专利技术提供了一种传感器融合算法通过惯性传感器和深度摄像头来得到精度更高的人体运动数据。其中，惯性传感器会绑在运动人员需要矫正的关节部位，本专利技术基于扩展卡尔曼滤波，但由于深度摄像头识别所得人体关节数据方差和人体姿势、坐标等很多关系变化，难以定量，引入可信度去修正这一点。附图说明图1为整个算法结构示意图。图2为核心部分算法结构图。具体实施方式下面结合附图和实施例对本专利技术作进一步的描述。本专利技术提供了一种利用惯性传感器和深度摄像头传感器获取运动数据的方法。1)已经安装配置好现有的深度摄像头连接到计算机，且可以得到人体关节在空间中的数据以及对应的可信度。2)在需要优化的用户关节位置绑好惯性传感器，该惯性传感器可以通过无线连接到计算机。3)我们需要获取的是关节状态x＝(Px，Py，Pz)，该关节状态即为关节在定义的坐标系下的坐标点。4)定义一个输入量ux使得：此输入量也是惯性传感器的的输入值。5)惯性传感读数需要本身坐标系到世界坐标系的转换。其中Timu为惯性传感器坐标系到世界坐标系的转换矩阵。6)该系统用一个离散的非线性微分方程来描述：X(k)＝AX(k-1)+BU(k)+W(k)其中P，V，Ac分别代表关节点的位置、速度、加速度。U是输入量，这个输入量是由惯性传感器输入所得。进一步的，W～N(0，Q(d))，W是过程噪声，Q(d)与运动距离相关，运动距离越大，噪声协方差越大。7)观测方程通过深度摄像头获取的关节点数据来建立。Z(k)＝CK(k)+V(k)其中C为3维单位矩阵。V～N(0，R(trust)))，这里R为基于深度摄像头人体识别的可信度计算得到的观测噪声协方差。8)根据1～7，基于扩展卡尔曼滤波器和惯性传感器数据，更新预测方程和预测误差协方差：P(k)＝AP(k-1)AT+W(k)Q(k-1)WT(k)9)根据深度摄像头数据计算卡尔曼增益：K(k)＝P-(k)HT(k)(H(k)P-(k)HT(k)+VT(k)RVT(k))-1再更新和误差协方差：P(k)＝(I-K(k)H)P-(k)10)不断重复8、9，即可以更新人体关节数据。虽然本专利技术已以较佳实施例揭示如上，然其并非用以限定本专利技术，任何本领域技术人员，在不脱离本专利技术的精神和范围内，当可作些许的修改和完善，因此本专利技术的保护范围当以权利要求书所界定的为准。本文档来自技高网...

【技术保护点】
1.一种利用惯性传感器和深度摄像头传感器获取运动数据的方法，其特征在于：1)已经安装配置好的深度摄像头连接到计算机，得到人体关节在空间中的数据以及对应的可信度；2)在需要优化的用户关节位置绑好惯性传感器，该惯性传感器通过无线连接到计算机；3)需要获取的是关节状态x＝(Px，Py，Pz)，该关节状态即为关节在定义的坐标系下的坐标点；4)定义一个输入量ux使得：

【技术特征摘要】
1.一种利用惯性传感器和深度摄像头传感器获取运动数据的方法，其特征在于：1)已经安装配置好的深度摄像头连接到计算机，得到人体关节在空间中的数据以及对应的可信度；2)在需要优化的用户关节位置绑好惯性传感器，该惯性传感器通过无线连接到计算机；3)需要获取的是关节状态x＝(Px，Py，Pz)，该关节状态即为关节在定义的坐标系下的坐标点；4)定义一个输入量ux使得：此输入量也是惯性传感器的的输入值；5)惯性传感读数需要本身坐标系到世界坐标系的转换；其中Timu为惯性传感器坐标系到世界坐标系的转换矩阵；6)该系统用一个离散的非线性微分方程来描述：X(k)＝AX(k-1)+BU(k)+W(k)其中P，V，Ac分别代表关节点的位置、速度、加速度；U是输入量，这个输入量是由惯性传感器输入所得；进一步的，W～N(0，Q(d))，W是...

【专利技术属性】
技术研发人员：顾少聘，应俊，刘伟，薛玮隆，
申请(专利权)人：鎏玥上海科技有限公司，
类型：发明
国别省市：上海,31