一种虚拟装配中旋摆动作测时方法技术

本发明专利技术属于体感交互领域，具体地说是一种虚拟装配中旋摆动作测时方法。该方法包括以下步骤：步骤一、通过Kinect V2设备采集双手的骨骼信息，并且每0.1s存储一次；步骤二、旋摆运动中心的确定；步骤三、旋摆动作的判定；步骤四、连续和断续旋摆运动的判定和计算；步骤五、异常动作判定的剔除。本发明专利技术以Kinect V2采集的连续骨骼点为基础，推算虚拟装配中的旋摆中心，再根据平均距离推算连续动作是否为旋摆动作，通过与圆心的相对距离和双平面限制活动区域，构建比较向量判定连续和断续旋摆运动并给出相关参数数值，引入Geomagic Touch力反馈设备，通过设置力的大小可自动算出旋摆动作的操作时间。

A method of measuring the timing of swing motion in virtual assembly

The invention belongs to the field of somatosensory interaction, in particular to a method for measuring swing time in virtual assembly. The method includes the following steps: Step 1, collect the bone information of both hands through the Kinect V2 equipment, and store each 0.1s once; step two, the determination of the swing movement center; step three, the decision of the swing movement; step four, the determination and calculation of the continuous and intermittent swing movement; step five, the elimination of abnormal action determination. . Based on the continuous skeleton points collected by Kinect V2, the invention calculates the swing center in the virtual assembly, and then calculates whether the continuous action is a swinging action according to the average distance. By limiting the relative distance between the center and the two plane, the continuous and intermittent swing motion of the comparative vector is constructed and the number of related parameters is given. The Geomagic - Touch force feedback device is introduced, and the operation time of the swing operation can be automatically calculated by setting the size of the force.

【技术实现步骤摘要】
一种虚拟装配中旋摆动作测时方法
本专利技术属于体感交互领域，具体地说是一种虚拟装配中旋摆动作测时方法。
技术介绍
MTM是今日世界上应用最为广泛的预定时间方法，由此成为跨国公司所属各个单位的一种统一的生产过程计划与效率规范。旋摆动作是MTM方法中的其中一个动作，它以肘为轴的摆动动作，如操作机器上的手轮获十字杆的动作等。而影响旋摆运动的因素包括旋摆运动直径、旋摆运动的形态和目的物的阻力，旋摆直径以cm为测量单位，而旋摆运动的形态分为连续和断续旋摆运动。当前暂未有相关人员研究MTM方法中的旋摆运动，本方法可以将现有需要人为判断的行为交给计算机判断，从而减少工程师的工作量，有效提高工作效率。
技术实现思路
本专利技术以KinectV2采集的连续骨骼点为基础，推算虚拟装配中的旋摆中心，再根据平均距离推算连续动作是否为旋摆动作，通过与圆心的相对距离和双平面限制活动区域，构建比较向量判定连续和断续旋摆运动并给出相关参数数值，引入GeomagicTouch力反馈设备，通过设置力的大小可自动算出旋摆动作的操作时间。本专利技术技术方案结合附图说明如下：一种虚拟装配中旋摆动作测时方法，该方法包括以下步骤：步骤一、通过KinectV2设备采集双手的骨骼信息，并且每0.1s存储一次；步骤二、旋摆运动中心的确定；步骤三、旋摆动作的判定；步骤四、连续和断续旋摆运动的判定和计算；步骤五、异常动作判定的剔除。所述的步骤一的方法如下：启动KinectV2设备，通过KinectV2中的深度相机获取人体25个部位骨骼点数据，其中25个部位骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚。获取人体左手和右手的骨骼点数据，获取任一手移动过程的连续四点A1(x1,y1,z1)、A2(x2,y2,z2)、A3(x3,y3,z3)、A4(x4,y4,z4)，如果与夹角θ1不等于0，做垂直于A1和A2中点的平面B1，做垂直于A3和A4中点的平面B2，以平面B1和平面B2的法向量做外积得到直线的方向向量，在联立方程中随机取一个z，得到x，y，从而得到点向式直线方程l1；如果与夹角θ2不等于0，根据点A1、A2、A3求得水平面B3，反之，根据点A1、A2、A4求得水平面B3；最后根据点向式直线方程l1和水平面B3求得立体圆心C(X,Y,Z)，即为旋摆运动中心；具体如下：根据A1(x1,y1,z1)、A2(x2,y2,z2)、A3(x3,y3,z3)、A4(x4,y4,z4)，得到向量计算当θ1等于0时，将A1点排除，导入下一骨骼点，再计算θ1；反之，取A1与A2中点得到点法式平面取A3与A4中点得到点法式平面两平面直线的方向向量是其中设C1为(y2-y1)×(z4-z3)-(z2-z1)×(y4-y3)，C2为(z2-z1)×(x4-x3)-(x2-x1)×(z4-z3)，C3为(x2-x1)×(y4-y3)-(y2-y1)×(x4-x3)；方向向量即为n1＝(C1,C2,C3)；联立平面方程B1和B2，取任意实数Z＝z，选取即可消除一个变量，解得X＝x、Y＝y；得到点向式直线方程l1：假定与夹角不等于0，根据点A1、A2、A3求得到向量做法向量可得其中设C4为(y2-y1)×(z3-z2)-(z2-z1)×(y3-y2)，C5为(z2-z1)×(x3-x2)-(x2-x1)×(z3-z2)，C6为(x2-x1)×(y3-y2)-(y2-y1)×(x3-x2)；法向量即为n2＝(C4,C5,C6)，平面方程B3即为C4(X-x1)+C5(Y-y1)+C6(Z-z1)＝0，化简可得C4X+C5Y+C6Z＝C4x1+C5y1+C6z1；设C4x1+C5y1+C6z1为D，方程即可表示为点向式直线方程l1取方程等于未知数N，可得X＝NC1-x、Y＝NC2-y、Z＝NC3-z，带入水平面B3即可解得未知数N，从而得到立体球心C(X,Y,Z)，即为旋摆运动中心；假定与夹角θ2等于0，根据点A1、A2、A4求得到向量依上步骤可求得立体球心。所述的步骤三的方法如下：具体为先计算出平均距离：将平面B3向上平移3cm，得到平面B4：C4X+C5Y+C6Z＝D+3；将平面B3向下平移3cm，得到平面B5：C4X+C5Y+C6Z＝D-3；旋摆动作需要满足以下条件；条件1：l2为球体半径，首先点A1、A2、A3、A4与立体球心的距离需要满足条件2：此时计算手部骨骼点A1、A2、A3、A4与平面B4、B5的距离，其中距离平面B4的距离为距离平面B5的距离为当d1和d2都小于长度6cm时，此时连续动作为旋摆动作。所述的步骤四的方法如下：根据A1(x1,y1,z1)、C(X,Y,Z)，得到比较向量A4之后存储的手部骨骼点记为Ci(Xi,Yi,Zi)，组成向量每0.1s计算一次其中i大于等于1，θi+2表示比较向量与的夹角；计算停止条件满足以下其中之一即可条件1、或即为条件1满足；条件2、手部骨骼点Ci中距离平面B4的距离为距离平面B5的距离为d1＞6cm或d2＞6cm，即为条件2满足；识别过程为：过程1；持续计算当θi+2＜87°，此时动作计算如果停止为断续旋摆运动，其中p表示旋摆运动旋转的圈数；过程2：当旋摆运动计算到第j个骨骼点Cj(Xj,Yj,Zj)，第一次出现|θj+2-90°|＜3°，记录手部骨骼点记为Cj(Xj,Yj,Zj)，组成比较向量每0.1s计算一次其中i、j大于等于1，表示比较向量与与的夹角；过程3：第一次出现且θi+2＜180°，则认为完成半圈旋摆，如果此时停止计算，即认为断续旋摆运动，其中p表示旋摆运动旋转的圈数；过程4：第一次出现且θi+2＜3°，则认为完成一圈旋摆，为连续旋摆动作，n＝n+1，n初始值为0；过程5：此后，每出现一次θi+2＜3°，并在θi+2＞3°后，n＝n+1，此时计算停止，如果且θi+2＜90°，n＝n+0.25；如果且θi+2＞90°，n＝n+0.5；如果且θi+2＞90°，n＝n+0.75；如果且θi+2＜90°，n＝n+1；在虚拟装配过程中使用GeomagicTouch力反馈设备，提前配合系统设置好反馈力的大小，从而根据重量修正系数表选择抵抗系数k和抵抗常数h；再根据直径2×l2在旋摆动作时间数据表中选择对应时间，最后根据旋摆动作类型选择相应的公式计算出旋摆动作标准时间。所述的旋摆动作包括连续旋摆动作和断续旋摆动作；所述的连续旋摆动作时间计算为：Tc＝[(nt+5.2)k]+h；断续旋摆运动时间计算为：Tc＝[(t+5.2)k+h]p；式中，Tc为旋摆运动的时间；n为旋摆次数；t为旋摆直径对应的时间，见旋摆动作时间数据表；k为抵抗系数，且低于10N取1，多于10N见重量修正系数表；h为抵抗常数，低于10N取0，多于10N见重量修正系数表，p为未满一周时的旋转比例。所述的步骤五的方法如下：旋摆动作认定之后，以认定时间节点的左膝盖骨骼点A5(x5,y5,z5)、左脚骨骼点A6(x6,y6,z6)、右膝盖骨骼点A7(x7,y7,z7)、右脚踝骨骼点A8(x8,y8,z8)为比较点；记录随后连续运动的左膝本文档来自技高网...

【技术保护点】
一种虚拟装配中旋摆动作测时方法，其特征在于，该方法包括以下步骤：步骤一、通过Kinect V2设备采集双手的骨骼信息，并且每0.1s存储一次；步骤二、旋摆运动中心的确定；步骤三、旋摆动作的判定；步骤四、连续和断续旋摆运动的判定和计算；步骤五、异常动作判定的剔除。

【技术特征摘要】
1.一种虚拟装配中旋摆动作测时方法，其特征在于，该方法包括以下步骤：步骤一、通过KinectV2设备采集双手的骨骼信息，并且每0.1s存储一次；步骤二、旋摆运动中心的确定；步骤三、旋摆动作的判定；步骤四、连续和断续旋摆运动的判定和计算；步骤五、异常动作判定的剔除。2.根据权利要求1所述的一种虚拟装配中旋摆动作测时方法，其特征在于，所述的步骤一的方法如下：启动KinectV2设备，通过KinectV2中的深度相机获取人体25个部位骨骼点数据，其中25个部位骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚。3.根据权利要求1所述的一种虚拟装配中旋摆动作测时方法，其特征在于，所述的步骤二的方法如下：获取人体左手和右手的骨骼点数据，获取任一手移动过程的连续四点A1(x1,y1,z1)、A2(x2,y2,z2)、A3(x3,y3,z3)、A4(x4,y4,z4)，如果与夹角θ1不等于0，做垂直于A1和A2中点的平面B1，做垂直于A3和A4中点的平面B2，以平面B1和平面B2的法向量做外积得到直线的方向向量，在联立方程中随机取一个z，得到x，y，从而得到点向式直线方程l1；如果与夹角θ2不等于0，根据点A1、A2、A3求得水平面B3，反之，根据点A1、A2、A4求得水平面B3；最后根据点向式直线方程l1和水平面B3求得立体圆心C(X,Y,Z)，即为旋摆运动中心；具体如下：根据A1(x1,y1,z1)、A2(x2,y2,z2)、A3(x3,y3,z3)、A4(x4,y4,z4)，得到向量计算当θ1等于0时，将A1点排除，导入下一骨骼点，再计算θ1；反之，取A1与A2中点得到点法式平面取A3与A4中点得到点法式平面两平面直线的方向向量是其中设C1为(y2-y1)×(z4-z3)-(z2-z1)×(y4-y3)，C2为(z2-z1)×(x4-x3)-(x2-x1)×(z4-z3)，C3为(x2-x1)×(y4-y3)-(y2-y1)×(x4-x3)；方向向量即为n1＝(C1,C2,C3)；联立平面方程B1和B2，取任意实数Z＝z，选取即可消除一个变量，解得X＝x、Y＝y；得到点向式直线方程l1：假定与夹角不等于0，根据点A1、A2、A3求得到向量做法向量可得其中设C4为(y2-y1)×(z3-z2)-(z2-z1)×(y3-y2)，C5为(z2-z1)×(x3-x2)-(x2-x1)×(z3-z2)，C6为(x2-x1)×(y3-y2)-(y2-y1)×(x3-x2)；法向量即为n2＝(C4,C5,C6)，平面方程B3即为C4(X-x1)+C5(Y-y1)+C6(Z-z1)＝0，化简可得C4X+C5Y+C6Z＝C4x1+C5y1+C6z1；设C4x1+C5y1+C6z1为D，方程即可表示为C4X+C5Y+C6Z＝D；点向式直线方程l1取方程等于未知数N，可得X＝NC1-x、Y＝NC2-y、Z＝NC3-z，带入水平面B3即可解得未知数N，从而得到立体球心C(X,Y,Z)，即为旋摆运动中心；假定与夹角θ2等于0，根据点A1、A2、A4求得到向量依上步骤可求得立体球心。4.根据权利要求3所述的一种虚拟装配中旋摆动作测时方法，其特征在于，所述的步骤三的方法如下：具体为先计算出平均距离：将平面B3向上平移3cm，得到平面B4：C4X+C5Y+C6Z＝D+3；将平面B3向下平移3cm，得到平面B...

【专利技术属性】
技术研发人员：姜盛乾，刘鹏，陈雪纯，张开淦，张昕莹，高大伟，黄卓，徐杨，曹明钰，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林,22