一种虚拟装配中疲劳度监测方法技术

本发明专利技术属于姿势识别领域，具体地说是一种虚拟装配中疲劳度监测方法。该方法包括以下步骤：步骤一、启动Kinect V2，并采集操作人骨骼数据；步骤二、构建虚拟装配的操作轨迹；步骤三、监测参与虚拟装配人员的操作情况，根据双手操作位置与运动轨迹线的距离绘制波动曲线；步骤四、根据波动曲线的波幅和时间判定疲劳等级，并依照疲劳等级判定是否继续检测。本方法通过Kinect V2捕捉的人体骨骼数据，根据虚拟环境中的具体零件构建出操作轨迹及直线和圆弧轨迹，通过比较操作时间和标准时间，计算脱离操作范围时间和脱离操作范围幅度判定操作是否疲劳。

A method of fatigue monitoring in virtual assembly

The invention belongs to the field of gesture recognition, in particular to a fatigue monitoring method in virtual assembly. The method includes the following steps: Step 1, start the Kinect V2 and collect the operator skeleton data; step two, construct the operation trajectory of the virtual assembly; step three, monitor the operation of the virtual assembly personnel, draw the wave curve according to the distance between the two hands and the distance of the track line; step four, according to the fluctuation. The amplitude and time of the curve determine the fatigue level and decide whether to continue testing according to the fatigue level. In this method, the human skeleton data captured by Kinect V2 is used to construct the operation trajectory, line and arc trajectory according to the specific parts of the virtual environment. By comparing operation time and standard time, it is determined whether the operation is not fatigue when the operation time and the range of operation range are separated.

【技术实现步骤摘要】
一种虚拟装配中疲劳度监测方法
本专利技术属于姿势识别领域，具体地说是一种虚拟装配中疲劳度监测方法。
技术介绍
虚拟现实技术发展迅速，传统的实物模型正越来越多地被数字模型所取代。因而，针对产品工效学设计与评价的特点，有关学者提出了“数字工效学”的概念，即借助计算机、信息处理和人体建模等技术，使得产品的研发直接从设计阶段进入虚拟的产品，通过虚拟的人-机模型来完成相关的工效分析、设计、分析与评价由于较少甚至无需制作全尺寸实物模型，大大地节省了研制成本，并且修改灵活方便。配合现有的力反馈设备及其它感知设备即可在虚拟环境中进行装配活动，从而进行人体工效学检测。其中装配疲劳会使操作人员动作变形，从而提高次品率，增大危险事故发生几率。疲劳检测具体包含接触性检测和非接触式检测，其中非接触识别主要依靠图像识别技术，CN107480629A公开了一种疲劳驾驶检测方法提出一种彩色数据帧或红外数据帧进行眼睛闭合检测方法，从而对驾驶行为进行疲劳检测。CN106503752A公开了一种坐式手工装配线疲劳度检测系统，主要阐述了在标准动作已知的情况下，根据手部姿势在标准动作空间中的有效动作和无效动作还有身体弯曲程度判定疲劳，但是评定标准未加入标准时间概念，忽略了标准操作时间的影响，同时轨迹为直线轨迹，动作连接过于刚性。
技术实现思路
本方法通过KinectV2捕捉的人体骨骼数据，根据虚拟环境中的具体零件构建出操作轨迹(其中包含直线和圆弧轨迹)，通过比较操作时间和标准时间，计算脱离操作范围时间和脱离操作范围幅度判定操作是否疲劳。本专利技术技术方案结合附图说明如下：一种虚拟装配中疲劳度监测方法，该方法包括以下步骤：步骤一、启动KinectV2，并采集操作人骨骼数据；步骤二、构建虚拟装配的操作轨迹；步骤三、监测参与虚拟装配人员的操作情况，根据双手操作位置与运动轨迹线的距离绘制波动曲线；步骤四、根据波动曲线的波幅和时间判定疲劳等级，并依照疲劳等级判定是否继续检测。所述的步骤一的具体方法如下：启动KinectV2，并采集操作人直立时25个骨骼点的模板数据；其中25个部位骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚。所述的步骤二的具体方法如下：构建虚拟装配的操作轨迹，轨迹由直线和圆弧线构成，其中直线轨迹是通过连接三维坐标系中的两个空间点A1(x1,y1,z1)和A2(x2,y2,z2)构成的；圆弧轨迹在平移后的X-Y平面C1、X-Z平面C2和Y-Z平面内构建C3，，以平移后的X-Y平面C1构建圆弧轨迹为例，平面C1的平移距离为上一直线轨迹终点A2(x2,y2,z2)的Z坐标数值，取平面C1的一点作为圆中心点Bx1(xx1,yx1,zx1)，取半径为相切于上一直线轨迹终点，从而构建圆弧轨迹，在圆弧轨迹中选取一点A3(x3,y3,z3)作为下一直线轨迹的起始点；根据具体的虚拟装配环境，将预定装配路径设计成直线轨迹和圆弧轨迹构成的连接线。所述的步骤三的具体方法如下：监测参与虚拟装配人员的操作情况，根据双手操作位置与运动轨迹线的距离绘制波动曲线；首先需要利用KinectV2采集左手坐标D1(X1,Y1,Z1)，右手坐标D2(X2,Y2,Z2)；以左手波动曲线为例，波动曲线横轴为时间，纵轴为左手坐标距离轨迹线的最短距离；在直线轨迹中为求得距离l1，需要先判定左手坐标是否在直线轨迹的范围之内，然后计算点到直线的距离；具体需要在两个空间点A1(x1,y1,z1)和A2(x2,y2,z2)分别做出垂直于直线轨迹的平面，作法向量n＝(x1-x2,y1-y2,z1-z2)＝(f1,f2,f3)，平面C2方程即为f1(x-x1)+f2(y-y1)+f3(z-z1)＝0，化简可得f1x+f2y+f3z＝f1x1+f2y1+f3z1；设f1x1+f2y1+f3z1为E1，方程即可表示为f1x+f2y+f3z＝E1；同理可求得平面C3方程即为f1x+f2y+f3z＝E2，E2＝f1x2+f2y2+f3z2；此时计算左手是否在平面C2，C3内操作，其中距离平面C2距离为距离平面C3的距离为当d1和d2均小于时，认为左手在直线轨迹内活动，此时距离当时d1>d2,且d1>d3时，认为操作离开直线轨迹，进入圆弧轨迹运动范围，此时的距离l1需要先将左手点的坐标投影至平面C1，求得平面中直线G1Bx1与圆弧线的交点G2，然后通过G1D1和G1G2求得左手坐标与圆弧线的距离，具体计算过程如下；假设平移后的X-Y平面C1构建圆弧轨迹，此时平面中的各点转化成二维坐标，各点坐标为A2(x2,y2)、A3(x3,y3)、Bx1(xx1,yx1)、G1(X1,Y1)，求得直线G1Bx1方程：(x-xx1)(X1-xx1)＝(y-yx1)(Y1-yx1)；圆的方程：(x-xx1)2+(y-yx1)2＝r2；此时x的取值范围为[x2,x3]，联立可求得交点G2(X3,Y3)；此时可求得假设平移后的X-Z平面构建的圆弧轨迹，各点坐标为各点坐标为A2(x2,z2)、Bx1(xx1,zx1)、G1(X1,Z1)，求得直线G1Bx1方程：(x-xx1)(X1-xx1)＝(z-zx1)(Z1-zx1)；圆的方程：(x-xx1)2+(z-zx1)2＝r2；此时x的取值范围为[x2,x3]，联立可求得交点G2(X3,Z3)；此时可求得假设平移后的Y-Z平面构建的圆弧轨迹，各点坐标为各点坐标为A2(y2,z2)、Bx1(yx1,zx1)、G1(Y1,Z1)，求得直线G1Bx1方程：(y-yx1)(Y1-yx1)＝(z-zx1)(Z1-zx1)；圆的方程：(y-yx1)2+(z-zx1)2＝r2；此时y的取值范围为[y2,y3]，联立可求得交点G2(Y3,Z3)；此时可求得将直线轨迹和圆弧轨迹中得到的l1作为y轴数值，时间t作为x轴数值绘制出波动曲线。所述的步骤四的具体方法如下：预设l等于5cm作为标准操作波动现象，记录当波动幅度l1在(0cm,5cm]之内抖动，认为1级；波动幅度在(5cm,5.5cm]抖动，且持续时间超过3s，认为2级；波动幅度在(5.5cm,6.0cm]抖动，且持续时间超过3s，认为3级；波动幅度在(6.0cm,6.5cm]抖动，且持续时间超过3s，认为4级；波动幅度在(6.5cm,∞]抖动，且持续时间超过3s，认为5级；预设标准操作时间t1，当操作人员完成所有规定的操作动作后会记录最终操作时间t2，计算最终操作时间与标准时间的比值当o∈(0,1.05]，认为1级；当o∈(1.05-1.10]，认为2级；当o∈(1.10-1.15]，认为3级；当o∈(1.15-1.20]，认为4级；当o∈(1.20-1.25]，认为5级；波动幅度和操作时间比值级别分别占0.5,0.5的权重，之前的分级数值乘上权重得出结果在(0-1]之间疲劳度为1级，(1-2]之间疲劳度为2级，(2-3]之间疲劳度为3级，(3-4]之间疲劳度为4级，(4-5]之间疲劳度为5级；等级1代表可忽略的疲劳，等级2代表轻微的疲劳，等级3代表中等程度的疲劳，等级4代表严本文档来自技高网...

【技术保护点】
1.一种虚拟装配中疲劳度监测方法，其特征在于，该方法包括以下步骤：步骤一、启动Kinect V2，并采集操作人骨骼数据；步骤二、构建虚拟装配的操作轨迹；步骤三、监测参与虚拟装配人员的操作情况，根据双手操作位置与运动轨迹线的距离绘制波动曲线；步骤四、根据波动曲线的波幅和时间判定疲劳等级，并依照疲劳等级判定是否继续检测。

【技术特征摘要】
1.一种虚拟装配中疲劳度监测方法，其特征在于，该方法包括以下步骤：步骤一、启动KinectV2，并采集操作人骨骼数据；步骤二、构建虚拟装配的操作轨迹；步骤三、监测参与虚拟装配人员的操作情况，根据双手操作位置与运动轨迹线的距离绘制波动曲线；步骤四、根据波动曲线的波幅和时间判定疲劳等级，并依照疲劳等级判定是否继续检测。2.根据权利要求1所述的一种虚拟装配中疲劳度监测方法，其特征在于，所述的步骤一的具体方法如下：启动KinectV2，并采集操作人直立时25个骨骼点的模板数据；其中25个部位骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚。3.根据权利要求1所述的一种虚拟装配中疲劳度监测方法，其特征在于，所述的步骤二的具体方法如下：构建虚拟装配的操作轨迹，轨迹由直线和圆弧线构成，其中直线轨迹是通过连接三维坐标系中的两个空间点A1(x1,y1,z1)和A2(x2,y2,z2)构成的；圆弧轨迹在平移后的X-Y平面C1、X-Z平面C2和Y-Z平面内构建C3，以平移后的X-Y平面C1构建圆弧轨迹为例，平面C1的平移距离为上一直线轨迹终点A2(x2,y2,z2)的Z坐标数值，取平面C1的一点作为圆中心点Bx1(xx1,yx1,zx1)，取半径为相切于上一直线轨迹终点，从而构建圆弧轨迹，在圆弧轨迹中选取一点A3(x3,y3,z3)作为下一直线轨迹的起始点；根据具体的虚拟装配环境，将预定装配路径设计成直线轨迹和圆弧轨迹构成的连接线。4.根据权利要求1所述的一种虚拟装配中疲劳度监测方法，其特征在于，所述的步骤三的具体方法如下：监测参与虚拟装配人员的操作情况，根据双手操作位置与运动轨迹线的距离绘制波动曲线；首先需要利用KinectV2采集左手坐标D1(X1,Y1,Z1)，右手坐标D2(X2,Y2,Z2)；以左手波动曲线为例，波动曲线横轴为时间，纵轴为左手坐标距离轨迹线的最短距离；在直线轨迹中为求得距离l1，需要先判定左手坐标是否在直线轨迹的范围之内，然后计算点到直线的距离；具体需要在两个空间点A1(x1,y1,z1)和A2(x2,y2,z2)分别做出垂直于直线轨迹的平面，作法向量n＝(x1-x2,y1-y2,z1-z2)＝(f1,f2,f3)，平面C2方程即为f1(x-x1)+f2(y-y1)+f3(z-z1)＝0，化简可得f1x+f2y+f3z＝f1x1+f2y1+f3z1；设f1x1+f2y1+f3z1为E1，方程即可表示为f1x+f2y+f3z＝E1；同理可求得平面C3方程即为f1x+f2y+f3z＝E2，E2＝f1x2+f2y2+f3z2；此时计算左手是否在平面C2，C3内操作，其中距离平面C2距离为距离平面C3的距离为当d1和d2均小于时，认为左手在直线轨迹内活动，此时距离当时d1>d2,且d1>d3时，认为操作离开直线轨迹，进入圆弧轨迹运动范...

【专利技术属性】
技术研发人员：姜盛乾，刘鹏，陈雪纯，黄卓，张昕莹，徐杨，高大伟，张开淦，曹明钰，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林,22