一种虚拟装配操作中对准动作识别方法技术

本发明专利技术属于体感交互领域，具体的说是一种虚拟装配操作中对准动作识别方法。该方法包括以下步骤：步骤一、利用Kinect V2采集25个人体骨骼点；步骤二、在Unity3D中对人体手部模型和各机械零件进行碰撞器设定；步骤三、对零件和装配进行向量和装配点预设；步骤四、对准动作零件结合程度的判定；步骤五、对准动作对称性的判定；步骤六、对准动作复杂度判定。本发明专利技术利用Kinect V2设备采集人体骨骼数据，在Unity 3D中的对手部模型和零件进行配装器设定等操作，从而将零件的抓取到配合过程进行的预设定，再根据对准动作中结合程度、对称性和操作复杂进行识别判定，最终给出对准动作的标准时间，填补了现有市场上虚拟装配操作中对准动作识别的空白。

A recognition method of alignment action in virtual assembly operation

The invention belongs to the field of somatosensory interaction, in particular to a method for identifying alignment action in virtual assembly operation. The method includes the following steps: step 1, using Kinect V2 to collect 25 human skeleton points; step 2, setting the human hand model and various mechanical parts in Unity 3D; step 3, presetting the parts and assembly vectors and assembly points; step 4, judging the degree of integration of the alignment action parts; Five, determine the symmetry of alignment action; step six, adjust the complexity of action. The invention uses Kinect V2 equipment to collect human skeleton data, sets the fitting device and other operations on the hand model and parts in Unity 3D, thereby grasping the parts to the pre-setting of the matching process, and then identifies and judges according to the degree of combination, symmetry and complexity of operation in the alignment action, and finally gives the alignment action. The standard time to fill the blank of alignment action recognition in virtual assembly operation on the existing market.

【技术实现步骤摘要】
一种虚拟装配操作中对准动作识别方法
本专利技术属于体感交互领域，具体的说是一种虚拟装配操作中对准动作识别方法。
技术介绍
MTM是今日世界上应用最为广泛的预定时间方法，由此成为跨国公司所属各个单位的一种统一的生产过程计划与效率规范。英文全称为Method-Time-Measurement，中文翻译为时间测量方法，它是一种描述操作过程的方法，以编码的组合反映工作方法，并可以得出唯一的时间值，以此作为某项工作的手工操作标准，并树立改善的方向。它可以用来设计工作系统，如工作台，生产线，操作过程(方法)，也可以用来改善工作系统。对准动作属于MTM中的一项动作，具体是使目的物与另一目的物对准整齐的动作，尽管叫做对准，还含有装配的内容。比如对准钢笔与笔套的动作等。
技术实现思路
本专利技术利用KinectV2设备采集人体骨骼数据，在Unity3D中的对手部模型和零件进行配装器设定等操作，从而将零件的抓取到配合过程进行的预设定，再根据对准动作中结合程度、对称性和操作复杂进行识别判定，最终给出对准动作的标准时间，填补了现有市场上虚拟装配操作中对准动作识别的空白。本专利技术技术方案结合附图说明如下:一种虚拟装配操作中对准动作识别方法，该方法包括以下步骤：步骤一、利用KinectV2采集25个人体骨骼点；25个人体骨骼点包括头、颈、肩中心、左拇指A1(x1,i,y1,i,z1,i)、右拇指A2(x2,i,y2,i,z2,i)、左指尖A3(x3,i,y3,i,z3,i)、右指尖A4(x4,i,y4,i,z4,i)、左手A5(x5,i,y5,i,z5,i)、右手A6(x6,i,y6,i,z6,i)、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚；步骤二、在Unity3D中对人体手部模型和各机械零件进行碰撞器设定；步骤三、对零件和装配进行向量和装配点预设；步骤四、对准动作零件结合程度的判定；步骤五、对准动作对称性的判定；步骤六、对准动作复杂度判定。所述的步骤二的具体方法如下：在Unity3D中对人体手部模型和各机械零件进行碰撞器设定，即手部模型接触零件会给予响应，同时需要对零件进行刚体和重力设定；在可抓取零件中设置1-2个零件抓取点，定义抓取点坐标为Bi，1(Xi,1,Yi,1,Zi,1)，抓取点间隔大于5cm，单一零件的抓取需要满足零件点均被识别为已完成抓取动作；抓取动作判定要求如下：判定标准1、手部模型与零件发生接触，并触发碰撞器的响应，记录当前时间点i和发生碰撞的手部模型，如果左手模型与零件发生接触，记a＝1，反之记a＝0；如果右手模型与零件发生接触，记b＝1，反之记b＝0，并转判定标准2；判定标准2、计算发生碰撞的手部模型的坐标点与任一抓取点的距离，当距离小于3cm时，即认为手部已经进入抓取点，转判定标准3；计算过程以左手为例，假设零件存在2个抓取点，左手模型与零件模型发生碰撞，计算和当l1,1和l1,2任一数值小于3cm，即认为左手进入零件抓取点；判定标准3、根据a、b的数值，如果任意a或b为1,计算手骨骼的弯曲程度，当手部夹角小于12°时，认为完成抓取，零件跟随手部移动，以左手为例，当a＝1，此时左手至左拇指向量左手至左指尖向量夹角当θ1小于12°即认为完成抓取，零件随手移动。所述的步骤三的具体方法如下：零件装配的配合需要先对零件和装配件进行向量和装配点预设，轴类装配零件将在两头设置向量坐标点Cj，1(Xj,1,Yj,1,Zj,1)和Cj,2(Xj,2,Yj,2,Zj,2)，同时在轴孔的装配中心点设置节点Cj，3(Xj,3,Yj,3,Zj,3)，作向量如果是齿轮或是轴承作为装配零件，就需要在圆孔中心两侧设置向量坐标点，而在零件体心设置装配节点；在配合零件中，如果为孔类配合件，在圆孔中心线的两侧设置向量坐标点Dk，1(Xk,1,Yk,1,Zk,1)和Dk,2(Xk,2,Yk,2,Zk,2)，同时在孔类配合件的配合中心点设置节点Dk，3(Xk,3,Yk,3,Zk,3)，作向量如果是轴类配合零件，设置方式如装配零件；其中，Cj，1(Xj,1,Yj,1,Zj,1)表示第j个装配零件的第1向量坐标点，Cj,2(Xj,2,Yj,2,Zj,2)表示第j个装配零件的第2向量坐标点，Cj，3(Xj,3,Yj,3,Zj,3)表示第j个装配零件的装配节点；Dk，1(Xk,1,Yk,1,Zk,1)表示第k个配合零件的第1向量坐标点，Dk,2(Xk,2,Yk,2,Zk,2)表示第k个配合零件的第2向量坐标点，Dk，3(Xk,3,Yk,3,Zk,3)表示第k个装配零件的配合节点；当手抓取零件时，系统会自动将抓取零件定义为装配零件，并自动搜索附近配合中心离装配中心最近的零件为配合零件，而装配结合需要满足两项要求：要求1：装配零件的向量与配合零件的向量夹角小于5°，即而θ2＜5°或|θ2-180°|＜5°，即认为装配零件与配合零件重合；要求2：装配节点与配合节点的距离小于3cm，即当l2＜3cm，条件满足。所述的步骤四的具体方法如下：结合程度需要考虑两项因素，分别为装配路径和零件的配合程度；装配路径分为三级，一级为自上而下的装入、二级为水平装入、三级为自下而上的装入；具体为当装配零件和配合零件的向量夹角满足θ2＜5°或|θ2-180°|＜5°，开始记录装配中心Cj，3(Xj,3,Yj,3,Zj,3)(上文已标记这个符号为装配中心节点)的坐标点为E1(xc,yc,zc)，当完成装配之后，记录装配中心Cj，3(Xj,3,Yj,3,Zj,3)的坐标点为E2(xd,yd,zd)，作向量设空间竖直向量计算当θ3＜60°，认为是一级；当60°≤θ3≤120°，认为是二级；当120°＜θ3，认为是三级；配合程度又分为间隙配合、过渡配合和过盈配合；在装配之前将会对轴孔进行尺寸标定，装配零件孔轴标为配合零件孔轴标为当抓取的装配零件与配合零件的向量夹角满足θ2＜5°或|θ2-180°|＜5°时，需要计算装配零件和配合零件的尺寸是否对应，即l3＝ΦF-Φf，当l3＞0，即装配零件和配合零件不匹配，将会阻止零件继续装配；当l3＝0，分别计算装配零件和配合零件的上下公差差值l4＝Dmax-dmin、l5＝Dmin-dmax，当装配件是孔，配合件是轴时，间隙配合要求为l4＞0且l5＞0，过盈配合要求为l4＜0且l5＜0，过渡配合要求为l4≥0且l5＜0；反之当装配件是轴，配合件是孔时，间隙配合要求为l4＜0且l5＜0，过盈配合要求为l4＞0且l5＞0，过渡配合要求为l4≥0且l5＜0；结合程度分为程度1：松弛；程度2：稍微精密；程度3；非常紧密。根据装配路径和零件的配合程度，根据结合程度分类表对结合程度进行定义。所述的步骤五的具体方法如下：对称性主要分为对称、半对称和非对称，装配或是配合零件在操作之前将会被赋予形状定义，分别为圆形物体、正方形物体、长方形物体、圆锥形物体和梯形物体；当完成装配时，将会对装配零件和配合零件进行形体对应，具体参照对称性分类表。所述的步骤六的具体方法如下：对准动作复杂度分为操作容易和操作困难，首先需要根据步骤四和步骤五中结合程度和对称性的水平，根据对准动作预定时间表提供的操作容易和本文档来自技高网...

【技术保护点】
1.一种虚拟装配操作中对准动作识别方法，其特征在于，该方法包括以下步骤：步骤一、利用Kinect V2采集25个人体骨骼点；25个人体骨骼点包括头、颈、肩中心、左拇指A1(x1,i,y1,i,z1,i)、右拇指A2(x2,i,y2,i,z2,i)、左指尖A3(x3,i,y3,i,z3,i)、右指尖A4(x4,i,y4,i,z4,i)、左手A5(x5,i,y5,i,z5,i)、右手A6(x6,i,y6,i,z6,i)、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚；步骤二、在Unity3D中对人体手部模型和各机械零件进行碰撞器设定；步骤三、对零件和装配进行向量和装配点预设；步骤四、对准动作零件结合程度的判定；步骤五、对准动作对称性的判定；步骤六、对准动作复杂度判定。

【技术特征摘要】
1.一种虚拟装配操作中对准动作识别方法，其特征在于，该方法包括以下步骤：步骤一、利用KinectV2采集25个人体骨骼点；25个人体骨骼点包括头、颈、肩中心、左拇指A1(x1,i,y1,i,z1,i)、右拇指A2(x2,i,y2,i,z2,i)、左指尖A3(x3,i,y3,i,z3,i)、右指尖A4(x4,i,y4,i,z4,i)、左手A5(x5,i,y5,i,z5,i)、右手A6(x6,i,y6,i,z6,i)、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚；步骤二、在Unity3D中对人体手部模型和各机械零件进行碰撞器设定；步骤三、对零件和装配进行向量和装配点预设；步骤四、对准动作零件结合程度的判定；步骤五、对准动作对称性的判定；步骤六、对准动作复杂度判定。2.根据权利要求1所述的一种虚拟装配操作中对准动作识别方法，其特征在于，所述的步骤二的具体方法如下：在Unity3D中对人体手部模型和各机械零件进行碰撞器设定，即手部模型接触零件会给予响应，同时需要对零件进行刚体和重力设定；在可抓取零件中设置1-2个零件抓取点，定义抓取点坐标为Bi，1(Xi,1,Yi,1,Zi,1)，抓取点间隔大于5cm，单一零件的抓取需要满足零件点均被识别为已完成抓取动作；抓取动作判定要求如下：判定标准1、手部模型与零件发生接触，并触发碰撞器的响应，记录当前时间点i和发生碰撞的手部模型，如果左手模型与零件发生接触，记a＝1，反之记a＝0；如果右手模型与零件发生接触，记b＝1，反之记b＝0，并转判定标准2；判定标准2、计算发生碰撞的手部模型的坐标点与任一抓取点的距离，当距离小于3cm时，即认为手部已经进入抓取点，转判定标准3；计算过程以左手为例，假设零件存在2个抓取点，左手模型与零件模型发生碰撞，计算和当l1,1和l1,2任一数值小于3cm，即认为左手进入零件抓取点；判定标准3、根据a、b的数值，如果任意a或b为1，计算手骨骼的弯曲程度，当手部夹角小于12°时，认为完成抓取，零件跟随手部移动，以左手为例，当a＝1，此时左手至左拇指向量左手至左指尖向量夹角当θ1小于12°即认为完成抓取，零件随手移动。3.根据权利要求1所述的一种虚拟装配操作中对准动作识别方法，其特征在于，所述的步骤三的具体方法如下：零件装配的配合需要先对零件和装配件进行向量和装配点预设，轴类装配零件将在两头设置向量坐标点Cj，1(Xj,1,Yj,1,Zj,1)和Cj,2(Xj,2,Yj,2,Zj,2)，同时在轴孔的装配中心点设置节点Cj，3(Xj,3,Yj,3,Zj,3)，作向量如果是齿轮或是轴承作为装配零件，就需要在圆孔中心两侧设置向量坐标点，而在零件体心设置装配节点；在配合零件中，如果为孔类配合件，在圆孔中心线的两侧设置向量坐标点Dk，1(Xk,1,Yk,1,Zk,1)和Dk,2(Xk,2,Yk,2,Zk,2)，同时在孔类配合件的配合中心点设置节点Dk，3(Xk,3,Yk,3,Zk,3)，作向量如果是轴类配合零件，设置方式如装配零件；其中，Cj，1(Xj,1,Yj,1,Zj,1)表示第j个装配零件的第1向量坐标点，Cj,2(Xj,2,Yj,2,Zj,2)表示第j个装配零件的第2向量坐标点，Cj，3(Xj,3,Yj,3,Zj,3)表示第j个装配零件的装配节点；Dk，1(Xk,1,Yk,1,Zk,1)表示第k个配合零件的第1向量坐标点，Dk,2(Xk,2,Yk,2,Zk,2)表示第k个配合零件的第2向量坐标点，Dk，3(Xk,3,Yk,3,Zk,3)表示第k个装配零件的配合节点；当手抓取零件时，系统会自动将抓取零件定义为装配零件，并...

【专利技术属性】
技术研发人员：刘鹏，王磊，李晓雯，邝伟杜，魏超虎，吴可歆，刘思阅，任宇欣，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林,22