一种坐式手工装配线模特值评测系统技术方案

本发明专利技术涉及一种坐式手工装配线模特值评测系统，属于体感交互领域，旨在设计，利用体感交互技术和计算机技术自动计算工人动作时间，旨在替代传统的人工计时方法。具体包括Kinect v2外设，Kinect v2定位机构，数据处理模块，A/D转换模块，数显模块，数据库模块，评估模块。Kinect v2定位机构，包括定位结构、纵向移动结构和横向移动结构。模特法识别模块，采用半身识别的方法，模特法识别模块仅对模特法中上肢动作进行评测，其中包括移动动作、终结动作、放置动作测算，其中移动动作包括范围测算方法和时间测算方法，范围测算方法包括移动范围测算、移动动作的速度测算、移动动作的判定。评估模块分为识别双手平衡、独臂工作和无效动作。

Model evaluation system for sitting type manual assembly line model

The invention relates to a seat type assembly line model value evaluation system, which belongs to the field of somatosensory interaction, aims to design, using somatosensory interactive technology and computer technology, the automatic calculation of workers movement time, to replace the traditional manual timing method. Including the Kinect V2 Kinect V2 peripherals, positioning mechanism, data processing module, A/D conversion module, display module, database module, evaluation module. Kinect V2 positioning mechanism comprises a positioning structure, vertical structure and horizontal structure of mobile mobile. Modapts recognition module, using the method of body identification, model identification module method for evaluation of upper limb movements only modapts, including mobile end action, action, action place estimates, which include the movement estimation method and time range calculation method, calculation method of range measurement, including mobile range motion speed, mobile determination of action. The evaluation module is divided into identification, armed hands balance work and invalid action.

【技术实现步骤摘要】
一种坐式手工装配线模特值评测系统
本专利技术涉及体感交互领域，具体涉及一种基于Kinectv2的动作时间研究的系统。
技术介绍
对动作时间的研究是为后序进行精益改善的关键，因此对一系列动作时间的准确测定是工业工程领域极其重要的一个环节。目前作业测定常用方法有直接法和间接法，直接法的代表就是直接用秒表测量动作时间，这个方法有其固有的缺陷，像工人在进行操作时可能会受到计时人员影响使动作时间失真，而且安排一个测时员整日跟踪会耗费大量人力物力。间接法则是基于假设进行计算时间方法，其代表是模特法。模特法假设人的动作是由几个基本动作构成，每个人的相同的基本动作时间是相同的，因此我们只需要将人的动作进行分解就能直接查表计算出动作时间。本文从模特法出发，旨在利用体感交互技术和计算机技术自动计算工人动作时间。提出一种坐式手工装配线模特值评测系统，替代传统的人工计时方法。
技术实现思路
本专利技术提出一种坐式手工装配线模特值评测系统，替代传统的人工计时方法。结合附图，说明如下：一种坐式手工装配线模特值评测系统，可以实现计算机记录工人动作时间，本产品经过Kinectv2识别，通过内置算法即可得到坐式手工装配线的模特值，并根据模特值给出评价，其中Kinectv2可通过定位机构实现横纵向移动，具体包括：Kinectv2外设，Kinectv2定位机构，数据处理模块，A/D转换模块，数显模块，数据库模块，评估模块；所述Kinectv2外设需要供电电源驱动，Kinectv2外设包含三个体感交互模块：语音识别模块、面孔识别模块、骨骼识别模块，Kinectv2根据上述体感交互模块能够捕捉用户动作以及用户的相对位置，采集的数据将被送到CPU进行下一步处理；所述Kinectv2定位机构由电机驱动，包含滚珠丝杠机构和连杆机构，分别控制Kinect左右位置和上下位置的移动；所述数据处理模块分为两个子模块：模特法识别模块和Kinectv2位置调整模块，模特法识别模块将CPU传来的用户动作数据进行识别、分析、处理，得到动作的时间结果返回CPU并存入数据库；Kinectv2位置调整模块将CPU传来的用户相对位置数据进行识别、分析，并计算出要使Kinectv2正对用户时，Kinectv2需要调整的位置数据，并输出给A/D转换模块；所述A/D转换模块是将数据处理模块计算输出的数字量转换成模拟量；数据处理模块输出的是要使Kinectv2与用户正对应调整的位置代码，经过A/D转换成真实的位置量后传输到可活动固定机构；所述数显模块将CPU传来的数据处理模块结果显示到界面，便于研究者采集和进行下一步精益研究；所述数据库模块从CPU接收数据处理模块和A/D转换模块数据，便于研究者采集和进行下一步精益研究；所述评估模块，将数据库模块储存数据导出，通过评估算法进行分析处理，输出评估结果和改进方案。所述Kinectv2定位机构，包括定位结构、纵向移动结构和横向移动结构；所述定位结构，通过将固定螺母I2和固定螺母II14上的螺栓I1和螺栓II11旋动，可调节挡板I3和挡板II13与基座的间距，使装置定位在坐式装配线工人操作台的对面，其中定位宽度可调节，从而适应不同操作台，保证Kinectv2与操作台水平；所诉纵向移动结构，电机II12驱动使得连杆I5和连杆II10移动，完成纵向移动；所诉横向移动结构，电机I6驱动使得丝杠7旋转，滚珠板8横向移动；取出固定件9，将Kinectv2放在滚珠板8上，再放置固定件9，即可保证Kinectv2与操作台保持水平，从而简化之后的模特法的换算。所述Kinectv2在探测时会以自己为坐标原点，X轴是从Kinectv2感应器角度观看，左边为正半轴，右边为负半轴，Y轴正轴竖直向上，仅表示Kinectv2正常放置，并未出现倒置现象，，Z表示纵深程度，Kinectv2摄像方向为正方向；当装配线工人坐在工位上，Kinectv2通过面孔识别模块识别，将采集的面孔数据与数数据库中面孔数据对比，相似度达到95％时，启动设备，Kinectv2骨骼识别追踪采集人体各个部分三坐标数据，其中包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱。所述模特法识别模块，采用半身识别的方法，模特法识别模块仅对模特法中上肢动作进行评测，其中包括移动动作、终结动作、放置动作测算。所述的移动动作包括手指动作、手腕动作、小臂动作、大臂动作和伸直手臂，范围测算方法具体测算包括移动范围测算；移动动作的速度测算；移动动作的判定；步骤一：首先确定默认范围在移动范围测算之前，需要装配线工人坐在Kinectv2设备前，等待5秒，此时Kinectv2根据工人骨骼测算出移动的作业范围，并默认装配线工人仅在长为A，宽为B的范围内活动；步骤二：移动范围测算采集相关骨骼点，针对左右手，测算出在M2、M3、M4和M5模特值的移动范围，其中M2、M3、M4范围是以左右肩膀为原点，根据相关的距离测算公式计算出的距离l绕点旋转的半圆即为相关模特值的活动范围，其它范围即为M5范围；其中M2还有一个限制，必须不能超过左/右肩膀点向左/右发射出的45度直线；步骤三：移动动作的速度测算需要监测左手动态数据右手动态数据左指尖动态数据右指尖动态数据通过计算出左指尖的移动速度，进而求出右指尖速度V2，左手速度V3，右手速度V4，其中速度超过阈值即视为移动动作启动，定义阈值为v；步骤四：移动动作的判定手指动作通过判断V1和V2是否大于v，当大于之后即为M1；手腕动作、小臂动作、大臂动作和伸直手臂需要考虑两个因素，即V3和V4大于后v即认为开始移动，当V3和V4小于v时即认为停止移动，此时左右手位置在模特值M2、M3、M4和M5的相关范围内，即认为完成相关的模特值动作；由于手腕动作、小臂动作、大臂动作和伸直手臂均会带动手指空间移动，所以本文认为当左右手视为移动后，即停止判断手指模特值。所述移动动作也可根据时间测算方法测算模特值：已知左指尖速度V1，右指尖速度V2，左手速度V3，右手速度V4，速度超过阈值v即视为移动动作启动，当速度低于阈值v时，移动动结束，根据差值T判断模特值，手移动时间为0≤T≤0.1548视为指尖移动M1，手移动时间为0.1548＜T≤0.3096视为手腕动作M2，手移动时间为0.3096≤T≤0.4644视为小臂动作M3，手移动时间为0.4644＜T≤0.6192视为大臂动作M4，手移动时间为0.6192＜T视为大臂动作M5。所述终结动作中抓捏动作包括接触、简单地抓和复杂的抓；放置动作包括简单放置、复杂地抓和装配，终结动作和放置动作具备先后关系；监测左拇指动态数据右拇指动态数据左手到左指尖向量为右手到右指尖向量为左手到左拇指向量为右手到右拇指向量为当θ1和θ2小于阈值θ时，认为开始终结动作，开始计时，当移动动作开启，认为终结动作终止，停止计时，根据差值T判断模特值；接触M1时间为0≤T≤0.1548，简单地抓M2时间为0.1548＜T≤0.3096，复杂的抓M3时间为0.3096＜T。完成终结动作，在移动动作结束后放置动作开始计时，当θ1和θ2大于阈值θ时，计时停止，根据差值T判断模特值；简单放置M1时间为0≤T≤0.1548，复杂地抓M2时间本文档来自技高网...

【技术保护点】
一种坐式手工装配线模特值评测系统，可以实现计算机记录工人动作时间，其特征在于：本产品经过Kinect v2识别，通过内置算法即可得到坐式手工装配线的模特值，并根据模特值给出评价，其中Kinect v2可通过定位机构实现横纵向移动，具体包括：Kinect v2外设，Kinect v2定位机构，数据处理模块，A/D转换模块，数显模块，数据库模块，评估模块；所述Kinect v2外设需要供电电源驱动，Kinect v2外设包含三个体感交互模块：语音识别模块、面孔识别模块、骨骼识别模块，Kinect v2根据上述体感交互模块能够捕捉用户动作以及用户的相对位置，采集的数据将被送到CPU进行下一步处理；所述Kinect v2定位机构由电机驱动，包含滚珠丝杠机构和连杆机构，分别控制Kinect左右位置和上下位置的移动；所述数据处理模块分为两个子模块：模特法识别模块和Kinect v2位置调整模块，模特法识别模块将CPU传来的用户动作数据进行识别、分析、处理，得到动作的时间结果返回CPU并存入数据库；Kinect v2位置调整模块将CPU传来的用户相对位置数据进行识别、分析，并计算出要使Kinect v2正对用户时，Kinect v2需要调整的位置数据，并输出给A/D转换模块；所述A/D转换模块是将数据处理模块计算输出的数字量转换成模拟量；数据处理模块输出的是要使Kinect v2与用户正对应调整的位置代码，经过A/D转换成真实的位置量后传输到可活动固定机构；所述数显模块将CPU传来的数据处理模块结果显示到界面，便于研究者采集和进行下一步精益研究；所述数据库模块从CPU接收数据处理模块和A/D转换模块数据，便于研究者采集和进行下一步精益研究；所述评估模块，将数据库模块储存数据导出，通过评估算法进行分析处理，输出评估结果和改进方案。...

【技术特征摘要】
1.一种坐式手工装配线模特值评测系统，可以实现计算机记录工人动作时间，其特征在于：本产品经过Kinectv2识别，通过内置算法即可得到坐式手工装配线的模特值，并根据模特值给出评价，其中Kinectv2可通过定位机构实现横纵向移动，具体包括：Kinectv2外设，Kinectv2定位机构，数据处理模块，A/D转换模块，数显模块，数据库模块，评估模块；所述Kinectv2外设需要供电电源驱动，Kinectv2外设包含三个体感交互模块：语音识别模块、面孔识别模块、骨骼识别模块，Kinectv2根据上述体感交互模块能够捕捉用户动作以及用户的相对位置，采集的数据将被送到CPU进行下一步处理；所述Kinectv2定位机构由电机驱动，包含滚珠丝杠机构和连杆机构，分别控制Kinect左右位置和上下位置的移动；所述数据处理模块分为两个子模块：模特法识别模块和Kinectv2位置调整模块，模特法识别模块将CPU传来的用户动作数据进行识别、分析、处理，得到动作的时间结果返回CPU并存入数据库；Kinectv2位置调整模块将CPU传来的用户相对位置数据进行识别、分析，并计算出要使Kinectv2正对用户时，Kinectv2需要调整的位置数据，并输出给A/D转换模块；所述A/D转换模块是将数据处理模块计算输出的数字量转换成模拟量；数据处理模块输出的是要使Kinectv2与用户正对应调整的位置代码，经过A/D转换成真实的位置量后传输到可活动固定机构；所述数显模块将CPU传来的数据处理模块结果显示到界面，便于研究者采集和进行下一步精益研究；所述数据库模块从CPU接收数据处理模块和A/D转换模块数据，便于研究者采集和进行下一步精益研究；所述评估模块，将数据库模块储存数据导出，通过评估算法进行分析处理，输出评估结果和改进方案。2.根据权利要求1所述的一种坐式手工装配线模特值评测系统，其特征在于，所述Kinectv2定位机构，包括定位结构、纵向移动结构和横向移动结构；所述定位结构，通过将固定螺母I(2)和固定螺母II(14)上的螺栓I(1)和螺栓II(11)旋动，可调节挡板I(3)和挡板II(13)与基座的间距，使装置定位在坐式装配线工人操作台的对面，其中定位宽度可调节，从而适应不同操作台，保证Kinectv2与操作台水平；所诉纵向移动结构，电机II(12)驱动使得连杆I(5)和连杆II(10)移动，完成纵向移动；所诉横向移动结构，电机I(6)驱动使得丝杠(7)旋转，滚珠板(8)横向移动；取出固定件(9)，将Kinectv2放在滚珠板(8)上，再放置固定件(9)，即可保证Kinectv2与操作台保持水平，从而简化之后的模特法的换算。3.根据权利要求1所述的一种坐式手工装配线模特值评测系统，其特征在于，所述Kinectv2在探测时会以自己为坐标原点，X轴是从Kinectv2感应器角度观看，左边为正半轴，右边为负半轴，Y轴正轴竖直向上，仅表示Kinectv2正常放置，并未出现倒置现象，Z表示纵深程度，Kinectv2摄像方向为正方向；当装配线工人坐在工位上，Kinectv2通过面孔识别模块识别，将采集的面孔数据与数数据库中面孔数据对比，相似度达到95％时，启动设备，Kinectv2骨骼识别追踪采集人体各个部分三坐标数据，其中包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱。4.根据权利要求1所述的一种坐式手工装配线模特值评测系统，其特征在于，所述模特法识别模块，采用半身识别的方法，模特法识别模块仅对模特法中上肢动作进行评测，其中包括移动动作、终结动作、放置动作测算。5.根据权利要求4所述的一种坐式手工装配线模特值评测系统，所述的移动动作包括手指动作、手腕动作、小臂动作、大臂动作和伸直手臂，范围测算方法具体测算包括移动范围测算；移动动作的速度测算；移动动作的判定；步骤一：首先确定默认范围在移动范围测算之前，需要装配线工人坐在Kinectv2设备前，等待5秒，此时Kinectv2根据工人骨骼测算出移动的作业范围，并默认装配线工人仅在长为A，宽为B的范围内活动；步骤二：移动...

【专利技术属性】
技术研发人员：姜盛乾，刘鹏，罗文涛，付丹妮，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林,22