一种基于Kinect的现场作业仿真方法及其系统技术方案

本发明专利技术公开了一种能够很好地满足实现对现场工人作业实时捕捉从而能够满足制造领域对现场作业过程、作业环境等因素进行优化设计要求的基于Kinect的现场作业仿真方法及其系统。它包括用于采集人体图像的Kinect体感装置、数据输入接口、通过处理采集到的人体图像来分析现场作业的数据处理装置、数据输出接口和用于显示作业现场作业人员动作的显示设备，所述的Kinect体感装置通过数据输入接口连接数据处理装置，所述的数据处理装置通过数据输出接口连接显示设备。本发明专利技术的有益效果是：能够很好地满足实现对现场工人作业实时捕捉，从而能够满足制造领域对现场作业过程、作业环境等因素进行优化设计的要求；对作业现场适用性强，且有利于提高工作效率。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种能够很好地满足实现对现场工人作业实时捕捉从而能够满足制造领域对现场作业过程、作业环境等因素进行优化设计要求的基于Kinect的现场作业仿真方法及其系统。它包括用于采集人体图像的Kinect体感装置、数据输入接口、通过处理采集到的人体图像来分析现场作业的数据处理装置、数据输出接口和用于显示作业现场作业人员动作的显示设备，所述的Kinect体感装置通过数据输入接口连接数据处理装置，所述的数据处理装置通过数据输出接口连接显示设备。本专利技术的有益效果是：能够很好地满足实现对现场工人作业实时捕捉，从而能够满足制造领域对现场作业过程、作业环境等因素进行优化设计的要求；对作业现场适用性强，且有利于提高工作效率。【专利说明】一种基于Kinect的现场作业仿真方法及其系统
本专利技术涉及现场作业分析仿真相关
，尤其是指一种基于Kinect的现场作业仿真方法及其系统。
技术介绍
提高手工作业的装配工人的生产效率，对于减少企业的人力成本支出至关重要。作业现场数据的收集是工效学分析研究的第一步，传统的工效学研究中，研究人员利用秒表、记录纸或视频的方式来观察现场记录作业者的操作，然后对记录的信息进行手工分析或利用相关的处理软件分析来评价工人的作业和工作量。这些方法需要研究人员手工分析整理，分析工作量高，劳动强度大，而且不能达到实时的要求。随着运动捕捉技术、计算机仿真技术的发展，人体形态特征地获取由手工活体测量的方法转变为运动捕捉方法来进行，不仅可以获得静态特征，而且可以获得动态特征，其数据采集速度和准确度都有了明显的改善。但是目前已有的各种运动捕捉技术如光学式、机械式、电磁式等，由于各方面的限制，不能很好地满足实现对现场工人作业实时捕捉的要求。中国专利申请公布号:CN 102638653A，申请公布日2012年8月15日，公开了一种基于Kinect的自动面部追踪方法,步骤为:(I)将Kinect与可编程旋转摄像机组成为追踪设备并进行标定；(2)通过Kinect获取人体骨骼数据序列，并从中提取头部骨骼点在Kinect坐标系中的坐标；(3)利用当前摄像机的外参数和当前Kinect的外参数得到Kinect坐标系到摄像机坐标系的变换矩阵；(4)利用步骤(3)中获取的变换矩阵将步骤(2)中得到的头部骨骼点坐标变换到摄像机坐标系中，而后计算摄像机在水平和垂直方向需要旋转的角度以及需要缩放的倍数；(5)根据步骤(4)中求得的角度和倍数，驱动摄像机进行相应的旋转和缩放，使得摄像机能够追踪人的面部运动。该专利技术利用连续获取的骨骼数据序列驱动摄像机旋转和缩放，可有效地实现自动面部追踪，该专利技术的不足之处在于，不能很好地满足实现对现场工人作业实时捕捉，从而不能够满足制造领域对现场作业过程、作业环境等因素的优化设计要求。
技术实现思路
本专利技术是为了克服现有技术中不能很好地满足实现对现场工人作业实时捕捉从而不能够满足制造领域对现场作业过程、作业环境等因素进行优化设计要求的不足，提供了一种能够很好地满足实现对现场工人作业实时捕捉从而能够满足制造领域对现场作业过程、作业环境等因素进行优化设计要求的基于Kinect的现场作业仿真方法及其系统。为了实现上述目的，本专利技术采用以下技术方案:一种基于Kinect的现场作业仿真方法，包括以下操作步骤:(I)通过Kinect体感装置分别获取现场作业人员作业姿势的彩色图像数据、骨架数据和深度图像数据；(2)将获得的彩色图像数据、骨架数据和深度图像数据转化为人体骨骼中20个关节在系统空间坐标系中的三维坐标值；(3)通过识别的人体骨骼中各关节的三维坐标值来跟踪同一时刻人体骨骼的运动状态，从而确定该时刻的人体姿势；(4)通过国标的人体尺寸数据库来建立以人体身高或体重百分位为标准的男性和女性三维人体模型；(5)通过获取在不同采样时间的人体骨骼中20个关节的三维坐标值，来驱动合适的三维人体模型来产生不同采样时间的人体的姿势；(6)通过导入预设的三维图形数据来建立作业现场仿真环境；(7)通过分析在作业现场仿真环境中的人体姿势，利用生理学下背部模型来进行作业者下背部受力分析、工作的作业时间分析以及作业姿势的舒适度等人因工效分析。通过Kinect体感装置采集人体的动作状态，同时将采集到的信息进行数据处理，获取三维的人体模型，其中在三维人体模型中包含了 19个人体部位和20个人体关节，根据国内标准的人体尺寸来识别人体的运动状态，通过设置的采样频率来捕获人体的连续动作状态，然后结合作业现场的仿真环境来分析人体的作业工效，以便于能进行更好的优化，达到了满足实现对现场工人作业实时捕捉，从而能够满足制造领域对现场作业过程、作业环境等因素进行优化设计要求的目的。作为优选，步骤(I)中，所述的Kinect体感装置中包括彩色摄像头和红外摄像头，彩色摄像头主要根据所设置的采样频率来捕捉彩色图像，红外摄像头主要根据所设置的采样频率捕捉景深图像，然后从彩色图像数据、景深图像数据中获取人体骨架图像数据，通过所设置的采样频率能够实时采集所需的不同图像数据来获取人体骨架图像数据，便于进一步的人体运动状态捕捉。作为优选，在步骤(2)中，先建立系统空间坐标系，然后以系统空间坐标系为基准确定彩色摄像头系统空间坐标和红外摄像头系统空间坐标，再以系统空间坐标系为基准通过彩色摄像头系统空间坐标和红外摄像头系统空间坐标来确定人体骨骼关键关节的系统空间坐标，之后建立人体骨骼与系统空间的转换矩阵，最后确定人体骨骼20个关节的系统空间坐标，通过确定的人体骨骼20个关节系统空间坐标，然后再根据国内标准的人体尺寸来确定人体的运动姿势，不同的采样时间采取不同的运动姿势序列，从而完成动作的捕捉。作为优选，在步骤(6)中，所述的三维图形数据为VRML、IGES和STL文件格式的三维图形数据，使用VRML、IGES和STL该三种文件格式便于对作业场景进行仿真建模，使得人体动作捕捉能够结合作业场景，更好的对现场作业过程、作业环境等因素进行优化。—种基于Kinect的现场作业仿真系统,包括用于采集人体图像的Kinect体感装置、数据输入接口、通过处理采集到的人体图像来分析现场作业的数据处理装置、数据输出接口和用于显示作业现场作业人员动作的显示设备，所述的Kinect体感装置通过数据输入接口连接数据处理装置，所述的数据处理装置通过数据输出接口连接显示设备。结合一种基于Kinect的现场作业仿真方法而设计的系统，通过数据处理装置来处理Kinect体感装置捕获的人体动作状态，并将人体动作姿势做成一个动作姿势序列，并将动作姿势序列放置在作业现场的仿真建模中，能够进行实时的分析作业工效，进一步优化现场作业过程、作业环境等因素，同时通过显示设备能够给人以视觉上的直观感受，使其能够身临其境，充分考虑到现场作业的情况，做出最好的优化措施。作为优选，所述的Kinect体感装置包括彩色摄像头、红外摄像头和图像采集器，所述的彩色摄像头和红外摄像头均连接图像采集器，所述的图像采集器连接数据输入接口，通过图像采集器将彩色摄像头和红外摄像头采集到的图像进行初步处理，在提取重要图像数据的同时，可以减少一定的图像信息，提高了整个系统的工作效率。作为优选，所述的数据处理装置包括人体骨骼本文档来自技高网...

【技术保护点】
一种基于Kinect的现场作业仿真方法，其特征是，包括以下操作步骤：通过Kinect体感装置（1）分别获取现场作业人员作业姿势的彩色图像数据、骨架数据和深度图像数据；将获得的彩色图像数据、骨架数据和深度图像数据转化为人体骨骼中20个关节（15）在系统空间坐标系中的三维坐标值；通过识别的人体骨骼中各关节（15）的三维坐标值来跟踪同一时刻人体骨骼的运动状态，从而确定该时刻的人体姿势；通过国标的人体尺寸数据库来建立以人体身高或体重百分位为标准的男性和女性三维人体模型；通过获取在不同采样时间的人体骨骼中20个关节（15）的三维坐标值，来驱动合适的三维人体模型来产生不同采样时间的人体的姿势；通过导入预设的三维图形数据来建立作业现场仿真环境；通过分析在作业现场仿真环境中的人体姿势，利用生理学下背部模型来进行作业者下背部受力分析、工作的作业时间分析以及作业姿势的舒适度等人因工效分析。

【技术特征摘要】

【专利技术属性】
技术研发人员：孙永剑，万昌江，李仁旺，王朝增，王海燕，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：