一种基于双目视觉的高精度虚拟装配系统算法技术方案

一种基于双目视觉的高精度虚拟装配系统算法，该算法通过Kinect传感器采集用户运动空间信息作为虚拟装配系统的输入信息，应用OpenGL建立手部模型，将建立的手部模型与采集的手部图像进行对比，计算得到手部模型与手部图像的相似度，采用改进的粒子群优化算法，最终得到采集图像的手部模型，基于手部模型以及Kinect传感器的标定信息，最终渲染得到深度图像，实现对手势的跟踪识别，完成虚拟装配系统的信息输入，进而实现高精度虚拟装配过程。本发明专利技术能实现对手势进行准确稳定的三维实时跟踪，不需要特殊的标记或复杂的图像采集设备，降低了硬件设备的要求和成本；也不需要训练样本，从而更容易进行应用扩展。

【技术实现步骤摘要】

本专利技术涉及一种基于双目视觉的高精度虚拟装配系统算法。 
技术介绍
在产品的设计和制造过程中，装配是一个很重要的环节，装配的效率和质量直接影响产品的最终质量。据有关资料介绍，装配工作的成本占总制造成本的30％～50％，甚至还可能更高。在传统的装配过程中，由于装配通常并不能一次性完成，必须要反复的装配和修改设计，且修改过程中需依赖实物模型。这种繁复的工作不仅使得装配过程极其复杂，也使得装配成本颇高。虚拟装配是利用计算机工具，在没有产品或支撑工艺的物理实现情况下，通过分析、虚拟模型、可视化和数据表达，做出或辅助做出装配关系工程的决定。不同于传统设计必须依靠实物模型进行装配，虚拟装配技术可以在数字环境中进行装配，从而对设计进行检验和修改，并形成评价模型。虚拟装配技术的应用可以简化产品的优化设计，缩短设计周期，减少设计成本，提高产品精度和生产自动化程度。实现手部姿势的高精度立体跟踪是虚拟装配系统的一个关键性且具有挑战性的问题。为了开发一种有效的且高效的解决方案，研究者们需要考虑一些复杂的、相互关联的因素，例如手部动作会存在的高维度的问题、手的外观颜色的均匀度的问题和严重的自遮挡问题。为了解决以上这些问题，一些非常成功的方法应用于专门进行动作捕捉的硬件或者用来进行视觉标记。遗憾的是，这些方法需要一个复杂的、昂贵的硬件设备或者它们会受到观测场景的干扰,或者两种情况同时存在。由于上述原因，从而影响虚拟装配系统的用户体验效果和推广普及。 对于通过无标记视觉数据来解决手势的立体跟踪识别问题，现有的方法可 以分为基于模型和基于外观两种。基于模型的方法提供连续的解决方案,但是需要昂贵的成本和依赖于丰富的视觉信息的可用性,这些信息一般由多功能摄像机系统提供。基于外观的方法需要相对较少的计算成本和不那么复杂的硬件，但是它们对手势的识别是不连续的，不能实现对手势的准确跟踪识别。 
技术实现思路
本专利技术的目的是为了克服
技术介绍
中的不足之处，基于Kinect传感器系统，融合手势识别跟踪技术及人机交互方式，提供一种基于双目视觉的高精度虚拟装配系统算法。该算法主要是依靠Kinect传感器采集的信息作为输入，在基于模型方法的基础上，将手势的识别跟踪问题转化为一个利用改进的PSO算法解决的最优化问题，并利用GPU提高最优化性能。 为了解决上述存在的技术问题，本专利技术是通过以下技术方案实现的： 一种基于双目视觉的高精度虚拟装配系统算法，该算法内容如下： 通过Kinect传感器采集用户运动空间信息，包括上肢动作信息、手势信息包括静态手势和动态手势信息作为虚拟装配系统的输入信息，从而使用自然习惯动作完成虚拟装配过程； 采用Kinect传感器拍摄手部姿态的彩色图像和对应的深度图像信息作为输入信息，通过肤色检测结合深度信息，分割出手部图像，得到观察的模型；应用OpenGL建立手部模型，采用球体、圆柱体、椭球体和椎体四个基本图元，建立一个用27个参数表征的具有26个自由度的3D手部模型； 将建立的手部模型与采集的手部图像进行对比，计算得到手部模型与手部图像的相似度，采用改进的粒子群优化算法，通过相异性计算公式E(h,O)，估算出观察对象与模型对象之间的相异程度，不断优化手部模型的27个参数，使得相似度度量达到最大，最终得到采集图像的手部模型，基于手部模型以及 Kinect传感器的标定信息，最终渲染得到深度图像，实现对手势的跟踪识别，完成虚拟装配系统的信息输入，进而实现高精度虚拟装配过程。 所述的相异性计算公式E(h,O)为： E(h,O)＝D(O,h,C)+λk·kc(h)         (1) 其中λk是一个标准化因数，C表示摄像机的校准信息，h代表模型对象，O代表观察对象；函数D(O,h,C)表示为： 函数D(O,h,C)中的绝对值表示观察对象与模型对象的箝位深度差，ε用来防止分母为零。 本专利技术采用一种合理的统一的评价标准(PTB)，通过对包围盒随时间和序列而发生的变化进行统计分析，对不同算法的跟踪效果进行一个具有说服力的比较和评价。该标准需要构造了一个统一的基准数据库，并实现对偏离率统计数据的分析。这个数据库由100段高歧异度的RGBD视频样本构成，其中95段视频样本用于评价，其余5段视频样本用于参数调整，利用2D或3D模型测试不同的跟踪算法，而且提出一种定量比较方法，对依据RGB或RGBD信息进行跟踪的不同算法做出合理的比较和评价。 由于采用上述技术方案，本专利技术与现有技术相比，具有这样的有益效果：该算法能实现对手势进行准确稳定的三维实时跟踪，不需要特殊的标记或复杂的图像采集设备，降低了硬件设备的要求和成本；也不需要训练样本，从而更容易进行应用扩展；本专利技术仅依赖无标记的可视数据；与此同时，本专利技术还能够解决手指之间相互影响(互相遮挡或接触)的问题，从而实现高精度的虚拟装配。实现在桌面系统上架构成本低廉但人机交互方面效率提高、沉浸感增强的高精度虚拟装配系统。 附图说明：附图1是该算法的总体结构示意图； 附图2是虚拟装配的总体结构示意图； 附图3是虚拟装配模型的层次构建图； 附图4是OpenNI for Kinect应用开发流程图； 附图5是对跟踪识别算法进行评价的统一基准(PTB)的结构图； 附图6是粒子群优化算法的流程图。 附图7是改进的粒子群优化算法的流程图。 具体实施方式：以下结合附图与具体实施方式对本专利技术做更为详细的说明： 一种基于双目视觉的高精度虚拟装配系统算法，主要是依靠Kinect传感器采集的信息作为输入，在基于模型的方法基础上，将手势的识别跟踪问题转化为一个利用改进的PSO算法解决的最优化问题，并利用GPU提高最优化性能。 所述的Kinect传感器是由微软公司开发的一款体感外设，不仅可以获取彩色数据，还可以获取深度数据，从而获得深度图像。 该算法通过Kinect传感器采集用户运动空间信息，包括上肢动作信息、手势信息包括静态手势和动态手势信息作为虚拟装配系统的输入信息，从而使用自然习惯动作完成虚拟装配过程。 所述的Kinect传感器基于OpenNI进行应用开发，主要是基于数据生成器及相关的API函数进行原始影像数据的读取、分析和处理，从而产生那些可以领悟、理解和解释场景的“有意义的”3D数据。 所述的OpenNI(开放自然交互)是一个多语言、跨平台的框架，它定义了用于编写自然交互应用程序的API，能够让自然交互应用程序开发者利用数据类 型跟踪真实生活中的三维场景。 所述的虚拟装配系统是根据产品设计的形状、精度等特性，真实地模拟产品三维装配过程，并允许用户以交互方式控制产品的三维虚拟现实装配过程，以检验产品的可装配性，同时也是一种零件模型按约束关系进行重新定位的过程，是有效分析产品设计合理性的一种手段。所述的双目视觉是指能够将跟踪目标从复杂的背景环境中分离出来，实现目标的立体跟踪。所述的GPU用以提高优化效率，实现手势的实时跟踪。 所述的PSO算法也称粒子群优化本文档来自技高网...

【技术保护点】
一种基于双目视觉的高精度虚拟装配系统算法，其特征在于该算法内容如下：通过Kinect传感器采集用户运动空间信息，包括上肢动作信息、手势信息包括静态手势和动态手势信息作为虚拟装配系统的输入信息，从而使用自然习惯动作完成虚拟装配过程；采用Kinect传感器拍摄手部姿态的彩色图像和对应的深度图像信息作为输入信息，通过肤色检测结合深度信息，分割出手部图像，得到观察的模型；应用OpenGL建立手部模型，采用球体、圆柱体、椭球体和椎体四个基本图元，建立一个用27个参数表征的具有26个自由度的3D手部模型；将建立的手部模型与采集的手部图像进行对比，计算得到手部模型与手部图像的相似度，采用改进的粒子群优化算法，通过相异性计算公式E(h,O)，估算出观察对象与模型对象之间的相异程度，不断优化手部模型的27个参数，使得相似度度量达到最大，最终得到采集图像的手部模型，基于手部模型以及Kinect传感器的标定信息，最终渲染得到深度图像，实现对手势的跟踪识别，完成虚拟装配系统的信息输入，进而实现高精度虚拟装配过程。

【技术特征摘要】
1.一种基于双目视觉的高精度虚拟装配系统算法，其特征在于该算法内容
如下：
通过Kinect传感器采集用户运动空间信息，包括上肢动作信息、手势信息
包括静态手势和动态手势信息作为虚拟装配系统的输入信息，从而使用自然习
惯动作完成虚拟装配过程；
采用Kinect传感器拍摄手部姿态的彩色图像和对应的深度图像信息作为
输入信息，通过肤色检测结合深度信息，分割出手部图像，得到观察的模型；
应用OpenGL建立手部模型，采用球体、圆柱体、椭球体和椎体四个基本图元，
建立一个用27个参数表征的具有26个自由度的3D手部模型；
将建立的手部模型与采集的手部图像进行对比，计算得到手部模型与手部
图像的相似度，采用改进的粒子群优化算法，通过相异性计算公式E(h,O)，估...

【专利技术属性】
技术研发人员：张立国，王鹏，金梅，蒋再毅，
申请(专利权)人：燕山大学，
类型：发明
国别省市：河北;13