基于视频透视式增强现实的真三维建模系统和方法技术方案

本发明专利技术涉及一种基于视频透视式增强现实的真三维建模系统和方法，是一种首次把视频透视式增强现实技术和计算机三维建模两者有机地集成在一起的技术。随着多媒体技术的高速发展，这种真三维的设计方法将成为必然的趋势，必将引起计算机辅助建模与设计平台开发领域的一场新潮流。本发明专利技术实际上提出了一种全新的设计开发理念——将设计人员的工作区由二维平面拓展到一个真三维的空间区域，解除了以前只能在二维平面中进行三维建模的限制，提高了设计效率，简化了设计流程，采用增强现实技术进行人机交互和反馈显示，让用户在一种深入的沉浸感中进行设计开发，充分享受随心所欲、天马行空的创造乐趣。

【技术实现步骤摘要】

本专利技术涉及的是一个真正意义上的三维建模系统和方法，具体的说是一种。
技术介绍
三维建模是以多媒体计算机为工具，综合了图形学、几何学、动力学、物理学等多门学科的新技术。实际操作中要求设计人员大胆创新，不断完善，将脑海中的设计蓝图完美实现。随着计算机硬件和多媒体技术的不断发展，这一技术越来越被人们所看重，已被广泛应用到各行各业，比如建筑规划、园林景观、产品设计与制造、电影广告、动画娱乐等等， 产生了巨大的经济及社会效益。无论是在哪一个应用领域，计算机三维建模的使用都极大地提高了设计对象的质量，缩短了对象从设计到实现的周期，降低了成本，促进了标准化工作。所以，计算机三维建模的发展水平在一定程度上成为了衡量一个国家工业水平的重要标志之一O目前在发达国家已形成以计算机三维建模技术的研究、开发、制造、销售直到咨询服务的完整产业，先后涌现出了一批优秀的建模与设计系统，如3D MAX、Solidfforks, CATIA、Pr0/E、Aut0CAD等等。而我国在这一
的研究尚处于初期发展阶段。我国三维建模产业的发展策略基本上是选择国际上流行的优秀的系统作为开发平台，结合我国国情进行开发。从60年代开始，在基础理论研究、软件环境和实用系统的研制等多方面展开了相关的研究工作，取得了不少成果。但由于种种原因，软件系统的商品化程度还不高。一个好的三维建模平台能让设计人员把脑海中的产品、动画形象以及房屋建筑等设计对象高效、直观地描绘和渲染出来，而且设计人员能从各种角度查看所设计对象的立体视图，对其进行观察和评估，并能根据要求实时、自然地对其进行各种编辑修改操作。在产品设计、动画制作、建筑工程等领域，这些要求尤为重要，因为三维建模与设计制图是后续一切工作的基础和依据。然而目前的各种主流建模与设计平台，如3D MAX、SolidWorks、CATIA、Pro/E等等， 还不能称之为真正意义上的三维系统，或可称之为准三维系统。因为设计人员还是在一个二维的平面区域内进行设计，用户无法亲身进入到这个工作区域中去查看和感受正在设计的对象，这就对设计人员的空间想象能力和立体几何学提出了较高的要求，设计人员经常需要花费大量的时间和精力去思考和运算所设计对象的相对空间关系；而且这些系统或平台，主要还是利用传统的人机交互方式——基于鼠标和键盘等输入设备进行编辑与操作， 这种方式的不足之处在于操作效率低和不够直观，用户毫无沉浸感。针对于此,本专利技术将增强现实技术(Augmented Reality, AR)引入三维建模领域, 提出“真三维”这一概念，即基于视频透视式增强现实技术，将设计人员的工作区由二维平面拓广到三维空间中，而且设计人员能从360°全方位查看设计视图。AR系统要求具有31 特性，即沉浸感(I_ersion)、交互性(Interaction)和想象性(Imagination),而这些特征正是真三维建模系统最为需要的。AR技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术。AR技术首先出现在工业应用领域，波音公司的Tom Caudell和他的同事于20世纪90年代初期在其设计的一个辅助布线系统中，首次提出了“增强现实”这个名词。AR技术在国外发展较早， 美国、欧洲和日本等国家和地区目前在AR技术的研究和应用上比较领先，在关键设备上也具备了设计和制造能力，并在技术上拥有多项知识产权和技术标准。在国内，AR技术起步较晚。北京理工大学光电工程系是国内较早进行AR研究的单位之一，在AR系统硬件(光学透视式头盔，数据手套等)与三维注册算法等方面取得了一些研究成果。浙江大学CAD&CG国家重点实验室在分布式虚拟现实与增强现实关键技术方面做了深入研究。专利“增强现实的非真实感绘制”(200880022657. O)公开了一种用于绘制场景的捕捉图像的方法和系统，在绘制的图像中保存场景的某个结构，而不需要场景的模型。专利“增强现实系统中抑制磁力跟踪器互干扰的方法”(200910053861. 5)提出了一种增强现实系统中抑制磁力跟踪器互干扰的方法，针对用户头部和手部的跟踪，根据不同状态采用不同的滤波处理方法，对磁力跟踪的相互干扰产生一定的抑制作用。上海大学多媒体技术研发中心于2001年上半年开始启动“基于PC平台的AR系统关键技术研究”(025115008)，设计和实现了基于PC平台的AR系统结构；于2006年开始国家科技支撑计划课题(2006BAK13B10)增强虚拟现实实时互动与大型异型屏技术集成与应用”，在实时人机交互技术和大型异型屏增强显示方面开展了深入的研究；于2009年与英国提赛德大学共同开展上海市科委国际合作科研计划项目(09510700900)视频透视式增强现实实时互动技术的研究及应用”，在自动变焦、景深模拟、三维重建等方面展开深入研究。根据虚实场景融合方式的不同，AR系统可分为视频透视式AR系统和光学透视式 AR系统。与后者相比，前者具有以下优点在虚实场景的遮挡、融合策略上更为灵活；具有较宽的视野；虚实视图之间的延迟可以实现比较精确的匹配；可以根据真实场景的图像提供附加的定位策略。综上，本专利技术采用了视频透视式AR技术，用于真三维建模系统的开发。 具体而言，真实世界的任何一块三维空间区域都可以作为设计用户的工作区，利用高性能图像图形工作站把用户的设计结果以虚拟场景的方式呈现在工作区内，设计用户利用磁力跟踪器、数据手套等关键设备进行建模和设计交互，并且利用视频透视式头盔显示器(Head Mounted Display, HMD)查看虚实场景融合后的设计结果。目前AR技术的研究主要在应用系统中进行研究，并结合其它技术一起构建一种新的研究应用。根据调研，到目前为止，把视频透视式AR技术和三维建模系统软硬件平台开发和构架两者有机地集成在一起，本专利技术尚属首例。
技术实现思路
鉴于以上所述现有技术存在的问题和不足，本专利技术的目的在于提供一种，让设计人员在一个真实的三维空间工作区中进行设计创作，给设计人员一种强烈的沉浸感。为达到上述目的，本专利技术采用下述技术构思根据三维建模系统的需求，引入视频透视式AR技术，综合利用计算机视觉、数字图像处理以及基于数据手套和磁力跟踪器的传感器信息融合技术，完成对设计用户设计操作的5动作识别和响应，从而完成用户与虚拟设计对象之间的实时人机交互。系统运行初期，先进性初始化工作，完成摄像头标定、磁力跟踪校正以及数据手套的归一化等工作。系统运行时，磁力跟踪系统实时获取设计用户的视点和手部的位置、方向，数据手套读取用户手部的姿态信息，图形运算系统对应用户的视点变化和交互操作对所设计的虚拟对象进行变换和渲染。融合显示系统以双目立体视觉的方式将所设计对象所处的虚拟场景融合于真实世界的工作区之中，并将融合场景传送到HMD和大屏幕投影，分别供设计用户和学习观摩用户使用。本专利技术采用以下技术方案实现一个基于视频透视式增强现实技术的真三维建模系统，如图I所示，其系统结构具体包括以下组成部分1):双目摄像头模拟设计用户的双眼，固定于头盔显示器上，用于采集真实世界场旦牙、;2):PC1真实场景采集与处理通过使用I)双目摄像头和视频采集卡对真实场景进行采集和处理；3)PC2虚拟场景生成接收13)PC6的输出数据并据此完成本文档来自技高网...

【技术保护点】
一种基于视频透视式增强现实的真三维建模系统，特征在于其包括以下组成部分：1)：双目摄像头(Logitech,?Pro?C910)：模拟设计用户的双眼，固定于头盔显示器上，用于采集真实世界场景；2)：PC1（DELL,?PRECISION?690）真实场景采集与处理：通过使用1)双目摄像头和视频采集卡对真实场景进行采集和处理；3)：PC2（DELL,?PRECISION?690）虚拟场景生成：接收13)PC6的输出数据并据此完成分别对应于左右眼的虚拟场景的绘制、注册和动画实现等任务；4)：PC3（DELL,?OPTIPLEX?360）通信与系统监控：是系统的通信和控制中心，还完成音频控制、光照控制以及硬件设备状态监控等任务；5)：可编程控制器(Omron,?CPM2A)：用于控制音频子系统和光照子系统的开关和强度大小等；6)：音频控制器(绎创科技有限公司,?USB?DMX512)：提供设计交互时产生的声音信息，增强用户对设计对象的听觉感知；7)：光照控制器(绎创科技有限公司,?USB?DMX512)：通过光照系统的引入完善虚实之间的无缝融合，进一步增强用户的视觉感知；8)：100兆交换机(D?Link,?DES?1050G)；9)：高速以太网；10)：PC4（DELL,?PRECISION?690）虚实场景融合（左眼场景）：将左路摄像头拍摄到的真实场景与虚拟场景进行融合渲染；11)：PC5（DELL,?PRECISION?690）虚实场景融合（右眼场景）：将右路摄像头拍摄到的真实场景与虚拟场景进行融合渲染；12)：视频透视式HMD(Liteye,?LE?500)：设计用户通过HMD查看设计结果；13)：PC6（DELL,?OPTIPLEX?360）交互信息采集与处理：对数据手套、磁力跟踪器等设备采集到的用户交互信息原始数据进行分析、计算和算法处理；14)：分屏器(MT?VIKI,?MT?2504)（左眼场景）：10)PC4输出的左路虚实融合场景经此分屏器分两路同步传输，一路发送到HMD左显示器，供设计用户使用，另一路发送至投影仪，供观察用户使用；15)：分屏器（MT?VIKI,?MT?2504）（右眼场景）：11)PC5输出的右路虚实融合场景经此分屏器分两路同步传输，一路发送到HMD右显示器，供设计用户使用，另一路发送至投影仪，供观察用户使用；16)：数据手套(5DT,?Data?Glove?5?Ultra)：捕捉设计用户进行建模和设计交互时的手形变化原始信息；17)：磁力跟踪器（Ascension,?Flock?of?Birds）：实时跟踪用户的视点位置变化，用于所设计的对象在虚拟场景注册、定位和渲染，实时跟踪与所设计对象进行交互的手部的运动轨迹，并据此使所设计对象做出相应的反馈；18)：投影仪（SONY,?VPL?EX176）：两个投影仪分别将左右眼两路融合场景投影到大屏幕；19)：偏振光眼镜(GELETE,?GDD2012)：使用偏振光眼镜查看双目立体视觉投影，对用户的设计结果进行评价和反馈；系统使用磁力跟踪器实时跟踪用户视角和手部的位姿变化，由电磁跟踪系统和数据手套读取的原始用户交互信息在PC6进行分析、计算和算法处理；PC2的主要任务包括接收PC6传来的用户视点位置、设计操作等数据信息，计算虚拟相机位置，并据此完成分别对应于左右眼的虚拟场景的绘制、注册；PC4和PC5接收由PC1传来的左右眼两路真实场景视频和由PC2传来的虚拟场景，并将两者进行无缝、自然的融合渲染；最后，所有的主机通过高速以太网互联，在PC3的管理和监督下协作运行。...

【技术特征摘要】

【专利技术属性】
技术研发人员：陈一民，李启明，马德宜，黄晨，徐升，张云华，陆壬淼，王曦晨，周明珠，叶聪丽，李芸，
申请(专利权)人：上海大学，
类型：发明
国别省市：