互动虚拟现实系统的基于模型的景像外推技术方案

本发明专利技术提供了一种客户机与服务机协同绘制客户机用户所漫游的虚拟现实世界内的景像的方法。根据用户的虚拟运动，服务机向客户机发送一个基准景像（Ｒ）和一个用来外推基准景像的模型。客户机向服务机发送用户的虚拟运动的记录（Ｍ）。客户机和服务机双方执行对基准景像进行的基于模型的外推。服务机还执行对基准景像的确切外推。在外推的基准景像偏离更新的基准景像过大时，服务机向客户机发送外推与更新的景像之差（Ｄ），使客户机可以更新它的基准景像。（*该技术在2017年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术与互动网技术有关，具体地说，与服务机以互动方式向客户机提供虚拟现实世界的视像的网络有关。与基于文本的媒体不同，图像必需以可预测的同步方式发送，要求有保证的服务质量，以及有保证的带宽和有保证的对诸如处理延迟和抖动之类的其他特性的限制。支持有保证的服务质量的连接的协议即将由基于ATM的网络或诸如FDDI和高速以太网提供。这样的协议在一个发送装置(多媒体服务机)和一个接收装置(客户机)之间建立一个虚拟连接，如果沿途能保留足以支持这个连接所需的最低服务值质量的资源的话。摄影逼真虚拟现实应用与基于电视图像的实时应用类似，但提供了全互动操作方式。在许多虚拟现实系统中，用户必需真正感受所要探索和发现的环境，与环境顺当地交流互动。在互动web系统的情况下，客户机带有虚拟摄像机遨游于虚拟环境中。服务机不断接收有关客户机的摄像机的位置和朝向以及它的可以修改虚拟环境的种种活动的情况。所有涉及整体设置的信息都保存在服务机内。按照客户机的运动，服务机用能产生新景像的必需数据对客户机进行更新。时间滞后和质量差的图像是现实感不足的主要原因。高保真性和摄影真实性可以利用全纹理化(摄影映射)环境来达到。今天，我们正目睹在世界范围的web系统上用虚拟现实模型化语言(VRML)描述的3D虚拟世界的迅速增加的情况。然而，在web系统上与远地虚拟环境互动仍受很大限制。普通的方法是首先将整个VRML 3D世界下载给客户机，然后客户机在本机恢复场景。这种方法只要环境不过于复杂是相当成功的，否则下载时间会过长。这妨碍了为达到摄影逼真效果而必需的摄影纹理的使用。应强调的是，下载时间对于每次会话改变都是需要的，例如，在电视购物应用中用户走到上一层或在电视游戏中用户移动到另一个行星时。为了避免上述缺点，业已提出另一方法，服务机计算出新的景像，将它们压缩后发给客户机。虽然每个图像都是经压缩的(例如JPEG)，但传输量仍相当大，需要昂贵的带宽，否则图像质量就比较差。诸如MPEG之类的利用时序数据冗余的电视图像压缩技术是根据帧间的相关性，可以进行在线压缩，但有时间滞后，不能实时反馈。因此，普遍认为如果能开发出一种可以在互动服务机-客户机系统的客户机上快到足以保持虚拟现实幻觉地提供远地复杂虚拟现实世界景像的方法，那将是十分有益的。在地标领航(visual navigation)应用中，始终需要在图像质量和帧率之间进行折衷。在互动实时系统中，要求维护用户规定的最低帧率。T.A.Funkhouser和C.H.Sequin在“复杂虚拟环境可视化期间互动帧率的自适应显示算法”(Adaptive display algorithm for interactiveframe rates during visualization of complex virtual environments.Computer Graphics(SIGGRAPH’93 Proceedings)，pp.247-254，August 1993)中提出一种通过按照估计的绘制成本选择细致级别和绘制算法自适应地调整图像的算法。P.W.C.Maciel和P.Shirley在“利用纹理化群的大环境地标领航”(Visual navigation of largeenvironments using textured clusters，1995 Symposium on Interactive3D Graphics，pp.95-102，Appril 1995)中提出利用顶替处理(imposture)以速度换取质量。经顶替处理后的绘制必需比真实模型快，而在视觉上与真实图像相像。纹理映射为简化模型就是一种普通的顶替处理形式。J.Shade，D.Lischinski，D.H.Salesin，J.Snyder和T.Derose在“快速巡视复杂环境的分层图像高速缓冲存储”(Hierarchicalimage caching for accelerated walkthroughs of complex environments，computer Graphics(SIGGRAPH′96 Proceedings)中，G.Schauffler和W.Sturzlinger在“虚拟现实的三维图像高速缓冲存储器”(A threedimensional image cache for virtual reality，Eurographics′96，Computer Graphics Forum Vol.15 No.3 pp.227-235，1996)中，以及D.G.Aliaga在“利用基于纹理的动态简化显示复杂模型景像”(Visualization of complex models using dynamic texture-basedsimplification，Proceedings of Visualization 96)中，都用了一种单纹理多边形。这些基于图像的图元与景像有关，形成一种紧凑的表示，因此它们具有可以更适合一些也必需支持用户所规定的通信带宽的应用的潜力。S.Eric Chen和L.Williams在“图像综合的景像内插”(Viewinterpolation for image synthesis，Computer Graphics(SIGGRAPH′93Proceedings)，pp.279-288，August 1993)中，以及T.Kaneko和S.Okamoto在“领航应用中带距离数据的景像内插”(View interpolationwith range data for navigation applications，Computer GraphicsInternational，pp.90-95，June 1996)中，通过“景像内插”根据一系列预先计算得出的基准图像产生一些新的图像。除了图像，相应的地图也是必要的，这样可以使一个图像同态化成另一个图像。用户可以漫步通过相继连接存储有预先计算好的景像的位置的受限路径，感受到所提供的沿途连接的各中间景像。景像内插和任何基于图像的绘制技术的优点是产生一个新的图像与场景的复杂性无关。这种技术给出了比在一个电视图像序列内前后漫步更多的自由。然而，它只能在相邻图像描绘的是从不同视点看到的同一对象时才工作得比较好。内插的景像可能会有某些失真，因为线性内插并不保证得到自然或物理真实的中间图像。近来，S.M.Seitz和C.R.Dyer在“景像同态处理”(View morphing，ComputerGraphics(SIGGRAPH′96 Proceedings))中提出了一种称为“景像同态处理”的新方法，较好地维护了中间形态的外观。基于图像的方法通常并不考虑基本的3D模型，因此需要改善一些称为孔洞和交叠之类的固有问题。在前面所引用的Kaneko和Okamoto的论文中，将从距离扫描器获取的充分的距离数据分别与各基准图像联系起来。确切的距离简化了产生中间图像的处理。不需要通信联系，用Z缓存处理很容易解决交叠问题。P.E.Debevec，C.J.Taylor和J.Malik在“根据照片建模绘制技术，一种基于几何和图像的混合方法”(Modeli本文档来自技高网...

【技术保护点】
一种用于服务机与客户机协同绘制一个虚拟世界的多个各与视点相应的景像的系统中的实时产生这些景像的方法，所述方法包括下列步骤：（ａ）向客户机发送一个第一基准景像；（ｂ）向客户机发送一个模型的至少一个部分；（ｃ）根据所述模型的所述部分 对所述第一基准景像进行外推，得出一个外推景像；（ｄ）向客户机发送至少一个校正数据集；以及（ｅ）根据所述至少一个校正数据集校正所述外推景像，得出至少一个第二基准景像。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：丹尼尔科恩奥，
申请(专利权)人：里奇FX有限公司，
类型：发明
国别省市：IL[以色列]