用于在真实世界视频剪辑内对合成对象进行可视化的系统和方法技术方案

本发明专利技术的实施例提供了一种在真实世界视频剪辑内对合成对象进行可视化的方法。实施例允许交互、合成对象或角色看起来像是它们“嵌入”视频剪辑内部或构成其一部分。这些对象独立于环境地在视频剪辑内移动，并由用户控制。在一实施例中，视频帧被设置为3D环境查看器或3D“引擎”中的最远层的纹理。在另一实施例中，视频帧的分立的层在输出屏幕上与合成对象叠加，并同步移动和视场设置，以给出仅使用一个摄像机的感觉。

【技术实现步骤摘要】
【国外来华专利技术】用于在真实世界视频剪辑内对合成对象进行可视化的系统 和方法 相关申请的交叉引用 本申请与2011年9月8日提交的美国临时专利申请61/532, 422 Fitness Equipment Sensors有关，其整体并入此处作为参考。
本申请一般涉及视频游戏和计算机模拟软件，特别涉及用于将对象融入真实世界 视频剪辑的系统和方法。
技术介绍
目前，为用于视频游戏、技术或教育模拟而开发的3D景观或环境可以是可视模 拟且具有娱乐性的，但是，在许多情况下，尚未实现为对真实世界的完全逼真、照片拟真的 呈现。因此，对于大多数用户来说以及在这些类型的应用的大多数使用中，尽管浸入式印 象是希望的效果，由于真实世界环境的可视呈现没有足够的说服力，所以没有实现这种浸 入式效果。 -种解决方案可以是将真实世界视频用作这些游戏或技术模拟的背景，但在游戏 或模拟需要玩家或其他移动对象在屏幕上出现、并且需要它们独立于视频移动的情况 下，存在对于这样的系统的需求：其允许对这些玩家或对象的外部的、独立视频游戏般控 制，并允许将这些对象覆盖在视频上并使它们看起来在与视频所示相同的环境中正确移动 的能力。 另外，相比于制作同样环境的视频，真实世界环境的3D呈现的产生时间/成本相 对较高。视频游戏开发是成本相对较高的工作。旨在获得广泛市场接受度的、具有高产值 的许多当前游戏可具有几千万甚至是几亿元的开发预算以及1到4年的时间范围来完成。 这些开发资源的大部分分配给设计和搭建作为游戏或模拟的背景的3D环境。 作为替代的是，记录真实世界位置的视频在大多数情况下是相对较为便宜且较快 的开发过程。在对用户可控制背景环境的视角的程度有着有限要求的情况下，一种解决方 案可以是将记录的视频用作游戏和模拟的背景。例如，在一般所称的轨道游戏或模拟中， 通常不需要用户在背景环境中转身（平移）以及上下看（仰俯）。在这些情况下，使用具有 在仅仅一个方向上的移动的简单视频记录或视频记录集可能是描绘背景环境的可接受的 方法。 在许多视频游戏中，以及在许多情况下，技术模拟需要游戏角色和其他演员的呈 现在屏幕上被观看。在电影和电视工业中，这些角色和特效在称为后期制作或VFX过 程中被添加到或覆盖到视频，但结果是新的、非交互式的可视呈现，其中，这些添加是永久 性的，并且每当视频播放时，仅能以同样的方式观看。然而，这种过程不能用在这样的视频 游戏或模拟中：其中，要求角色或特效由用户控制，并且在每次参与游戏或模拟时不同地动 作。 相应地，存在对于这样的手段的需求：其能通过真实世界视频提供背景环境，并进 一步提供包括独立于视频移动而动作的演员或角色以及特效的能力。 健身与健康领域的现有软件应用已经在利用新技术（例如互联网、3D视频游戏） 以及分发娱乐内容的相对较为现代的方法的方式上受到限制。室内和室外健身活动中可用 的大多数娱乐源限制于听音乐和看广播电视或视频。在几种情况下，已经存在并入视频游 戏元素和互联网信息的尝试，但迄今为止，这些尝试尚未以获得广泛市场接受度的方式执 行。 相应地，存在这样的需求：以增进健身活动、激励用户更有效地锻炼并且实际上使 得健身活动更有趣的方式有效并入例如视频游戏和互联网信息的娱乐源。 进一步地，例如社交网络、视频游戏、实况在线多玩家游戏以及表现数据分析和分 享的技术已经证明非常受到大众欢迎。相应地，存在对于这样的手段的需求：借助该手段， 这些技术被适应为适合特定的健身活动，特别是室内有氧设备（例如除其他的以外，跑步 机、椭圆机、自行车、赛艇机）上的锻练。
技术实现思路
本专利技术的实施例提供了在真实世界视频剪辑中对合成对象进行可视化的方法。该 方法包括从真实世界视频剪辑的至少一部分中提取信息。所提取的信息可被处理为形成透 明3D场景，其反映真实世界视频剪辑中摄像机行进的整个路径。该方法可进一步包括，基 于所提取的信息，将来自真实世界视频剪辑的一个或多个对象和特征中的至少一个搭建到 透明3D场景中。搭建的对象和特征基于真实世界视频剪辑可以是静态的和动态的中的至 少一者。进一步地，该方法在3D播放器中对搭建的透明3D场景以及覆盖在真实世界视频 剪辑的背景层上的动态对象进行可视化。另外，该方法在3D显示器中在真实世界视频剪辑 中的特征的透明3D场景呈现内添加附加的合成对象（静态的或动态的）。透明3D场景呈 现可基于所置入的透明3D场景的可视化。另外，该方法包括将3D透明层用作遮挡层。 在透明对象后面出现的遮挡层的一部分或对象可能被遮挡，并且其位置由真实世界视频剪 辑占据。所提取的信息（来自真实世界视频剪辑）可被应用到3D播放器的摄像机。另外， 该方法包括与视频剪辑的移动独立地控制合成对象的移动。 另外，本专利技术的实施例提供了用于对一个或多个活动的可视游戏或模拟进行渲染 的系统。该系统可包括存储器、处理器和显示屏。存储器包括一个或多个指令，其能够由处 理器执行，以促使多个用户各自地选择多个真实世界视频文件的至少一个，以便进行可视 化。该指令进一步基于所述多个真实世界视频文件中对应地选择的至少一个向各个用户提 供3D环境中的背景场景。背景场景可包括与所选择的真实世界视频文件对应的一个或多 个对象。进一步地，指令可向各个用户提供屏幕上的可视呈现，作为与所选择的真实世界视 频文件对应的3D环境中的化身。另外，基于由用户执行的一个或多个活动，指令（可由处 理器执行）通过所选择的化身显示3D环境中用户的实时移动。所述一个或多个活动对应 于参与可视游戏以及锻练中的至少一者。 上面，可允许交互合成对象或角色看起来如同嵌入或构成视频或电影剪辑的一部 分，然而，这些对象与视频剪辑内的景观或环境独立地移动，并由用户或其他指示来控制。 在本专利技术一实施例中，该效果通过以下方式实现：将视频帧设置为3D环境查看器或3D 引 擎中最远的层中的纹理，通过输入装置对对象的分立且独立的移动进行控制，并将视频摄 像机的3D移动和视场设置分配给3D应用摄像机以给出仅使用一个摄像机的感觉。在另一 个实施例中，这一点通过以下方式完成：将合成对象或角色与视频帧的分立层叠加在输出 屏幕上，并将3D环境摄像机的移动和视场同步到视频摄像机，以给出仅使用一个摄像机的 感觉。 结果得到的效果是，3D或合成对象看起来在视频景观内、但独立于视频移动地移 动。例如，在一个实施例中，视频可以从在街道上以l〇km/小时的速度向前行驶的移动车辆 记录。对象或角色可以看起来在车辆和摄像机前方奔跑，停在前方的特定距离、旋转、表演 场景、于是绕过角落向后跑出视野。3D对象可由游戏或应用的用户独立地控制，且3D交 互和呈现可以在每次观看同一视频片段时不同。 在本专利技术一实施例中，本技术可用作健身娱乐游戏或模拟。用户在锻练活动期间 的移动可以是使用跑步机、室内自行车、椭圆机、赛艇机或其他设备的走、跑或划船。移动使 用追踪机器上的活动的传感器被传送到应用。用户的活动也可以是常规的室外移动。在这 种情况下，用户身上的传感器追踪移动的类型和强度。 一替代性实施例可以是赛车游戏，其中，背景环境沿着轨道线路前进，使得车能用 轨道从一侧到另一侧移动，本文档来自技高网...

【技术保护点】
一种在真实世界视频剪辑内对合成对象进行可视化的方法，包括：a.将来自真实世界视频剪辑的一个或多个对象和特征中的至少一个搭建到透明3D场景中，其中，对象和特征基于真实世界视频剪辑是静态的和动态的中的至少一者；b.在查看器应用中，将所搭建的透明3D场景和动态对象可视化为覆盖在真实世界视频剪辑的背景层上；c.在真实世界视频剪辑中的特征的透明3D场景呈现内添加静态的或动态的附加合成对象，透明3D场景呈现基于所搭建的透明3D场景的可视化；d.将透明3D场景用作遮挡层，其中，出现在透明对象后的遮挡层的一部分或对象被遮挡，并且其位置由真实世界视频剪辑占据；以及e.与视频剪辑的移动独立地控制合成对象的移动。

【技术特征摘要】
【国外来华专利技术】2011.09.08 US 61/532,4221. 一种在真实世界视频剪辑内对合成对象进行可视化的方法，包括： a. 将来自真实世界视频剪辑的一个或多个对象和特征中的至少一个搭建到透明3D场 景中，其中，对象和特征基于真实世界视频剪辑是静态的和动态的中的至少一者； b. 在查看器应用中，将所搭建的透明3D场景和动态对象可视化为覆盖在真实世界视 频剪辑的背景层上； c. 在真实世界视频剪辑中的特征的透明3D场景呈现内添加静态的或动态的附加合成 对象，透明3D场景呈现基于所搭建的透明3D场景的可视化； d. 将透明3D场景用作遮挡层，其中，出现在透明对象后的遮挡层的一部分或对象被遮 挡，并且其位置由真实世界视频剪辑占据；以及 e. 与视频剪辑的移动独立地控制合成对象的移动。2. 权利要求1所述的方法，还包括： 从真实世界视频剪辑的至少一部分提取信息，所提取的信息受到处理以形成透明3D 场景，其反映在真实世界视频剪辑中由摄像机行进的路径。3. 权利要求2所述的方法，其中，所提取的信息包括： a. 3D摄像机移动坐标和来自真实世界视频剪辑或真实世界视频剪辑的片段的路线； 以及 b. 来自真实世界视频剪辑的对象的3D空间或点云坐标数据。4. 权利要求2所述的方法，进一步包括将从真实世界视频剪辑提取的信息应用到查看 器应用的摄像机。5. 权利要求1所述的方法，进一步包括使得用户能够选择来自真实世界视频剪辑或来 自一个或多个其他真实世界视频剪辑的路线，以用于对合成对象进行可视化。6. 权利要求3所述的方法，其中，通过将3D摄像机移动坐标和路线融入3D空间坐标数 据来处理所提取的信息，以形成透明3D场景。7. 权利要求1所述的方法，进一步包括将附加静态特征搭建到透明3D场景之中，并细 化来自真实世界视频剪辑的已有特征。8. 权利要求1所述的方法，进一步包括在查看器应用中将真实世界视频剪辑可视化为 3D空间内的最远的层。9. 权利要求1所述的方法，其中，到查看器应用的结果是合成对象看起来在视频所示 的景观内存在或移动的可视外观。10. 权利要求1所述的方法，进一步包括，使得用户和一个或多个控制装置中的至少一 者能够独立地控制合成对象。11. 权利要求1所述的方法，其中，查看器应用允许在分立层中在屏幕上渲染视频剪辑 和3D对象，各个分立层在3D空间内同步。12. 权利要求8所述的方法，其中，视频剪辑的各个帧被渲染为3D空间内的最远的层中 的对象上的纹理，其中，纹理能够以可调节的速率变化，以模拟标准视频播放器。13. 权利要求1所述的方法，其中，查看器应用将纹理文件的变化速度从0帧每秒 (FPS)调节到60FPS及以上的速率，以实现对于穿过视频剪辑的移动的速度的高控制率。14. 权利要求1所述的方法，进一步包括在3D空间内在屏幕上显示HTML浏览器层。15. 权利要求1所述的方法，进一步包括允许放置包括广告图像、对象或视频剪辑中的 至少一者的对象，该放置以给出其在视频剪辑所示的环境中存在的外观的方式进行。16. 权利要求1所述的方法，其中，查看器应用包括允许放置与门户或入口相像的对象 的功能，该放置以给出其在视频所示的环境中存在的外观的方式进行。17. 权利要求1所述的方法，进一步包括提供用于在真实世界视频剪辑上使用的一个 或多个功能，包括点数系统、角色、声效和其他特征。18. 权利要求1所述的方法，进一步包括在用户选择改变真实世界视频剪辑内的路径 方向时允许用户更改背景视频。19. 一种被配置为执行权利要求1所示方法的计算机系统。20. -种用于对一个或多个活动的模拟或可视游戏进行渲染的系统，其中，系统包括存 储器、处理器和显示屏，存储器包括一个或多个指令，该指令可由处理器执行，以： a. 促使多个用户各自地选择多个真实世界视频文件中的至少一个用于可视化； b. 基于对应地选择的所述多个真实世界视频文件中的至少一个，向各个用户提供3D 环境中的背景场景，该背景场景包括与所选择的真实世界视频文件对应的一个或多个对 象； c. 向各个用户提供屏幕上的可视呈现，作为与所选择的真实世界视频文件对应的3D 环境中的化身；以及 d. 基于由用户执行的一个或多个活动，通过所选择的化身在3D环...

【专利技术属性】
技术研发人员：M·S·哈尔黛，A·R·弗兰克，
申请(专利权)人：宝福特控股私人有限公司，
类型：发明
国别省市：新加坡;SG