虚拟体验内容提供方法及用于其的装置制造方法及图纸

本发明专利技术公开虚拟体验内容提供方法及用于其的装置。本发明专利技术一实施例的虚拟体验内容提供方法包括：生成与远离用户的现实世界空间相关的实时三维可视化数据，基于体验场景，与利用多个结构物构成的体验空间相对应地生成三维虚拟空间，基于在体验空间内所具有的多个传感器，测定在体验空间中的用户动作来获取用户对象数据，整合三维虚拟空间和实时三维可视化数据来生成三维体验空间，利用用户对象数据、三维体验空间及体验空间向用户提供与现实世界空间相对应的实时虚拟体验内容的步骤。

Virtual Experience Content Providing Method and Devices for It

The invention discloses a method for providing virtual experience content and a device for it. The virtual experience content providing method of an embodiment of the present invention includes: generating real-time three-dimensional visualization data related to the real world space far away from the user, generating three-dimensional virtual space corresponding to the experience space composed of multiple structures based on the experience scene, and measuring user actions in the experience space based on multiple sensors in the experience space. Taking user object data, integrating three-dimensional virtual space and real-time three-dimensional visualization data to generate three-dimensional experience space, using user object data, three-dimensional experience space and experience space to provide users with real-time virtual experience content corresponding to the real world space.

【技术实现步骤摘要】
虚拟体验内容提供方法及用于其的装置
本专利技术涉及虚拟体验内容提供技术，尤其，涉及使实际环境和虚拟环境在统一的空间内共存从而实现在实际环境内中很难经历的体验的虚拟体验内容提供方法及用于其的装置。
技术介绍
在利用以往的头戴式显示器(HMD，HeadMountedDisplay)的体验内容的情况下，以坐或站立的形态为主，即便是支持行走的动作，也相应于在没有受限的结构物的开放空间进行体验的形态，因此，用户感受到的现实感或存在感方面水平明显较低。并且，以往的HMD形态的虚拟现实内容大部分依赖于视觉部分，脱离了实际体验环境，因而存在较大的背离感。因此，以往头戴式显示器内容，其众多用户在内容初期因新颖而有良好的反应，但在反复体验的情况下，因与现实部分的背离感，导致容易厌倦和失望。现有技术文献专利文献(专利文献)韩国公开专利第10-2016-0127695号，2016年11月04日公开(名称：利用实感数据的虚拟高尔夫游戏提供系统及方法)
技术实现思路
本专利技术的目的在于，超越用户之间的时间、空间上的制约，提供如同远距离的用户存在于同一空间内的体验。此外，本专利技术的目的在于，提供与智能虚拟形象等配合而实现逼真的互动的实际和虚拟的空间共存的融合型虚拟现实系统。此外，本专利技术的目的在于，提供一种系统，可自由建立符合内容的现实空间，并且重建符合现实空间的虚拟空间，从而可提供如同实际和虚拟共存的体验。用于实现上述目的的本专利技术的虚拟体验内容提供方法包括：生成与远离用户的现实世界空间相关的实时三维可视化数据的步骤；基于体验场景，与利用多个结构物构成的体验空间相对应地生成三维虚拟空间的步骤；基于在上述体验空间内所具有的多个传感器，测定在上述体验空间中的用户动作来获取用户对象数据的步骤；以及整合上述三维虚拟空间和上述实时三维可视化数据来生成三维体验空间，利用上述用户对象数据、上述三维体验空间及上述体验空间向上述用户提供与上述现实世界空间相对应的实时虚拟体验内容的步骤。在此情况下，用户对象数据、上述三维体验空间及上述体验空间在时间、空间及视觉上可以实现同步。在此情况下，提供的步骤可包括：在通过上述用户所佩戴的佩戴型显示器来输出上述三维体验空间时，基于上述用户对象数据，向上述佩戴型显示器输出考虑了上述三维体验空间中上述用户的位置及视线中的至少一个的区域的步骤。在此情况下，提供的步骤还可包括：基于上述用户对象数据来分析上述用户的倾向的步骤；以及生成与符合上述用户的倾向的脸部表情及全身运动中的至少一个相对应的虚拟形象并输出到上述三维体验空间的步骤。在此情况下，提供的步骤可包括：通过使与至少一个特征点相对应的坐标一致的方式来整合上述三维虚拟空间和上述实时三维可视化数据的步骤。在此情况下，生成实时三维可视化数据的步骤可包括：在实时捕获上述现实世界空间的图像中分离背景和人的步骤；以及生成与上述背景相对应的三维背景可视化数据，并以点云数据的形态来生成与上述人相对应的三维人体可视化数据的步骤。在此情况下，整合的步骤可包括：基于上述坐标，在上述三维体验空间中采用上述三维背景可视化数据的步骤；以及基于上述点云数据，在上述三维体验空间中生成与上述人相对应的人物对象的步骤。在此情况下，多个结构物可包括人形木结构物、平面模块、移动旋转模块类型框架、隧道类型可拆卸透明框架及可根据上述用户动作而活动的被动式运动平台和能动式运动平台中的至少一种。在此情况下，提供的步骤还可包括：考虑上述体验场景，基于上述三维体验空间来生成至少一个触觉事件的步骤；以及在基于上述用户动作而执行上述触觉事件的情况下，利用多个结构物向上述用户提供触觉上的反馈的步骤。在此情况下，体验空间能够根据与上述现实世界空间相对应地设计的体验场景来变更形态及构造。并且，本专利技术一实施例的虚拟体验内容提供装置包括：生成部，生成与远离用户的现实世界空间有关的实时三维可视化数据，基于体验场景，与利用多个结构物构成的体验空间相应地生成三维虚拟空间；传感器部，基于在上述体验空间内所具有的多个传感器，测定在上述体验空间中的用户动作来获取用户对象数据；以及控制部，整合上述三维虚拟空间和上述实时三维可视化数据来生成三维体验空间，利用上述用户对象数据、上述三维体验空间及上述体验空间向上述用户提供与上述现实世界空间相对应的实时虚拟体验内容。在此情况下，用户对象数据、上述三维体验空间及上述体验空间在时间、空间及视觉上可实现同步。在此情况下，控制部可以在通过上述用户所佩戴的佩戴型显示器来输出上述三维体验空间时，基于上述用户对象数据，向上述佩戴型显示器输出考虑了上述三维体验空间中上述用户的位置及视线中的至少一个的区域。在此情况下，控制部可以基于上述用户对象数据来分析上述用户的倾向，生成与符合上述用户的倾向的脸部表情及全身运动中的至少一个相对应的虚拟形象并输出到上述三维体验空间。在此情况下，控制部可通过使与至少一个特征点相对应的坐标一致的方式来整合上述三维虚拟空间和上述三维可视化数据。在此情况下，生成部可以在实时捕获上述现实世界空间的图像中分离背景和人，生成与上述背景相对应的三维背景可视化数据，并以点云数据的形态生成与上述人相对应的三维人体可视化数据。在此情况下，控制部可以基于上述坐标，在上述三维体验空间中采用上述三维背景可视化数据，并基于上述点云数据，在上述三维体验空间中生成与上述人相对应的人物对象。在此情况下，上述多个结构物可包括人形木结构物、平面模块、移动旋转模块类型框架、隧道类型可拆卸透明框架及可根据上述用户动作而活动的被动式运动平台和能动式运动平台中的至少一种。在此情况下，控制部可以考虑上述体验场景，基于上述三维体验空间来生成至少一个触觉事件，在基于上述用户动作而执行上述触觉事件的情况下，利用多个结构物向上述用户提供触觉上的反馈。在此情况下，体验空间能够根据与上述现实世界空间相对应地设计的体验场景来变更形态及构造。根据本专利技术，能够超越用户之间的时间、空间上的制约，提供如同远距离的用户存在于同一空间内的体验。并且，本专利技术能够提供功能与智能虚拟形象等配合而实现逼真的互动的实际和虚拟的空间共存的融合型虚拟现实系统。并且，本专利技术可自由建立符合内容的现实空间，并且重建符合现实空间的虚拟空间，从而可提供如同实际和虚拟共存的体验。附图说明图1为示出本专利技术一实施例的虚拟体验内容提供方法的动作流程图。图2至图7为示出通过本专利技术的体验空间和三维体验空间提供虚拟体验内容的一例的图。图8为示出通过本专利技术的虚拟体验内容而输出位于现实世界空间的其他用户的一例的图。图9为示出提供本专利技术的虚拟形象的一例的图。图10为示出通过本专利技术的触觉事件提供触觉性反馈的一例的图。图11至图19为示出构成本专利技术的体验空间的多个结构物的一例的图。图20至图40为示出本专利技术的体验场景的一例的图。图41为示出本专利技术一实施例的虚拟体验内容提供装置的框图。标号说明400：用户410：佩戴型显示器1210、1310：液压缸4110：通信部4120：生成部4130：传感器部4140：控制部4150：存储部具体实施方式参照附图，详细说明本专利技术如下。其中，省略反复的说明、可能使本专利技术的主旨变得不清楚的公知功能及结构的详细说明。本专利技术的实施形态是为了使本领域技术人员更充分地理解本专利技术而提供本文档来自技高网...

【技术保护点】
1.一种虚拟体验内容提供方法，其特征在于，包括：生成与远离用户的现实世界空间相关的实时三维可视化数据的步骤；基于体验场景，与利用多个结构物构成的体验空间相对应地生成三维虚拟空间的步骤；基于在上述体验空间内所具有的多个传感器，测定在上述体验空间中的用户动作来获取用户对象数据的步骤；以及整合上述三维虚拟空间和上述实时三维可视化数据来生成三维体验空间，利用上述用户对象数据、上述三维体验空间及上述体验空间来向上述用户提供与上述现实世界空间相对应的实时虚拟体验内容的步骤。

【技术特征摘要】
2017.06.22 KR 10-2017-00789331.一种虚拟体验内容提供方法，其特征在于，包括：生成与远离用户的现实世界空间相关的实时三维可视化数据的步骤；基于体验场景，与利用多个结构物构成的体验空间相对应地生成三维虚拟空间的步骤；基于在上述体验空间内所具有的多个传感器，测定在上述体验空间中的用户动作来获取用户对象数据的步骤；以及整合上述三维虚拟空间和上述实时三维可视化数据来生成三维体验空间，利用上述用户对象数据、上述三维体验空间及上述体验空间来向上述用户提供与上述现实世界空间相对应的实时虚拟体验内容的步骤。2.根据权利要求1所述的虚拟体验内容提供方法，其特征在于，上述用户对象数据、上述三维体验空间及上述体验空间在时间、空间及视觉上进行同步。3.根据权利要求2所述的虚拟体验内容提供方法，其特征在于，上述提供的步骤包括：在通过上述用户所佩戴的佩戴型显示器来输出上述三维体验空间时，基于上述用户对象数据，向上述佩戴型显示器输出考虑了上述三维体验空间中上述用户的位置及视线中的至少一个的区域的步骤。4.根据权利要求3所述的虚拟体验内容提供方法，其特征在于，上述提供的步骤还包括：基于上述用户对象数据来分析上述用户的倾向的步骤；以及生成与符合上述用户的倾向的脸部表情及全身运动中的至少一个相对应的虚拟形象，并输出到上述三维体验空间的步骤。5.根据权利要求1所述的虚拟体验内容提供方法，其特征在于，上述提供的步骤包括：通过使与至少一个特征点相对应的坐标一致的方式，整合上述三维虚拟空间和上述实时三维可视化数据的步骤。6.根据权利要求5所述的虚拟体验内容提供方法，其特征在于，上述生成实时三维可视化数据的步骤包括：在实时捕获上述现实世界空间的图像中分离背景和人的步骤；以及生成与上述背景相对应的三维背景可视化数据，以点云数据的形态来生成与上述人相对应的三维人体可视化数据的步骤。7.根据权利要求6所述的虚拟体验内容提供方法，其特征在于，上述整合的步骤包括：基于上述坐标，在上述三维体验空间中应用上述三维背景可视化数据的步骤；以及基于上述点云数据，在上述三维体验空间生成与上述人相对应的人物对象的步骤。8.根据权利要求1所述的虚拟体验内容提供方法，其特征在于，上述多个结构物包括人形木结构物、平面模块、移动旋转模块类型框架、隧道类型可拆卸透明框架及能够根据上述用户动作而活动的被动式运动平台和能动式运动平台中的至少一种。9.根据权利要求1所述的虚拟体验内容提供方法，其特征在于，上述提供的步骤还包括：考虑上述体验场景，基于上述三维体验空间来生成至少一个触觉事件的步骤；以及在基于上述用户动作而执行上述触觉事件的情况下，利用多个结构物向上述用户提供触觉上的反馈的步骤。10.根据权利要求...

【专利技术属性】
技术研发人员：金容完，金庸善，金洪基，田宇镇，赵东植，金起弘，
申请(专利权)人：韩国电子通信研究院，
类型：发明
国别省市：韩国,KR