混合现实系统、程序、方法和便携式终端装置制造方法及图纸

提供更容易能够进行与场所相对应的MR体验的混合现实系统。本发明专利技术是包括服务器和便携式终端装置的混合现实系统，该便携式终端装置具有用于向存在于预定现实空间中的用户显示虚拟对象的显示器，并且还具有用于拍摄现实空间的拍摄装置，该混合现实系统用于将虚拟对象叠加在现实空间的拍摄图像上的混合现实图像显示在显示器上，其中，在存在于预定现实空间中的现实对象上的一个或多个预定义位置中的各位置处，布置有由包含与该位置相对应的位置信息的标识码和具有多边形形状的对准标记构成的MR标记。该服务器包括虚拟空间数据存储单元和应用存储单元，并且该便携式终端装置包括浏览器单元、标记识别单元、位置确定单元和图像生成单元。

【技术实现步骤摘要】
【国外来华专利技术】混合现实系统、程序、方法和便携式终端装置
本专利技术涉及混合现实系统等，尤其涉及使得存在于预定现实空间中的用户可以体验到混合现实感的混合现实系统等。
技术介绍
近年来，已知有用于将现实世界和虚拟世界实时地无缝融合的技术、或者所谓的MR(混合现实)技术。MR技术使得正在体验MR技术的用户可以体验到仿佛虚拟对象存在于该场所的感觉。关于MR技术，开发了用于精确地运行MR的技术，诸如在不会使得用户感知到不自然的情况下显示虚拟空间中的对象等。例如，专利文献1公开了可以在混合现实环境中实时地识别现实空间环境的系统。现有技术文献专利文献日本专利6088094
技术实现思路
专利技术要解决的问题然而，为了用户开始MR体验，例如，已需要在智能电话上安装专用App(应用)。此外，为了使得用户能够根据特定场所下载这样的专用App，需要使得在该场所可利用宽带无线通信并鼓励用户安装App，并且这已阻碍了实际操作。本专利技术是为了解决上述问题而做出的，并且本专利技术的主要目的是提供使得用户可以更容易地体验与该用户所处的场所相对应的MR的混合现实系统等。用于解决问题的方案为了实现上述目的，根据本专利技术的方面的混合现实系统是一种混合现实系统，包括服务器和便携式终端装置，所述便携式终端装置具有用于向存在于预定现实空间中的用户显示虚拟对象的显示器，并且还具有用于拍摄所述现实空间的拍摄装置，所述混合现实系统用于将所述虚拟对象叠加在所述现实空间的拍摄图像上的混合现实图像显示在所述显示器上。所述混合现实系统的特征在于，其中，在存在于所述预定现实空间中的现实对象上的一个或多个预定义位置中的各位置处布置有MR标记，所述MR标记由包含与该位置相对应的位置信息的标识码和具有多边形形状的对准标记构成。所述服务器包括：虚拟空间数据存储单元，用于存储虚拟空间数据，所述虚拟空间数据包括存在于所述预定现实空间中的所述现实对象的三维空间数据、并且还包括布置在虚拟空间中的虚拟对象数据，所述三维空间数据是预先获得的并且由各自具有所述虚拟空间中的三维位置信息的三维形状元素构成；以及应用存储单元，用于存储基于所述标识码中所包括的标识符而标识的Web应用，所述Web应用提供混合现实图像显示网页，所述混合现实图像显示网页在被所述便携式终端装置加载时使得启动所述拍摄装置、并且包括基于所述拍摄装置所拍摄到的所述现实空间的拍摄图像的混合现实图像的显示区域。所述便携式终端装置包括：浏览器单元，用于访问所述标识码中所包括的标识符，以显示所述Web应用所提供的所述混合现实图像显示网页；标记识别单元，用于在启动所述Web应用、利用所述拍摄装置拍摄所述MR标记、并且识别所述标识码的情况下，识别构成所述MR标记的所述对准标记；位置确定单元，用于基于所述浏览器单元所访问的标识符中所包含的位置信息、以及所述便携式终端装置与所述标记识别单元所识别的所述对准标记之间的位置关系，来确定与所述现实空间中的所述拍摄装置的位置和拍摄方向相对应的、所述虚拟空间中的虚拟照相机的视点位置，所述位置关系是根据所述对准标记的形状和大小而确定的；以及图像生成单元，用于基于所述虚拟空间数据和所述虚拟照相机的视点位置，来生成要显示在所述混合现实图像显示网页的所述显示区域中的、所述虚拟对象叠加在所述现实空间的拍摄图像上的混合现实图像。此外，在本专利技术中，优选地，所述便携式终端装置还包括：标识码识别单元，用于在利用所述拍摄装置拍摄所述MR标记的情况下，识别所述标识码，以及所述浏览器单元访问所述标识码识别单元所识别的所述标识码中所包括的标识符，以显示所述Web应用所提供的所述混合现实图像显示网页。此外，在本专利技术中，优选地，所述虚拟空间数据存储单元存储与所述标识码中所包括的各个标识符相对应的虚拟空间数据，所述浏览器单元从所述虚拟空间数据存储单元获得与所访问的标识符相对应的虚拟空间数据，以及所述图像生成单元通过使用从所述虚拟空间数据存储单元获得的虚拟空间数据，来生成从所述虚拟照相机的视点位置看到的混合现实图像。此外，在本专利技术中，优选地，所述便携式终端装置还包括：标识符判断单元，用于判断作为启动所述Web应用的结果而识别的标识码中所包括的标识符与所述浏览器单元所访问的标识符是否相同，以及在所述标识符判断单元判断为这两个标识符相同的情况下，所述标记识别单元识别所述对准标记。此外，在本专利技术中，优选地，在所述标识符判断单元判断为这两个标识符不相同的情况下，所述浏览器单元访问作为启动所述Web应用的结果而识别的标识码中所包括的另一标识符，从所述虚拟空间数据存储单元获得与所述另一标识符相对应的虚拟空间数据，并且代替进行重新加载而是显示所述混合现实图像显示网页，以及所述标记识别单元对连同包括所述另一标识符的标识码一起构成所述MR标记的所述对准标记进行识别。此外，在本专利技术中，优选地，所述标识符是URL。此外，在本专利技术中，优选地，所述三维形状元素是各自由多边形构成的网格。此外，在本专利技术中，优选地，所述标识码是QR码或数据矩阵，其中QR码是注册商标。此外，在本专利技术中，优选地，所述对准标记具有正方形形状。此外，在本专利技术中，优选地，所述对准标记沿着所述标识码的边缘布置。此外，在本专利技术中，优选地，所述标记识别单元通过用预定义的颜色涂抹和擦除所述标识码来识别所述对准标记。此外，在本专利技术中，优选地，所述对准标记布置在所述标识码附近的与所述标识码具有预定位置关系的位置处。此外，在本专利技术中，优选地，所述便携式终端装置被配置成能够将构成所述图像生成单元所生成的混合现实图像的、所述拍摄装置所拍摄到的所述现实空间的拍摄图像和所述虚拟对象的图像数据各自发送至所述服务器，使得另一终端装置能够获得所述混合现实图像。此外，为了实现上述目的，根据本专利技术的方面的程序是一种用于混合现实系统的程序，所述混合现实系统包括便携式终端装置，所述便携式终端装置具有用于向存在于预定现实空间中的用户显示虚拟对象的显示器，并且还具有用于拍摄所述现实空间的拍摄装置，所述混合现实系统用于将所述虚拟对象叠加在所述现实空间的拍摄图像上的混合现实图像显示在所述显示器上。所述程序的特征在于，在所述混合现实系统中，在存在于所述预定现实空间中的现实对象上的一个或多个预定义位置中的各位置处布置有MR标记，所述MR标记由包含与该位置相对应的位置信息的标识码和具有多边形形状的对准标记构成，以及存储虚拟空间数据和基于所述标识码中所包括的标识符而标识的Web应用，所述虚拟空间数据包括存在于所述预定现实空间中的所述现实对象的三维空间数据、并且还包括布置在虚拟空间中的虚拟对象数据，所述三维空间数据是预先获得的并且由各自具有所述虚拟空间中的三维位置信息的三维形状元素构成，所述Web应用提供混合现实图像显示网页，而且所述混合现实图像显示网页在被所述便携式终端装置加载时使得启动所述拍摄装置、并且包括基于所述拍摄装置所拍摄到的所述现实空间的拍摄图像的混合现实图像的显示区域。所述程序使得所述便携式终端装置执行以下步本文档来自技高网...

【技术保护点】
1.一种混合现实系统，包括服务器和便携式终端装置，所述便携式终端装置具有用于向存在于预定现实空间中的用户显示虚拟对象的显示器，并且还具有用于拍摄所述现实空间的拍摄装置，所述混合现实系统用于将所述虚拟对象叠加在所述现实空间的拍摄图像上的混合现实图像显示在所述显示器上，/n其中，在存在于所述预定现实空间中的现实对象上的一个或多个预定义位置中的各位置处布置有MR标记，所述MR标记由包含与该位置相对应的位置信息的标识码和具有多边形形状的对准标记构成，/n其中，所述服务器包括：/n虚拟空间数据存储单元，用于存储虚拟空间数据，所述虚拟空间数据包括存在于所述预定现实空间中的所述现实对象的三维空间数据、并且还包括布置在虚拟空间中的虚拟对象数据，所述三维空间数据是预先获得的并且由各自具有所述虚拟空间中的三维位置信息的三维形状元素构成；以及/n应用存储单元，用于存储基于所述标识码中所包括的标识符而标识的Web应用，所述Web应用提供混合现实图像显示网页，所述混合现实图像显示网页在被所述便携式终端装置加载时使得启动所述拍摄装置、并且包括基于所述拍摄装置所拍摄到的所述现实空间的拍摄图像的混合现实图像的显示区域，以及/n其中，所述便携式终端装置包括：/n浏览器单元，用于访问所述标识码中所包括的标识符，以显示所述Web应用所提供的所述混合现实图像显示网页；/n标记识别单元，用于在启动所述Web应用、利用所述拍摄装置拍摄所述MR标记、并且识别所述标识码的情况下，识别构成所述MR标记的所述对准标记；/n位置确定单元，用于基于所述浏览器单元所访问的标识符中所包含的位置信息、以及所述便携式终端装置与所述标记识别单元所识别的所述对准标记之间的位置关系，来确定与所述现实空间中的所述拍摄装置的位置和拍摄方向相对应的、所述虚拟空间中的虚拟照相机的视点位置，所述位置关系是根据所述对准标记的形状和大小而确定的；以及/n图像生成单元，用于基于所述虚拟空间数据和所述虚拟照相机的视点位置，来生成要显示在所述混合现实图像显示网页的所述显示区域中的、所述虚拟对象叠加在所述现实空间的拍摄图像上的混合现实图像。/n...

【技术特征摘要】
【国外来华专利技术】20180201 JP 2018-0165621.一种混合现实系统，包括服务器和便携式终端装置，所述便携式终端装置具有用于向存在于预定现实空间中的用户显示虚拟对象的显示器，并且还具有用于拍摄所述现实空间的拍摄装置，所述混合现实系统用于将所述虚拟对象叠加在所述现实空间的拍摄图像上的混合现实图像显示在所述显示器上，
其中，在存在于所述预定现实空间中的现实对象上的一个或多个预定义位置中的各位置处布置有MR标记，所述MR标记由包含与该位置相对应的位置信息的标识码和具有多边形形状的对准标记构成，
其中，所述服务器包括：
虚拟空间数据存储单元，用于存储虚拟空间数据，所述虚拟空间数据包括存在于所述预定现实空间中的所述现实对象的三维空间数据、并且还包括布置在虚拟空间中的虚拟对象数据，所述三维空间数据是预先获得的并且由各自具有所述虚拟空间中的三维位置信息的三维形状元素构成；以及
应用存储单元，用于存储基于所述标识码中所包括的标识符而标识的Web应用，所述Web应用提供混合现实图像显示网页，所述混合现实图像显示网页在被所述便携式终端装置加载时使得启动所述拍摄装置、并且包括基于所述拍摄装置所拍摄到的所述现实空间的拍摄图像的混合现实图像的显示区域，以及
其中，所述便携式终端装置包括：
浏览器单元，用于访问所述标识码中所包括的标识符，以显示所述Web应用所提供的所述混合现实图像显示网页；
标记识别单元，用于在启动所述Web应用、利用所述拍摄装置拍摄所述MR标记、并且识别所述标识码的情况下，识别构成所述MR标记的所述对准标记；
位置确定单元，用于基于所述浏览器单元所访问的标识符中所包含的位置信息、以及所述便携式终端装置与所述标记识别单元所识别的所述对准标记之间的位置关系，来确定与所述现实空间中的所述拍摄装置的位置和拍摄方向相对应的、所述虚拟空间中的虚拟照相机的视点位置，所述位置关系是根据所述对准标记的形状和大小而确定的；以及
图像生成单元，用于基于所述虚拟空间数据和所述虚拟照相机的视点位置，来生成要显示在所述混合现实图像显示网页的所述显示区域中的、所述虚拟对象叠加在所述现实空间的拍摄图像上的混合现实图像。


2.根据权利要求1所述的混合现实系统，
其中，所述便携式终端装置还包括：
标识码识别单元，用于在利用所述拍摄装置拍摄所述MR标记的情况下，识别所述标识码，以及
其中，所述浏览器单元访问所述标识码识别单元所识别的所述标识码中所包括的标识符，以显示所述Web应用所提供的所述混合现实图像显示网页。


3.根据权利要求1或2所述的混合现实系统，
其中，所述虚拟空间数据存储单元存储与所述标识码中所包括的各个标识符相对应的虚拟空间数据，
其中，所述浏览器单元从所述虚拟空间数据存储单元获得与所访问的标识符相对应的虚拟空间数据，以及
其中，所述图像生成单元通过使用从所述虚拟空间数据存储单元获得的虚拟空间数据，来生成从所述虚拟照相机的视点位置看到的混合现实图像。


4.根据权利要求3所述的混合现实系统，
其中，所述便携式终端装置还包括：
标识符判断单元，用于判断作为启动所述Web应用的结果而识别的标识码中所包括的标识符与所述浏览器单元所访问的标识符是否相同，以及
其中，在所述标识符判断单元判断为这两个标识符相同的情况下，所述标记识别单元识别所述对准标记。


5.根据权利要求4所述的混合现实系统，
其中，在所述标识符判断单元判断为这两个标识符不相同的情况下，所述浏览器单元访问作为启动所述Web应用的结果而识别的标识码中所包括的另一标识符，从所述虚拟空间数据存储单元获得与所述另一标识符相对应的虚拟空间数据，并且代替进行重新加载而是显示所述混合现实图像显示网页，以及
其中，所述标记识别单元对连同包括所述另一标识符的标识码一起构成所述MR标记的所述对准标记进行识别。


6.根据权利要求1至5中任一项所述的混合现实系统，其中，所述标识符是URL。


7.根据权利要求1至6中任一项所述的混合现实系统，其中，所述三维形状元素是各自由多边形构成的网格。


8.根据权利要求1至7中任一项所述的混合现实系统，其中，所述标识码是QR码或数据矩阵，其中QR码是注册商标。


9.根据权利要求1至8中任一项所述的混合现实系统，其中，所述对准标记具有正方形形状。


10.根据权利要求1至9中任一项所述的混合现实系统，其中，所述对准标记沿着所述标识码的边缘布置。


11.根据权利要求10所述的混合现实系统，其中，所述标记识别单元通过用预定义的颜色涂抹和擦除所述标识码来识别所述对准标记。


12.根据权利要求1至9中任一项所述的混合现实系统，其中，所述对准标记布置在所述标识码附近的与所述标识码具有预定位置关系的位置处。


13.根据权利要求1至12中任一项所述的混合现实系统，其中，所述便携式终端装置被配置成能够将构成所述图像生成单元所生成的混合现实图像的、所述拍摄装置所拍摄到的所述现实空间的拍摄图像和所述虚拟对象的图像数据各自发送至所述服务器，使得另一终端装置能够获得所述混合现实图像。


14.一种用于混合现实系统的程序，所述混合现实系统包括便携式终端装置，所述便携式终端装置具有用于向存在于预定现实空间中的用户显示虚拟对象的显示器，并且还具有用于拍摄所述现实空间的拍摄装置，所述混合现实系统用于将所述虚拟对象叠加在所述现实空间的拍摄图像上的混合现实图像显示在所述显示器上，
其中，在所述混合现实系统中，
在存在于所述预定现实空间中的现实对象上的一个或多个预定义位置中的各位置处...

【专利技术属性】
技术研发人员：仓林修一，
申请(专利权)人：CY游戏公司，
类型：发明
国别省市：日本;JP