虚拟现实视听系统、再生同步方法以及虚拟现实视听用程序技术方案

本发明专利技术提供虚拟现实视听系统、再生同步方法以及虚拟现实视听用程序；在由HMD(100)通过内置计算机再生VR视频，并由外部计算机(200)从外部扬声器(300)输出声音的VR视听系统中，外部计算机(200)向外部扬声器(300)输出声音，并以与该声音输出同步的方式对VR视频的再生经过时间进行主管理，并且，检测HMD(100)的内置计算机进行的VR视频的再生经过时间与由外部计算机(200)进行主管理的VR视频的再生经过时间之间的差分，并对内置计算机进行的VR视频的再生进行调整，以消除检测出的差分。

Virtual reality audio-visual system, regeneration synchronization method and virtual reality audio-visual program

The invention provides a virtual reality audio-visual system, a regeneration synchronization method and a program for virtual reality audio-visual; in a VR audio-visual system in which the HMD (100) regenerates VR video through a built-in computer and the external computer (200) outputs sound from the external speaker (300), the external computer (200) outputs sound to the external speaker (300), and regenerates VR video in a way that is synchronized with the sound output In addition, the difference between the regeneration time of VR video by the built-in computer of HMD (100) and the regeneration time of VR video by the external computer (200) is detected, and the regeneration time of VR video by the built-in computer is adjusted to eliminate the detected difference.

【技术实现步骤摘要】
【国外来华专利技术】虚拟现实视听系统、再生同步方法以及虚拟现实视听用程序
本专利技术涉及一种虚拟现实视听系统、再生同步方法以及虚拟现实视听用程序，尤其适用于由头戴式显示器通过内置计算机再生主内容，由外部计算机再生副内容的虚拟现实视听系统。
技术介绍
近年来，让人如同现实般地体验计算机中创造的虚拟世界的虚拟现实(VR：VirtualReality)技术越来越广泛地得到应用。VR的应用例多种多样，例如有通过在用户佩戴的HMD(头戴式显示器)中显示三维空间图像，从而用户能够在HMD上描绘的三维空间图像中虚拟地进行各种体验。目前，还已知有一种内容再生系统，其与HMD的显示器上显示的作为主内容的影像同步地从HMD的扬声器输出作为副内容的解说声音(例如参照专利文献1)。专利文献1：日本专利特开2011-101196号公报
技术实现思路
另外，也存在通过内置的计算机再生动态图像并显示动态图像的HMD。在使用这种HMD来构建带声音的VR视听系统的情况下，可以考虑下述两种方式。一种是将HMD中与动态图像一同再生的声音发送至外部扬声器并输出的方式。另一种是通过与HMD不同的外部计算机再生声音，并将再生的声音从外部扬声器输出的方式。然而，在以后者那样的方式来构建VR视听系统的情况下，存在由HMD再生的动态图像与由外部计算机再生的外部声音之间产生时间差这一问题。尤其是在构建多个用户佩戴的各HMD中再生相同的动态图像，并通过外部计算机再生声音并从外部扬声器输出的方式的VR视听系统的情况下，有时也会在各HMD间的动态图像的再生中产生时间差。该情况下，每个用户的动态图像与外部声音的时间差各不相同。今后还考虑提供在HMD中再生动态图像，并与该动态图像的再生相对应地通过外部计算机提示各种内容这样的演出。例如，考虑根据再生的动态图像的场景，通过外部计算机来执行静态图像的再生、文本的显示、气味的输出、对振动等的触觉的呈现、送风、控制温度、产生水雾或降水等的演出。关于这些内容的再生，同样也会产生与动态图像的再生之间产生时间差这一问题。本专利技术是为了解决上述问题而完成的，其目的在于，能够使通过HMD的内置计算机再生并显示在HMD上的作为主内容的动态图像与通过外部计算机再生的副内容同步。为了解决上述问题，在本专利技术中，在由HMD通过内置计算机再生动态图像，并由外部计算机控制副内容的再生的虚拟现实视听系统中，以与外部计算机进行的副内容的再生同步的方式对与内置计算机进行的动态图像的再生相关的基准再生经过时间进行主管理。并且，检测HMD中再生的动态图像的再生经过时间与外部计算机中主管理的基准再生经过时间之间的差分，并对HMD的内置计算机进行的动态图像的再生进行调整，以消除检测出的差分。根据上述那样构成的本专利技术，以与副内容的再生同步的方式对动态图像的基准再生经过时间进行主管理，当该基准再生经过时间与实际的动态图像的再生经过时间之间产生差分时，对动态图像的再生进行调整以消除该差分，因此，调整后的动态图像的再生经过时间与基准再生经过时间变得同步(一致)。在此，由于基准再生经过时间与副内容的再生同步，因此，与基准再生经过时间同步的动态图像的再生也与副内容的再生同步。由此，根据本专利技术，能够使通过HMD的内置计算机再生并显示在HMD上的作为主内容的动态图像与通过外部计算机再生的副内容同步。附图说明图1是表示第一实施方式涉及的VR视听系统的构成例的图。图2是表示第一实施方式涉及的VR视听系统的功能构成例的框图。图3是表示第一实施方式涉及的VR视听系统的动作例的流程图。图4是表示第二实施方式涉及的VR视听系统的构成例的图。图5是表示第二实施方式涉及的VR视听系统的功能构成例的框图。图6是表示第二实施方式涉及的VR视听系统的动作例的流程图。【符号说明】11：动态图像再生部12：差分时间检测部13：动态图像再生调整部21：副内容再生部(声音再生部)22：基准再生经过时间管理部23：差分时间检测部24：动态图像再生调整部100、100’：HMD20、200’：外部计算机300：外部扬声器具体实施方式(第一实施方式)以下，根据附图对本专利技术的第一实施方式进行说明。图1是表示第一实施方式涉及的虚拟现实视听系统(以下称为“VR视听系统”)的构成例的图。第一实施方式涉及的VR视听系统的构成包括多台HMD100、外部计算机200以及外部扬声器300，其中，多台HMD100分别内置有进行虚拟现实的动态图像(以下称为“VR视频”)的再生的计算机。多台HMD100与外部计算机200之间通过有线或无线的通信网络进行连接。外部计算机200与外部扬声器300之间以有线或无线的方式连接。在本实施方式的VR视听系统中，由多台HMD100分别通过内置计算机再生VR视频，由外部计算机200控制副内容的再生。在第一实施方式中，作为副内容的一例而使用声音。即，外部计算机200再生声音，并从外部扬声器300输出声音。如以下详细说明，在第一实施方式中，使通过多台HMD100的内置计算机分别再生的VR视频与通过外部计算机200再生的声音同步。即，在第一实施方式中，外部计算机200执行向外部扬声器300输出声音，并以与该声音输出同步的方式对VR视频的基准再生经过时间进行主管理。另外，检测HMD100的内置计算机再生VR视频的再生经过时间与通过外部计算机200进行主管理的基准再生经过时间的差分，并对HMD100的内置计算机进行的VR视频的再生进行调整，以消除检测出的差分。具体而言，各台HMD100的内置计算机向外部计算机200发出查询，并且，检测内置计算机再生VR视频的再生经过时间与通过外部计算机200进行主管理的基准再生经过时间的差分，并对内置计算机进行的VR视频的再生进行调整，以消除检测出的差分。例如，通过再生的快进、快退、暂时放缓等来调整内置计算机再生VR视频的位置。图2是表示第一实施方式涉及的VR视听系统的功能构成例的框图。如图2所示，HMD100的内置计算机100A的功能构成包括通信部10、动态图像再生部11、差分时间检测部12以及动态图像再生调整部13。另外，内置计算机100A具备动态图像存储部15作为存储介质。另一方面，外部计算机200的功能构成包括通信部20、副内容再生部21以及基准再生经过时间管理部22。另外，外部计算机200具备声音存储部25作为存储介质。HMD100的内置计算机100A所具备的各功能块10～13可以由硬件、DSP(DigitalSignalProcessor、数字信号处理器)、软件中的任意一种构成。例如，在由软件构成的情况下，上述各功能块10～13的构成实际上包括计算机的CPU、RAM、ROM等，并通过运行RAM或ROM、硬盘或者半导体存储器等的记录介质中存储的程序而实现。外部计算机200所具备的各功能块20～22也可以由硬件、DSP、软件中的本文档来自技高网...

【技术保护点】
1.一种虚拟现实视听系统，其由头戴式显示器通过内置计算机再生动态图像，并由外部计算机控制副内容的再生，/n所述虚拟现实视听系统的特征在于，具备：/n基准再生经过时间管理部，其以与所述外部计算机进行的所述副内容的再生同步的方式，对与所述内置计算机进行的所述动态图像的再生相关的基准再生经过时间进行主管理；/n差分时间检测部，其检测通过所述头戴式显示器的所述内置计算机再生的动态图像的再生经过时间与通过所述基准再生经过时间管理部进行主管理的所述基准再生经过时间之间的差分；以及/n动态图像再生调整部，其对所述头戴式显示器的所述内置计算机进行的所述动态图像的再生进行调整，以消除所述差分时间检测部检测出的差分。/n

【技术特征摘要】
【国外来华专利技术】20170322 JP 2017-0564761.一种虚拟现实视听系统，其由头戴式显示器通过内置计算机再生动态图像，并由外部计算机控制副内容的再生，
所述虚拟现实视听系统的特征在于，具备：
基准再生经过时间管理部，其以与所述外部计算机进行的所述副内容的再生同步的方式，对与所述内置计算机进行的所述动态图像的再生相关的基准再生经过时间进行主管理；
差分时间检测部，其检测通过所述头戴式显示器的所述内置计算机再生的动态图像的再生经过时间与通过所述基准再生经过时间管理部进行主管理的所述基准再生经过时间之间的差分；以及
动态图像再生调整部，其对所述头戴式显示器的所述内置计算机进行的所述动态图像的再生进行调整，以消除所述差分时间检测部检测出的差分。


2.如权利要求1所述的虚拟现实视听系统，其特征在于，
所述外部计算机具备控制所述副内容的再生的副内容再生部和所述基准再生经过时间管理部；
所述头戴式显示器的所述内置计算机具备再生所述动态图像的动态图像再生部、所述差分时间检测部以及所述动态图像再生调整部；
所述头戴式显示器的所述差分时间检测部向所述外部计算机的所述基准再生经过时间管理部发出查询而获取所述基准再生经过时间，并检测该获得的所述基准再生经过时间与通过所述动态图像再生部再生的动态图像的再生经过时间之间的差分；
所述头戴式显示器的所述动态图像再生调整部对所述动态图像再生部进行的所述动态图像的再生进行调整，以消除所述差分时间检测部检测出的差分。


3.如权利要求1所述的虚拟现实视听系统，其特征在于，
所述外部计算机具备控制所述副内容的再生的副内容再生部、所述基准再生经过时间管理部、所述差分时间检测部以及所述动态图像再生调整部；
所述头戴式显示器的所述内置计算机具备再生所述动态图像的动态图像再生部；
所述外部计算机的所述差分时间检测部通过向所述头戴式显示器的所述动态图像再生部发出查询而获取通过所述动态图像再生部再生的动态图像的再生经过时间，并检测该获得的动态图像的再生经过时间与通过所述基准再生经过时间管理部进行主管理的所述基准再生经过时间之间的差分；
所述外部计算机的所述动态图像再生调整部向所述头戴式显示器输出用于调整所述动态图像再生部进行的所述动态图像的再生的指示，以消除通过所述差分时间检测部检测出的差分。


4.如权利要求1至3中任一项所述的虚拟现实视听系统，其特征在于，
所述外部计算机的所述基准再生经过时间管理部在指示所述头戴式显示器的所述内置计算机开始再生所述动态图像的同时，开始进行所述基准再生经过时间的主管理；
所述头戴式显示器的所述内置计算机根据所述指示开始再生所述动态图像；
所述差分时间检测部在所述动态图像的再生开始后逐次检测所述差分；
当通过所述差分时间检测部检测出所述差分时，所述动态图像再生调整部对所述内置计算机进行的所述动态图像的再生进行调整，以消除该检测出的差分。


5.如权利要求1至3中任一项所述的虚拟现实视听系统，其特征在于，
所述外部计算机的所述基准再生经过时间管理部在指示多台所述头戴式显示器的所述内置计算机开始再生所述动态图像的同时，开始进行所述基准再生经过时间的主管理；
所述多台头戴式显示器的所述内置计算机根据所述指示开始再生所述动态图像；
所述差分时间检测部在所述动态图像的再生开始后，针对所述多台头戴式显示器分别逐次检测所述差分；
当通过所述差分时间检测部在任意一台头戴式显示器中检测出所述差分时，所述动态图像再生调整部对检测出该差分的头戴式显示器中的所述内置计算机进行的所述动态图像的再生进行调整，以消除该检测出的差分。


6.如权利要求1至3中任一项所述的虚拟现实视听系统，其特征在于，
所述头戴式显示器的所述内置计算机能够与通过所述外部计算机的所述基准再生经过时间管理部进行主管理的所述基准再生经过时间不同步...

【专利技术属性】
技术研发人员：水野拓宏，野村让誉，
申请(专利权)人：株式会社阿尔法代码，
类型：发明
国别省市：日本;JP