信息处理装置、信息处理系统和信息处理方法制造方法及图纸

根据实施例的信息处理装置包括被配置为执行场景检测处理、参数提取处理和输出处理的控制单元。场景检测处理从输入内容中检测场景。参数提取处理提取与由场景检测处理检测到的场景相对应的、用于波控制的真实感参数。输出处理输出该内容的波信号，该波信号通过使用由参数提取处理提取的真实感参数对输入内容的声音数据进行处理而产生。的声音数据进行处理而产生。的声音数据进行处理而产生。

【技术实现步骤摘要】
信息处理装置、信息处理系统和信息处理方法


[0001]所公开的实施例涉及信息处理装置、信息处理系统和信息处理方法。

技术介绍

[0002]通过使用头戴式显示器(HMD)等向用户提供包括虚拟空间体验在内的数字内容的技术在传统上是已知的，该虚拟空间体验例如是虚拟现实(VR)、增强现实(AR)和/或混合现实(MR)、或所谓的交叉现实(XR)内容。XR是集合了所有虚拟空间技术的表达，这些虚拟空间技术除了包括VR、AR和MR以外，还包括替代现实(SR)、音频/视觉(AV)等。
[0003]此外，例如，已经提出了以下技术，即，向用户提供取决于由用户观看的视频的振动，以便实现这种视频的真实感的提高(参见例如日本专利申请公开No.2004
‑
081357)。
[0004]然而，在传统技术中，用于真实感的真实感参数必须由人工初步设置，因此需要大量人工来设置这样的真实感参数。

技术实现思路

[0005]根据实施例的一个方面的信息处理装置包括控制单元，该控制单元被配置为执行：场景检测处理，从输入内容中检测场景；参数提取处理，提取与由场景检测处理检测到的场景相对应的、用于波控制的真实感参数；以及输出处理，输出内容的波信号，该波信号通过使用由参数提取处理提取的真实感参数对输入内容的声音数据进行处理而产生。
附图说明
[0006]图1是示出了信息处理系统的概要的图。
[0007]图2是示出了信息处理方法的概要的图。
[0008]图3是信息处理装置的框图。
[0009]图4是示出了场景信息DB的示例的图。
[0010]图5是示出了场景信息DB的示例的图。
[0011]图6是示出了场景信息DB的示例的图。
[0012]图7是示出了优先级信息DB的示例的图。
[0013]图8是示出了参数信息DB的示例的图。
[0014]图9是场景检测单元的框图。
[0015]图10是优先级设置单元的框图。
[0016]图11是参数提取单元的框图。
[0017]图12是输出单元的框图。
[0018]图13是示出了由信息处理装置执行的处理过程的流程图。
[0019]图14是示出了优先考虑的对象的确定方法的示例的图。
具体实施方式
[0020]在下文中，将参考附图详细说明如在本申请中公开的信息处理装置、信息处理系统和信息处理方法的实施例。另外，本专利技术不限于如下所示出的实施例。
[0021]首先，将通过使用图1和图2来说明根据实施例的信息处理系统和信息处理方法的概要。图1是示出了信息处理系统的概要的图。图2是示出了信息处理方法的概要的图。另外，下面将说明XR空间(虚拟空间)是VR空间的情况。
[0022]如图1所示，信息处理系统1包括显示装置3、扬声器4和振动设备5。
[0023]显示装置3例如是头戴式显示器，并且是用于将从信息处理装置10提供的XR内容的视频数据呈现给用户以便使该用户享受VR体验的信息处理终端。
[0024]此外，显示装置3可以是完全覆盖视野的非传输型，或者可以是视频传输型和/或光传输型。此外，显示装置3具有通过传感器部(例如照相机、运动传感器等)来检测用户内部和/或外部情况的变化的设备。
[0025]扬声器4是输出声音的声音输出设备，并且例如设置为耳机型并佩戴在用户的耳朵上。扬声器4产生从信息处理装置10提供的声音数据作为声音。另外，扬声器4不限于耳机型，而可以是箱型(其安装在地板等上)。此外，扬声器4可以是立体声音频或多声道音频型。
[0026]振动设备5由电振动转换器组成，设置在例如用户就座的座位上，并且根据从信息处理装置10提供的振动数据进行振动，其中，电振动转换器由电路和磁路和/或压电元件组成。另外，例如，多个振动设备5设置在座位上，信息处理装置10单独地控制每个振动设备5。
[0027]由扬声器4提供的这种声音和/或振动设备5的振动(即，由波设备提供的波)适用于再现视频并施加于内容用户，从而可以进一步增加视频再现的真实感。
[0028]信息处理装置10由计算机组成，以有线或无线方式与显示装置3连接，并且向显示装置3提供XR内容的视频。此外，例如，信息处理装置10根据需要获取由设置在显示装置3上的传感器部检测到的情况的变化，并将这种情况的变化反映在XR内容上。
[0029]例如，信息处理装置10可以根据由传感器部检测到的用户的头部和/或视线的变化，来改变XR内容的虚拟空间中的视野的方向。
[0030]同时，当提供XR内容时，根据场景增强从扬声器4产生的声音或者根据场景使振动设备5振动，从而可以实现XR内容的真实感的提高。
[0031]然而，用于实现这种真实感提高的真实感控制所使用的参数(以下将称为真实感参数)必须在产生XR内容之后由人工设置，因此需要大量的工作来设置真实感参数。
[0032]因此，在信息处理方法中，实现了这种真实感参数的设置的自动化。例如，如图2所示，在根据实施例的信息处理方法中，首先，从XR内容的视频数据和声音数据中检测满足预定条件的场景(步骤S1)。
[0033]本文的预定条件例如是关于对应的视频数据或声音数据是否是需要设置真实感参数的场景的条件，并且例如由针对XR内容的内部情况的条件表达式来定义。
[0034]即，在信息处理方法中，在XR内容的内部情况满足由条件表达式定义的条件的情况下，作为满足预定条件的场景来执行检测。因此，在信息处理方法中，不需要执行详细分析视频数据等的处理，从而可以实现场景检测的处理负荷的降低。
[0035]然后，在信息处理方法中，针对通过场景检测而检测到的场景设置优先级(步骤S2)。本文中，优先级表示应该优先考虑的具有真实感参数的场景的级别。即，在信息处理方
法中，在多个场景在时间上重叠的情况下，针对每个场景，初步定义应该优先考虑的具有真实感参数的场景。
[0036]因此，即使在多个场景重叠的情况下，也可以向用户提供合适的真实感。此外，如稍后所述，在信息处理方法中，分别设置声音的优先级和振动的优先级中的每一个。
[0037]然后，在信息处理方法中，针对每个场景提取真实感参数(步骤S3)。例如，在信息处理方法中，通过使用初步定义了场景与真实感参数之间的关系的参数信息，针对每个场景提取真实感参数。
[0038]本文中，在信息处理方法中，取决于优先级来提取对应的真实感参数。具体地，在信息处理方法中，例如，在具有低优先级的场景和具有高优先级的场景重叠的情况下，提取这种具有高优先级的场景的真实感参数。
[0039]在信息处理方法中，通过使用提取的真实感参数中的声音增强参数来执行对声音数据进行增强的声音增强处理(步骤S4)，并且执行向扬声器4的输出。此外，在信息处理方法中，在执行将声音数据转换为振动数据的振动转换处理、并且通过使用提取的真实感参数中的振动参数来增强这种振动数据之后(步骤S5)，执行向振动设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息处理装置，包括：控制单元，被配置为执行：场景检测处理，从输入内容中检测场景；参数提取处理，提取与由所述场景检测处理检测到的场景相对应的、用于波控制的真实感参数；以及输出处理，输出所述内容的波信号，所述波信号通过使用由所述参数提取处理提取的真实感参数对所述输入内容的声音数据进行处理而产生。2.根据权利要求1所述的信息处理装置，其中：所述参数提取处理包括振动参数提取处理，所述振动参数提取处理根据内容提取振动参数作为所述真实感参数，所述振动参数控制向用户施加振动的至少一个振动设备；以及所述输出处理包括将振动信号输出到至少一个振动设备，所述振动信号通过使用所述振动参数对所述输入内容的声音数据进行处理来产生。3.根据权利要求2所述的信息处理装置，其中：所述至少一个振动设备是向座位提供振动的多个振动设备；所述参数提取处理包括针对设置在所述座位上的多个振动设备中的每一个提取所述振动参数；以及所述输出处理包括输出所述振动信号，所述振动信号通过使用与所述多个振动设备中的每一个相对应的振动参数对所述输入内容的声音数据进行处理来产生。4.根据权利要求1、2或3所述的信息处理装置，其中：所述参数提取处理包括声音参数提取处理，所述声音参数提取处理提取对所述内容的声音数据进行处理的声音参数；以及所述输出处理包括将振动信号输出到声音输出设备，所述振动信号通过使用所述声音参数对所述内容的声音数据进行处理来产生。5.根据权利要求1至4中任一项所述的信息处理装置，其中：所述控制单元被配置为执行学习处理，所述学习处理学习所述场景与所述真实感参数之间的关系。6.一种信息处理系统，包括：信息处理装置，再现XR内容；显示装置，取决于从所述信息处理装置输出的视频信号来显示视频；声音输出设备，取决于从所述信息处理装置输出的声音信号来产生声音；以及振动设备，取决于从所述信息处理装置输出的振动信号来振动，其中所述信息处理装置包括控制单元，所述控制单元被配置为执行：场景检测处理，从输入XR内容中检测场景；参数提取处理，提取用于声音处理和振动处理的真实感参数，所述真实感参数与由所述场景检测处理检测到的场景相对应；以及输出处理，将声音数据和振动数据分别输出到所述声音输出设备和所述振动设备，所述声音数据和所述振动数据通过使用由所述参数提取处理提取的真实感参数对所述输入XR内容的声音数据进行处理而产生。7.一种信息处理方法，包括
基于与内容的场景相对应的真实感参数，通过对所述内容的声音数据进行处理来产生用于波设备的波信号。8.根据权利要求1至5中任一项所述的信息处理装置，包括：存储单元，存储用于从内容中检测场景的条件表达式，其中：所述控制单元被配置为执行计算处理，所述计算处理从内容计算针对条件表达式的项目...

【专利技术属性】
技术研发人员：盐津真一，三木好州，广见怜，挂江庸平，中条井红，桥本和真，
申请(专利权)人：株式会社电装天，
类型：发明
国别省市：