信息处理装置、信息处理系统、信息处理方法和程序制造方法及图纸

本发明专利技术例如令人满意地进行与声音一致的视觉表现。一种信息处理装置具有视觉处理单元，所述视觉处理单元被配置为在再现音频时，获得关于所述音频的声音的信息，并且使用获得的关于所述声音的信息来生成用于使关于所述声音的信息可视化的信息。声音的信息可视化的信息。声音的信息可视化的信息。

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置、信息处理系统、信息处理方法和程序


[0001]本公开涉及信息处理装置、信息处理系统、信息处理方法和程序。

技术介绍

[0002]近年来，人们对改善声音的体感越来越感兴趣。例如，通过在3D音频中再现三维声场可以提高沉浸感。下面说明的PTL 1～PTL 3公开了用于将声音与视频相结合的此类技术。
[0003][引文列表][0004][专利文献][0005][PTL 1]专利No.2020
‑
504384的PCT日文译文
[0006][PTL 2]日本专利公开No.2018
‑
110366
[0007][PTL 3]专利No.2018
‑
530952的PCT日文译文

技术实现思路

[0008][技术问题][0009]顺便提及，人的听觉是有限的，难以准确地识别声音。例如，即使在3D空间中布置声音，人类听觉也难以完全理解声音是在哪里产生的。
[0010]本公开的一个目的是提出一种能够令人满意地进行与声音一致的视觉表现的信息处理装置、信息处理系统、信息处理方法和程序。
[0011][问题的解决方案][0012]例如，本公开是一种信息处理装置，所述信息处理装置包括视觉处理单元，所述视觉处理单元被配置为在再现音频时，获得关于所述音频的声音的信息，并且使用获得的关于所述声音的信息生成用于使关于所述声音的信息可视化的信息。
[0013]例如，本公开是一种信息处理系统，所述信息处理系统包括配置为进行再现音频的处理的音频再现处理单元和配置为进行生成视觉数据的处理的视觉处理单元。所述音频再现处理单元在再现所述音频时，将关于声音的信息发送到所述视觉处理单元。所述视觉处理单元从所述音频再现处理单元接收关于所述声音的信息，并使用接收的关于所述声音的信息生成用于使关于所述声音的信息可视化的视觉数据。
[0014]例如，本公开是一种信息处理方法，所述方法包括在再现音频时，获得关于所述音频的声音的信息，并且使用获得的关于所述声音的信息生成用于使关于所述声音的信息可视化的信息。
[0015]例如，本公开是一种程序，所述程序用于使计算机执行处理，所述处理用于在再现音频时，获得关于所述音频的声音的信息，并且使用获得的关于所述声音的信息生成用于使关于所述声音的信息可视化的信息。
附图说明
[0016]图1是图解说明按照第一实施例的信息处理系统的构成例子的示图。
[0017]图2是图解说明3D音频再现软件侧的信息处理装置的具体构成的例子的示图。
[0018]图3是图解说明视频软件侧的信息处理装置的具体构成的例子的示图。
[0019]图4是图解说明3D音频再现软件侧的信息处理装置中的准备处理的流程的例子的流程图。
[0020]图5是图解说明3D音频再现软件侧的信息处理装置中的再现处理的流程的例子的流程图。
[0021]图6是图解说明视频软件侧的信息处理装置中的准备处理的流程的例子的流程图。
[0022]图7是图解说明视频软件侧的信息处理装置中的再现处理的流程的例子的流程图。
[0023]图8是图解说明显示装置在预定定时对视频的整体显示的例子的示图。
[0024]图9是图解说明显示装置在预定定时对视频的部分显示的例子的示图。
[0025]图10是图解说明显示与声音信号电平对应的视频的例子的示图。
[0026]图11是图解说明显示与声音信号电平对应的视频的例子的示图。
[0027]图12是图解说明显示与声音类型对应的视频的例子的示图。
[0028]图13是图解说明显示与声音类型对应的视频的例子的示图。
[0029]图14是图解说明按照第二实施例的信息处理系统的构成例子的示图。
[0030]图15是图解说明3D音频生成软件侧的信息处理装置的具体构成的例子的示图。
[0031]图16是图解说明按照第三实施例的信息处理系统的构成例子的示图。
[0032]图17图解说明软件项目彼此结合操作的形式的例子。
[0033]图18是图解说明按照第三实施例的信息处理系统中的处理流程的例子的序列图。
[0034]图19是图解说明按照第四实施例的信息处理系统的构成例子的示图。
[0035]图20图解说明软件项目彼此结合操作的形式的例子。
[0036]图21是图解说明按照第四实施例的信息处理系统中的处理流程的例子的序列图。
[0037]图22描绘分别用于说明通过与传感器的协作而产生的效果的例子的示图。
[0038]图23是图解说明计算机的硬件构成的例子的示图。
[0039]图24图解说明变形例中的显示装置的第一显示例子。
[0040]图25图解说明变形例中的显示装置的第二显示例子。
[0041]图26是用于说明通过软件对声音进行着色的示图。
[0042]图27图解说明变形例中的显示装置的第三显示例子。
具体实施方式
[0043]参考附图，下面给出关于本公开的实施例等的说明。注意，将按照以下顺序进行说明。
[0044]<1.背景>
[0045]<2.第一实施例>
[0046]<3.第二实施例>
[0047]<4.第三实施例>
[0048]<5.第四实施例>
[0049]<6.计算机硬件构成例子>
[0050]<7.变形例>
[0051]下面说明的实施例等是本公开的合适的具体例子。本公开中的内容不限于这些实施例等。注意，在以下的说明中，向具有实质相同的功能构成的项目附加相同的附图标记，并且适当地省略重复的说明。
[0052]<1.背景>
[0053]首先，给出关于本公开的背景的说明。近年来，诸如Dolby Atomos(注册商标)或360Reality Audio(注册商标)之类能够创建具有超强沉浸感的声场的3D音频(三维声音)引起了人们的关注。然而，即使在3D空间中布置声音，人类的听觉也难以准确地识别声音是在哪里产生的，这是一个技术问题。存在提供有3D示图以便在视觉上补充声音位置的3D音频制作工具，但这仅仅是制作工具所必需的最低限度的功能，并不能提高听觉体验。
[0054]另外，例如，在3D音频编辑处理或现场表演中，存在声音的位置或声音本身在再现期间被改变的情况。如在上面的
技术介绍
中记载的例如PTL 1～PTL 3中那样，存在用于使声音与视频一致的技术。然而，存在仅仅通过使声音与视频一致，在声音已经被改变的情况下无法使视频跟随声音的技术问题。例如，当使用于3D音频的声音在现场表演中自由移动时，通过简单地同时再现视频和声音，难以使声音的位置与本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种信息处理装置，包括：视觉处理单元，所述视觉处理单元被配置为在再现音频时，获得关于所述音频的声音的信息，并且使用获得的关于所述声音的信息生成用于使关于所述声音的信息可视化的信息。2.按照权利要求1所述的信息处理装置，其中所述视觉处理单元在再现所述音频时，实时地获得关于所述声音的信息。3.按照权利要求1所述的信息处理装置，其中所述视觉处理单元使用无连接网络通信来接收并获得关于所述声音的信息。4.按照权利要求1所述的信息处理装置，其中所述音频是3D音频。5.按照权利要求4所述的信息处理装置，其中所述3D音频是基于对象的3D音频，并且在基于对象的3D音频的再现中使用的声学元数据被用作关于所述声音的信息。6.按照权利要求1所述的信息处理装置，其中所述视觉处理单元获得表示所述声音的位置的信息作为关于所述声音的信息。7.按照权利要求1所述的信息处理装置，其中所述视觉处理单元获得表示所述声音的信号电平的信息作为关于所述声音的信息。8.按照权利要求1所述的信息处理装置，其中所述视觉处理单元获得表示所述声音的类型的信息作为关于所述声音的信息。9.按照权利要求1所述的信息处理装置，包括：音频再现处理单元，所述音频再现处理单元被配置为进行用于音频的再现的处理，其中所述音频再现处理单元在再现所述音频时，将关于所述声音的信息提供给所述视觉处理单元。10.按照权利要求9所述的信息处理装置，其中所述音频再现处理单元获得表示用户的运动的信息，基于所获得的表示用户的运...

【专利技术属性】
技术研发人员：满生一隆，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：