根据本公开的声音处理装置(1)具有获取单元(41)、存储单元(3)和处理单元(42)。获取单元(41)获取关于收听声音内容的用户观看的位置的位置信息。存储单元(3)存储关于该位置处的声音的声音信息(34)。处理单元(42)通过基于声音信息(34)将声音内容的声音特性转换成对应于该位置的声音特性来执行声场再现。于该位置的声音特性来执行声场再现。于该位置的声音特性来执行声场再现。
【技术实现步骤摘要】
【国外来华专利技术】声音处理装置、声音处理方法和声音处理程序
[0001]本公开涉及声音处理装置、声音处理方法和声音处理程序。
技术介绍
[0002]存在声场声音收集生成装置，其利用通过使用波前合成方法从由多个麦克风收集的声场信号生成的驱动信号来驱动扬声器，以便虚拟地再现声音收集位置处的声场(例如，参见专利文献1)。
[0003]引文列表
[0004]专利文献
[0005]专利文献1：日本专利申请公开号2015
‑
171111
技术实现思路
[0006]本专利技术要解决的问题
[0007]然而，在某些情况下，只有声场的再现不能给正在收听声音的收听者足够的真实感。因此，本公开提出了一种能够增强给正在收听声音的收听者的真实感的声音处理装置、声音处理方法和声音处理程序。
[0008]问题的解决方案
[0009]根据本公开的声音处理装置包括获取单元、存储单元和处理单元。获取单元被配置为获取关于收听声音内容的用户观看的位置的位置信息。存储单元被配置为存储关于该位置处的声音的声音信息。处理单元被配置为基于声音信息将声音内容的声音特性转换成根据位置的声音特性，并且被配置为再生声场。
附图说明
[0010][图1]是示出根据本公开的声音处理装置的声音过程的概述的说明图；
[0011][图2]是示出根据本公开的声音处理装置的配置示例的框图；
[0012][图3]是根据本公开的用于创建VR整体球形视频的方法的说明图；
[0013][图4]是示出根据本公开的声音信息的示例的说明图；
[0014][图5]是根据本公开的HRTF测量方法的说明图；
[0015][图6]是根据本公开的HRTF测量方法的说明图；
[0016][图7]是根据本公开的声音处理装置的操作示例的说明图；
[0017][图8]是根据本公开的声音处理装置的操作示例的说明图；
[0018][图9]是根据本公开的声音处理装置的操作示例的说明图；
[0019][图10]是根据本公开的声音处理装置的操作示例的说明图；
[0020][图11]是示出由根据本公开的声音处理装置的控制器执行的处理的示例的流程图；
[0021][图12]是示出由根据本公开的声音处理装置的控制器执行的处理的示例的流程
图；
[0022][图13]是示出由根据本公开的声音处理装置的控制器执行的处理的示例的流程图。
具体实施方式
[0023]在下文中，将参考附图详细描述本公开的实施例。应注意，在以下每个实施例中，相同的部分由相同的附图标记表示，因此将省略重复的描述。
[0024](1.声音过程的概述)
[0025]图1是示出根据本公开的声音处理装置1的声音处理的概述的说明图。声音处理装置1是将诸如电影、现场音乐表演、音乐作品的宣传视频、电视节目、音乐作品等声音内容的声音特性转换成声音记录位置的声音特性的装置，以便在再现声音记录位置的声场的同时再生声场。
[0026]在此处，在某些情况下，声音处理装置1不能仅通过再现声音记录位置的声场来给声音内容的收听者足够的真实感。具体地，在测量声音内容的声音特性的测量位置和声音内容的再生位置相同的情况下，声音处理装置1能够给予收听者好像收听者正停留在该位置的感觉。然而，在其他情况下，真实感减半。
[0027]例如，即使在声音处理装置1向在家观看和收听电影的用户提供电影的声音内容的情况下，其中，电影院的混响特性、回声特性等被再现并转换成声音特性，也难以给用户留下呆在电影院的感觉，因为用户的停留位置是用户的家。
[0028]因此，声音处理装置1利用例如诸如虚拟现实(以下称为VR：虚拟现实)的技术来再现测量了声音内容的声音信息的测量位置，然后再生已经再现测量位置的声音特性的声音内容的声场。
[0029]例如，如图1所示，声音处理装置1预先存储电影的视频内容D1、电影的声音内容D2和电影院的声音信息D3，此外，还存储电影院内的VR整体球形视频D4(步骤S01)。电影院的声音信息D3包括与电影院中的声音特性相关的各种参数。
[0030]然后，例如，当声音处理装置1从用户U携带的诸如智能手机的用户终端11获取电影内容的提供请求时，声音处理装置1向用户U的用户终端11发送并提供电影的视频内容D1和电影的声音内容D2。
[0031]在这种情况下，声音处理装置1基于电影院的声音信息D3将电影的声音内容D2的声音特性转换成电影院的声音特性，并且向用户终端11提供电影院内的声音特性以及VR整体球形视频D4(步骤S02)。
[0032]电影院内的VR整体球形视频D4包括安装在电影院中的屏幕的图像和周围环境的图像，包括电影院的观众座位、墙壁、天花板等。声音处理装置1将指示电影院内的VR整体球形视频D4中的屏幕位置被设置为电影的视频内容D1的显示位置的信息添加到电影的视频内容D1，并且向用户终端11提供电影的视频内容D1。
[0033]因此，声音处理装置1能够在例如用户U佩戴的头戴式显示器12上显示电影院内的VR整体球形视频D4，并且在VR整体球形视频D4的屏幕上显示电影的视频内容D1(步骤S03)。
[0034]同时，声音处理装置1能够再生视频内容D1的声音内容D2的声场，其中，声音特性已经通过例如用户U佩戴的耳机13被转换成电影院中的声音特性(步骤S04)。
[0035]以这种方式，声音处理装置1能够允许用户U收听声音内容D2，同时允许用户U不仅视觉识别投影在屏幕上的电影的视频内容D1，而且视觉识别屏幕的周围环境，例如，电影院的观众座位、墙壁、天花板等。
[0036]因此，声音处理装置1能够给在家观看和收听电影视频内容的用户U以逼真的感觉，例如，就好像用户U正在电影院观看电影一样。在此处，在头戴式显示器12上显示电影院内的VR整体球形视频D4。然而，声音处理装置1可以显示再现电影院内部的三维计算机图形(3DCG)视频，而不是电影院内部的VR整体球形视频D4。应注意，已经参考图1描述的声音处理装置1的操作是一个示例。稍后将参照图7至图10描述声音处理装置1的其他操作示例。
[0037](2.声音处理装置的配置)
[0038]接下来，将参照图2描述声音处理装置1的配置的示例。图2是示出根据本公开的声音处理装置1的配置示例的框图。如图2所示，声音处理装置1包括通信单元2、存储单元3和控制器4。
[0039]通信单元2由例如网络接口卡(NIC)等实现。连接通信单元2，以使得能够通过诸如互联网的通信网络N以有线或无线方式与用户终端11、声音信息创建装置100和创建者终端101进行信息通信。
[0040]声音信息创建装置100是创建声音信息34的装置，这将在后面描述。此外，创建者终端101是由创建者使用的终端设备，该创建者创建将由声音处理装置1提供给用户U的声音内容32。
[0041]存储单元3例如由诸如随机存取存本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种声音处理装置，包括：获取单元，所述获取单元被配置为获取关于收听声音内容的用户观看的位置的位置信息；存储单元，所述存储单元被配置为存储关于所述位置处的声音的声音信息；以及处理单元，所述处理单元被配置为基于所述声音信息将所述声音内容的声音特性转换成根据所述位置的声音特性，并且被配置为再生声场。2.根据权利要求1所述的声音处理装置，其中，所述存储单元存储所述位置的虚拟现实整体球形视频，并且所述处理单元使得所述用户在视觉上识别所述虚拟现实整体球形视频，同时再生所述声音内容的所述声场。3.根据权利要求2所述的声音处理装置，其中，所述存储单元存储包括屏幕和所述屏幕的周围环境的图像的所述虚拟现实整体球形视频，在所述屏幕上在所述位置处显示对应于所述声音内容的视频内容，并且所述处理单元在所述虚拟现实整体球形视频中的所述屏幕上显示所述视频内容。4.根据权利要求2所述的声音处理装置，其中，所述存储单元存储包括四个屏幕的所述虚拟现实整体球形视频，在所述四个屏幕上在所述位置处显示对应于所述声音内容的视频内容，并且所述处理单元在所述虚拟现实整体球形视频的所述四个屏幕中的一个屏幕上显示所述视频内容，并在其他三个屏幕上显示所述位置的周围环境的图像。5.根据权利要求1所述的声音处理装置，其中，所述获取单元获取所述用户已经捕捉的停留位置的图像，并且所述处理单元从所述停留位置的所述图像预测所述停留位置的声音特性，将所述声音内容的所述声音特性转换成已经预测的声音特性，并再生所述声场。6.根据权利要求5所述的声音处理装置，其中，所述处理单元基于要从所述停留位置的所述图像预测的所述停留位置的空间的大小，预测所述停留位置的所述空间的声音特性。7.根据权利要求6所述的声音处理装置，其中，所述处理单元预测所述空间中的混响特性和回声特性。8.根据权利要求6所述的声音处理装置，
其中，所述处理单元根据要从所述停留位置的所述图像预测的所述停留位置的所述空间的大小，改变要排列的所述声音内容的音频输出位置的数量和音频输出特性。9.根据权利要求5所述的声音处理装置，其中，在所述用户从所述停留位置的所述图像中选择包括所述用户的视野的中心的预定区域的情况下，所述处理单元排列所述声音内容的音频输出位置，以包围所述预定区域。10.根据权利要求1所述的声音处理装置，其中，所述获取单元获取从所述用户过去捕捉的图像中选择的图像或者所述用户经由通信网络观看的图像，并且所述处理单元预测出现在所述图像中的位置的声音特性，将所述声音内容的所述...
【专利技术属性】
技术研发人员：中川亨，冲本越，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。