信息再现装置、信息再现方法、信息记录装置和信息记录方法制造方法及图纸

本发明专利技术提供非常具有娱乐性并且还非常令人激动的内容，以及以这种方式记录并再现声音和图片信息，以给出现场的感觉。在记录期间，将由多个摄像机拍摄的图片信息与关于摄像机中的每一个的位置信息和姿势信息一起记录，并且将来自多个声源的声音信息与关于声源中的每一个的位置信息一起记录。在再现期间，在观看者位置(注视方向)处的图片被再现并且声音图像被定位到观看者位置，从而提供非常具有娱乐性并且还非常令人激动的内容，并且给出具有现场的感觉的声音。

【技术实现步骤摘要】
【国外来华专利技术】
本说明书中公开的技术涉及用于再现记录的声音和记录的图像的信息再现装置和信息再现方法，以及用于记录诸如声音和图像的信息的信息记录装置和信息记录方法。
技术介绍
当再现电影或者实时内容时，能够通过根据图像定位在左侧和右侧的声音，向观看者提供逼真的感受。例如，5.1声道环绕声系统是包括五个扬声器和一个超低音扬声器的立体声再现系统，通过根据ITU-R BS775(国际电信联盟无线电通信部门)的约定设置扬声器并且从对应于相应的声道的扬声器中输出不同的声波，5.1声道环绕声系统可以向听者播放具有逼真的感受的声音。立体声再现系统具有可以获得的声音图像的目标定位的范围窄的问题。与此相反，己知多声道音频系统记录声源在原始声场建立的波前，并且基于记录的波前使用波前合成技术在不同于当前声场的空间中再现波前。例如，已提出波前合成信号转换装置，其根据再现装置计算波前合成再现信号并且再现合成的声场，实际上通过假设的扬声器的数量或者扬声器的间隔的规格来使用再现装置(例如，参见专利文献1)。进一步，己知一种方法，从期望将声音定位到听者的两个耳朵的声源位置，分配头部相关传输函数(HRTF)至声源信号并且定位声音图像仿佛在期望的位置有声源。例如，已提出声再现装置，当从设置在听者周围的两个或更多个扬声器中的多个再现的声音被定位在虚拟位置时，通过计算多声道输入信号的重心并且在将根据重心位置确定的权重系数反射至虚拟声音图像生成处理的同时再现输入信号，而强调虚拟声音图像的定位的效果并且提高声场的听者环绕感。引用列表专利文献专利文献1：JP2013-128314A专利文献2：JP2011-211312A
技术实现思路
本说明书中公开的技术的目的是提供可以再现记录的声音和记录的图像的优良的信息再现装置和信息再现方法。技术问题进一步，本说明书中公开的技术的目的是提供优选地可以记录诸如声音和图像的信息的优良的信息记录装置和信息记录方法。解决问题的方案考虑到上述问题提出本申请，并且根据在权利要求1中所描述的技术设置有信息再现装置，包括：位置信息计算单元，被配置为计算在提供了图像和声音的空间中的观看者的位置；图像处理单元，被配置为基于记录有摄像机的位置信息和姿势信息的图像信息在观看者的位置处处理图像；以及声音处理单元，被配置为基于记录有声源的位置信息的声音信息在观看者的位置处定位声音图像。根据在本申请的权利要求2中所描述的技术，根据权利要求1所述的信息再现装置的位置信息计算单元被配置为基于用于拍摄的摄像机的位置信息和姿势信息计算观看者的位置。根据在本申请的权利要求3中所描述的技术，根据权利要求1所述的信息再现装置的位置信息计算单元被配置为基于观看者的实际运动或者实际位置计算观看者的位置。根据在本申请的权利要求4中描述的技术，根据权利要求1所述的信息再现装置的位置信息计算单元被配置为基于多个摄像机之间的重心位置计算观看者的位置。根据在本申请的权利要求5中所描述的技术，根据权利要求1所述的信息再现装置的位置信息计算单元被配置为基于多个摄像机之间的重心位置计算观看者的位置，其中基于对摇摄(panning)和切换的频率进行加权而得到重心位置。根据在本申请的权利要求6中所描述的技术，根据权利要求1所述的信息再现装置的图像处理单元被配置为基于由在观看者的位置处的摄像机拍摄的摄像机的图像在观看者的位置处生成图像。根据在本申请的权利要求7中所描述的技术，根据权利要求1所述的信息再现装置的图像处理单元被配置为使用由多个摄像机拍摄的图像在观看者的位置处生成视点插入图像。根据在本申请的权利要求8中所描述的技术，根据权利要求7所述的信息再现装置的声音处理单元被配置为在插入视点的位置处定位声音图像。根据在本申请的权利要求9中所描述的技术，根据权利要求7所述的信息再现装置的声音处理单元被配置为基于插入了从观看者收集的语音信息的视点的位置定位声音图像。根据在本申请的权利要求10中所描述的技术，根据权利要求7所述的信息再现装置的图像处理单元被配置为在视点插入图像中对应于观看者的位置处显示观看者的头像或者位置信息。根据在本申请的权利要求11中所描述的技术，根据权利要求1所述的信息再现装置的声音处理单元被配置为，将包含在来自观看者的位置的视点图像中的声源的绝对位置信息转换为相对于观看者的位置的相对位置，以定位在视点图像中的声音图像的声音图像。进一步，根据在本申请的权利要求12中所描述的技术，设置有信息再现方法，包括：位置信息计算步骤，计算在提供了图像和声音的空间中的观看者的位置；图像处理步骤，基于记录有摄像机的位置信息和姿势信息的图像信息在观看者的位置处处理图像；以及声音处理步骤，基于记录有声源的位置信息的声音信息在观看者的位置处定位声音图像。进一步，根据在本申请的权利要求13中所描述的技术，设置有信息记录装置，包括：图像信息记录单元，被配置为记录由摄像机拍摄的图像以及摄像机的位置信息和姿势信息；以及声音信息记录单元，被配置为记录声源的位置信息。根据在本申请的权利要求14中所描述的技术，根据权利要求13所述的信息记录装置的图像信息记录单元被配置为以用于图像的数据包形式记录由摄像机拍摄的图像以及摄像机的位置信息和姿势信息，并且声音信息记录单元被配置为以用于声音的数据包形式记录声源的位置信息。根据在本申请的权利要求15中所描述的技术，根据权利要求13所述的信息记录装置的图像信息记录单元被配置为在用于图像的轨道中记录由摄像机拍摄的图像以及摄像机的位置信息和姿势信息，并且声音信息记录单元被配置为在用于声音的轨道中记录声源的位置信息。根据在本申请的权利要求16中所描述的技术，根据权利要求13所述的信息记录装置的图像信息记录单元被配置为记录从摄像机接收的所拍摄的图像以及从摄像机位置传感器接收的位置信息和姿势信息。根据在本申请的权利要求17中所描述的技术，根据权利要求13所述的信息记录装置的声音信息记录单元被配置为记录从声源检测装置接收的声源的位置信息。根据在本申请的权利要求18中所描述的技术，根据权利要求13所述的信息记录装置的声音信息记录单元被配置为将从声源检测装置接收的声音信息或者随后记录的声音信息与声源的位置信息一起记录。根据本申请的权利要求19中描述的技术，根据权利要求13所述的信息记录装置被配置为与用于图像记录的同步信号(时钟)相同步地记录或者基于频率划分或者频率抽取的定时信号记录摄像机的位置信息和姿势信息以及声源的位置信息。进一步，根据本申请的权利要求20中描述的技术，设置有信息记录方法，包括：接收由摄像机拍摄的图像以及摄像机的位置信息和姿势信息的步骤，记录所接收的由摄像机拍摄的图像以及所接收的摄像机的位置信息和姿势信息的步骤，接收声源的位置信息的步骤，以及被配置为记录接收的声源的位置信息的声音信息记录单元。本专利技术的有益效果根据在本说明书中所描述的技术，能够提供可以记录并且再现声音和图像的信息的优良的信息记录装置和信息记录方法以及信息再现装置和信息再现方法，使得在提供逼真的感受的同时，提供使观看者感兴趣的且防止观看者厌烦的内容。应当注意的是，本说明书中参照实例描述了本专利技术的有益效果，并且本专利技术的有益效果不限于此。此外，在一些情况下，本专利技术也可以表现出除以上给出的有益效果以外的额外本文档来自技高网...

【技术保护点】
一种信息再现装置，包括：位置信息计算单元，被配置为计算在提供了图像和声音的空间中的观看者的位置；图像处理单元，被配置为基于记录有摄像机的位置信息和姿势信息的图像信息在所述观看者的位置处处理图像；以及声音处理单元，被配置为基于记录有声源的位置信息的声音信息在所述观看者的位置处定位声音图像。

【技术特征摘要】
【国外来华专利技术】2014.04.22 JP 2014-0878481.一种信息再现装置，包括：位置信息计算单元，被配置为计算在提供了图像和声音的空间中的观看者的位置；图像处理单元，被配置为基于记录有摄像机的位置信息和姿势信息的图像信息在所述观看者的位置处处理图像；以及声音处理单元，被配置为基于记录有声源的位置信息的声音信息在所述观看者的位置处定位声音图像。2.根据权利要求1所述的信息再现装置，其中，所述位置信息计算单元基于用于拍摄的所述摄像机的所述位置信息和所述姿势信息计算所述观看者的位置。3.根据权利要求1所述的信息再现装置，其中，所述位置信息计算单元基于所述观看者的实际运动或者实际位置计算所述观看者的位置。4.根据权利要求1所述的信息再现装置，其中，所述位置信息计算单元基于多个所述摄像机之间的重心位置计算所述观看者的位置。5.根据权利要求1所述的信息再现装置，其中，所述位置信息计算单元基于多个所述摄像机之间的重心位置计算所述观看者的位置，基于对摇摄和切换的频率进行加权而得到所述重心位置。6.根据权利要求1所述的信息再现装置，其中，所述图像处理单元基于由在所述观看者的位置处的所述摄像机拍摄的所述摄像机的图像在所述观看者的位置处生成图像。7.根据权利要求1所述的信息再现装置，其中，所述图像处理单元使用由多个所述摄像机拍摄的图像在所述观看者的位置处生成视点插入图像。8.根据权利要求7所述的信息再现装置，其中，所述声音处理单元在插入视点的位置处定位所述声音图像。9.根据权利要求7所述的信息再现装置，其中，所述声音处理单元基于插入了从所述观看者收集的语音信息的视点的位置定位所述声音图像。10.根据权利要求7所述的信息再现装置，其中，所述图像处理单元在所述视点插入图像中对应于所述观看者的位置处显示所述观看者的头像或者位置信息。11.根据权利要求1所述的信息再现装置，其中，所述声音处理单元将包含在来自所述观看者的位置的视点图像中的声源的绝对位置信息转换为相对于所述观看者的位置的相对位置，以定位在所述...

【专利技术属性】
技术研发人员：今誉，长谷川雄一，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP