信息处理装置、信息处理方法和图像处理系统制造方法及图纸

本发明专利技术提供了一种显示通过跟随观察者的头部和身体完成的自由视点图像的图像显示设备。基于分别由头部运动追踪设备200和躯干运动追踪设备300获得的头部的姿态信息和用户的躯干的姿态信息，在要显示在显示设备500上的自由视点空间中单独确定用户的视线方向和用户的身体的朝向。本发明专利技术使得能够在真实空间中呈现自然动作，其中当视线与身体的前向方向不匹配时视线沿身体的前向方向在空间中移动。另外，本发明专利技术防止不自然的用户界面，该不自然的用户界面不管身体的朝向如何都显示在视线的方向上直线前进。

【技术实现步骤摘要】
【国外来华专利技术】
本说明书中描述的技术涉及用于处理追踪观察者的移动的图像的信息处理装置、信息处理方法、计算机程序以及图像处理系统。
技术介绍
已知佩带在用户的头部或面部上的图像显示装置(即，头戴式显示器)。头戴式显示器在右眼和左眼两者上设置有图像显示单元并且被配置为能够与听筒一起使用控制视觉和听觉感知。用于在佩带在头部上时完全遮住外部世界的配置在观看期间提高虚拟现实。头戴式显示器能够将不同的视频图像投影到每个眼镜上并能够通过在左眼和右眼上显示具有视差的图像呈现3D图像。这类头戴式显示器在眼睛的视网膜上形成虚拟图象以允许用户对其进行观察。在这点上，虚拟图象形成在比焦距更靠近透镜的物体侧。作为一个实例，已开发了一种头戴式显示器，头戴式显示器通过将广视角的虚拟图像光学系统放置成与瞳孔的前部间隔开25毫米并将具有大约0.7英寸的有效像素范围的尺寸的显示面板进一步放置在广视角光学系统的前方来在用户的瞳孔上形成显示图像的放大虚拟图像(例如，参见专利文献1)。用户能够观察通过使用这类头戴式显示器对广角图像的一部分进行分割获得的图像。作为一个实例，已开发了一种头戴式显示器，头戴式显示器允许通过在头部上安装包括陀螺仪传感器等的头部运动追踪设备并通过使其追踪用户的头部的移动实现360度旋转视图的视频图像的真实体验(参见专利文献2和3)。可以通过在广角图像中移动显示区域以取消陀螺仪传感器检测的头部的移动来实现自由视点观看和视点移动环境。
技术实现思路
技术问题本说明书中描述的技术的目的是提供能够适当地处理追踪观察者的移动的图像的一种改善的信息处理装置、信息处理方法、计算机程序、和图像处理系统。解决的问题已考虑到上述问题做出本申请，并且权利要求1中描述的技术是信息处理装置，包括：接收器，被配置为接收关于观察者的头部的姿势的第一信息和关于观察者的除头部以外身体的姿势的第二信息；以及图像渲染处理单元(imagerenderingprocessingunit)，被配置为基于第一信息和第二信息生成对应于观察者的姿势的显示图像。根据在权利要求2中描述的技术，根据权利要求1所述的信息处理装置的接收器接收至少观察者的躯干的姿势作为第二信息，并且图像渲染处理单元通过基于第一信息在自由视点空间中定向观察者的视线方向并通过基于从第二信息获得的观察者的躯干的姿势在自由视点空间中定向观察者的身体的朝向(视点位置)生成追踪观察者的头部的姿势的自由视点图像。根据在权利要求3中描述的技术，当接收用于指示观察者在自由视点空间中移动的控制信号作为输入时，根据权利要求2所述的信息处理装置的图像渲染处理单元通过将基于从第二信息获得的观察者的躯干的姿势定向的身体的朝向识别为前向方向确定移动之后的点(视点位置)。根据在权利要求4中描述的技术，根据权利要求1所述的信息处理装置的图像渲染处理单元通过基于第一信息在自由视点空间中定向观察者的视线方向并通过布置在基于从第二信息获得的姿势定向的固定位置中生成追踪观察者的头部的姿势的自由视点图像。根据在权利要求5中描述的技术，根据权利要求1所述的信息处理装置的接收器接收至少观察者的躯干的姿势作为第二信息，并且图像渲染处理单元通过基于第一信息在自由视点空间中定向观察者的视线方向，通过基于从第二信息获得的观察者的躯干的姿势在自由视点空间中定向观察者的身体的朝向(视点位置)，并通过将预定图像控件布置在基于从观察者的躯干的姿势定向的固定位置中生成追踪观察者的头部的姿势的自由视点图像。根据在权利要求6中描述的技术，根据权利要求1至5中任一项所述的信息处理装置，进一步包括被配置为获得校准参数的校准处理单元。图像渲染处理单元使用通过校准参数校正的姿势信息执行图像生成。根据在权利要求7中描述的技术，根据权利要求8所述的信息处理装置的校准处理单元，基于从第一信息获得的头部姿势信息和从第二信息获得的第二姿势信息计算用于校正第二姿势信息的校准参数并且使用校准参数校正第二姿势信息。根据在权利要求8中描述的技术，根据权利要求7所述的信息处理装置的校准处理单元通过使用头部姿势信息和第二姿势信息计算用于将第二姿势信息与头部姿势信息匹配的姿势转换参数作为校准参数。根据在权利要求9中描述的技术，由四元数(quaternion)表示姿势信息。根据权利要求7所述的信息处理装置的校准处理单元通过将头部姿势信息从右边乘以第二姿势信息的四元数的倒数计算用于校正第二姿势信息的校准四元数，并且通过将第二姿势信息的四元数从左边乘以校准四元数执行校正。根据在权利要求10中描述的技术，根据权利要求6所述的信息处理装置的校准处理单元基于从第一信息获得的头部姿势的坐标系和从第二信息获得的姿势的坐标系的某个时段的旋转位移以及人体的特性估计用于校正第二姿势信息的校准参数。根据在权利要求11中描述的技术，根据权利要求6所述的信息处理装置的校准处理单元将基于从第一信息获得的头部姿势信息和从第二信息获得的第二姿势信息计算的某个时段的校准参数的时间序列平均值设置为最后校准参数。根据在权利要求12中描述的技术，由四元数表示姿势信息。信息处理装置的校准处理单元通过在基于从重新接收的第一信息和第二信息中的每一个获得的姿势信息的四元数重新计算的校准四元数与由时间序列平均值确定的最后校准四元数之间执行球面线性内插更新校准四元数。根据在权利要求13中描述的技术，基于第二信息计算观察者的躯干的姿势，并且当重力方向被设为旋转轴线时，根据权利要求11所述的信息处理装置的校准处理单元确定分别从重新接收的第一信息和第二信息获得的头部和躯干的姿势信息的旋转方向的角度差的平均值，并计算重力方向上的校准参数和平均值。根据在权利要求14中描述的技术，根据权利要求1所述的信息处理装置的图像渲染处理单元基于从第一信息获得的头部姿势与从第二信息获得的躯干姿势之间的差异处理显示单元上的显示图像。根据在权利要求15中描述的技术，在根据权利要求2和3中任一项所述的信息处理装置中，图像渲染处理单元通过在生物安全支持模式(biosafetysupportmode)下以自由视点空间中的头部姿势与躯干姿势之间的差异减少的方式校正世界坐标系生成自由视点图像。根据在权利要求16中描述的技术，根据权利要求2和3中任一项所述的信息处理装置的图像渲染处理单元通过在设置生物安全支持模式时的时间点在自由视点空间中固定头部姿势并通过在生物安全支持模式下根据由头部姿势检测单元检测的头部姿势在自由视点空间中改变躯干姿势生成自由视点图像。根据在权利要求17中描述的技术，在根据权利要求15和16中任一项所述的信息处理装置中，当从第一信息获得的头部姿势与从第二信息获得的躯干姿势之间的差异超过第一阈值的状态持续某个时间时设置生物安全支持模式，并且当差异小于或等于第二阈值时释放生物安全支持模式，第二阈值小于第一阈值。在权利要求18中描述的技术是一种信息处理方法，包括：接收步骤，接收关于观察者的头部的姿势的第一信息和关于观察者的除身体的头部以外的姿势的第二信息；以及图像渲染处理步骤，基于第一信息和第二信息生成对应于观察者的姿势的显示图像。在权利要求19中描述的技术是一种计算机程序，其以计算机可读格式编写，用于使计算机用作：头部姿势操作单元，被配置为基于通过在头部姿势检测单元中的检测获本文档来自技高网...

【技术保护点】
一种信息处理装置，包括：接收器，被配置为接收关于观察者的头部的姿势的第一信息和关于所述观察者的除头部以外的身体的姿势的第二信息；以及图像渲染处理单元，被配置为基于所述第一信息和所述第二信息生成对应于所述观察者的姿势的显示图像。

【技术特征摘要】
【国外来华专利技术】2014.06.30 JP 2014-135216;2014.08.27 JP 2014-172231.一种信息处理装置，包括：接收器，被配置为接收关于观察者的头部的姿势的第一信息和关于所述观察者的除头部以外的身体的姿势的第二信息；以及图像渲染处理单元，被配置为基于所述第一信息和所述第二信息生成对应于所述观察者的姿势的显示图像。2.根据权利要求1所述的信息处理装置，其中，所述接收器接收至少所述观察者的躯干的姿势作为所述第二信息，并且所述图像渲染处理单元通过基于所述第一信息在自由视点空间中定向所述观察者的视线方向并通过基于从所述第二信息获得的所述观察者的躯干的姿势在所述自由视点空间中定向所述观察者的身体的朝向(视点位置)，来生成追踪所述观察者的头部的姿势的自由视点图像。3.根据权利要求2所述的信息处理装置，其中，当接收到用于指示所述观察者在所述自由视点空间中移动的控制信号作为输入时，所述图像渲染处理单元通过将基于从所述第二信息获得的所述观察者的躯干的姿势定向的身体的朝向识别为前向方向来确定移动之后的点(视点位置)。4.根据权利要求1所述的信息处理装置，其中，所述图像渲染处理单元通过基于所述第一信息在自由视点空间中定向所述观察者的视线方向并通过布置在基于从所述第二信息获得的姿势定向的固定位置中，来生成追踪所述观察者的头部的姿势的自由视点图像。5.根据权利要求1所述的信息处理装置，其中，所述接收器接收至少所述观察者的躯干的姿势作为所述第二信息，并且所述图像渲染处理单元通过基于所述第一信息在自由视点空间中定向所述观察者的视线方向、通过基于从所述第二信息获得的所述观察者的躯干的姿势在所述自由视点空间中定向所述观察者的身体的朝向(视点位置)、并通过将预定图像控件布置在基于所述观察者的躯干的姿势定向的固定位置中，来生成追踪所述观察者的头部的姿势的自由视点图像。6.根据权利要求1至5中任一项所述的信息处理装置，进一步包括：校准处理单元，被配置为获得校准参数，其中，所述图像渲染处理单元使用通过所述校准参数校正的姿势信息来执行图像生成。7.根据权利要求6所述的信息处理装置，其中，所述校准处理单元基于从所述第一信息获得的头部姿势信息和从所述第二信息获得的第二姿势信息计算用于校正所述第二姿势信息的校准参数并且使用所述校准参数校正所述第二姿势信息。8.根据权利要求7所述的信息处理装置，其中，所述校准处理单元通过使用所述头部姿势信息和所述第二姿势信息计算用于将所述第二姿势信息与所述头部姿势信息匹配的姿势转换参数作为所述校准参数。9.根据权利要求7所述的信息处理装置，其中，由四元数表示所述姿势信息，所述校准处理单元通过将所述头部姿势信息从右侧乘以所述第二姿势信息的四元数的倒数来计算用于校正所述第二姿势信息的校准四元数，并且通过将所述第二姿势信息的四元数从左侧乘以所述校准四元数来执行校正。10.根据权利要求6所述的信息处理装置，其中，所述校准处理单元基于从所述第一信息获得的头部姿势的坐标系和从所述第二信息获得的姿势的坐标系的一定时段的旋转位移以及人体的特性来估计用于校正第二姿势信息的校准参数。11.根据权利要...

【专利技术属性】
技术研发人员：辰田宽和，河本献太，小山裕一郎，今孝安，长谷川雄一，志村大，山本祐辉，田中英一，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP