一种数据处理装置，包括：接收电路，用于接收指示头戴式显示器(HMD)的追踪的位置和朝向中的至少一个的追踪数据；图像处理电路，用于根据所述追踪数据生成用于显示的图像帧序列；检测电路，用于检测第一图像帧中的图像特征以及检测第二图像帧中的对应图像特征；以及相关电路，用于：计算所述第一图像帧中的图像特征和所述第二图像帧中的对应图像特征之间的差异；根据所述第一图像帧中的图像特征和所述第二图像帧中的对应图像特征之间的差异生成指示所述第一图像帧的视点和所述第二图像帧的视点之间的差异的差异数据；以及根据所述差异数据和与所述第一图像帧和所述第二图像帧相关联的所述追踪数据之间的差异生成输出数据。关联的所述追踪数据之间的差异生成输出数据。关联的所述追踪数据之间的差异生成输出数据。
【技术实现步骤摘要】
用于虚拟现实的装置和方法
[0001]本公开涉及用于虚拟现实的装置和方法。特别地，本公开涉及用于评估追踪数据以及使用这种追踪数据生成用于显示的图像帧的数据处理装置和方法。
技术介绍
[0002]本文中提供的“背景”描述是为了总体地呈现本公开的上下文。在本背景部分以及在申请时不能反之作为现有技术的说明书的方面中描述的范围内，都不显式地或隐含地承认目前称为的专利技术人的工作为相对于本专利技术的现有技术。
[0003]头戴式显示器(HMD)是用于在虚拟现实系统使用的头戴式装置的一个示例，在虚拟现实系统中，HMD佩戴者观看虚拟环境。在HMD中，提供了图像或视频显示设备，该显示设备可以戴在头上或作为头盔的一部分。一只眼睛或两只眼睛设置了小型电子显示设备。
[0004]尽管HMD和虚拟现实的原始开发可能是由这些设备的军事和专业应用驱动的，但是HMD在例如计算机游戏或家庭计算应用中由休闲用户的使用正变得越来越流行。
[0005]将要讨论的技术适用于单个三维图像或包括连续三维图像的视频信号。因此，以下的讨论中对“图像”的引述应被视为包含相同的技术在视频信号方面的使用。
[0006]前述段落是以总体介绍的方式提供的，并不旨在限制以下权利要求的范围。参照以下结合附图的详细描述，将最好地理解所描述的实施例和进一步的优点。
技术实现思路
[0007]将理解的是，前述的总体描述和以下的详细描述都是本专利技术的示范性的，但非限制性的。
[0008]本专利技术的各个方面和特征在所附的权利要求书中和所附描述的文本内定义。
附图说明
[0009]将参考附图中所例示的本技术的实施例仅通过举例的方式进一步描述本技术，在附图中：
[0010]图1示意性地例示了由用户佩戴的HMD；
[0011]图2是HMD的示意性平面视图；
[0012]图3示意性地例示了通过HMD的虚拟图像的形成；
[0013]图4示意性地例示了用于在HMD中使用的另一类型的显示器；
[0014]图5示意性地例示了立体图像对；
[0015]图6示意性地例示了HMD的用户的视野的改变；
[0016]图7a和图7b示意性地例示了具有运动感测的HMD；
[0017]图8示意性地例示了基于光流检测的位置传感器；
[0018]图9示意性地例示了响应于HMD位置或运动检测的图像的生成；
[0019]图10示意性地例示了相机对图像的捕获；
[0020]图11示意性地例示了HMD图像显示器的延迟问题；
[0021]图12示意性地例示了数据处理装置；
[0022]图13a和图13b示意性地例示了时序图；
[0023]图14示意性地例示了显示立体图像的HMD显示单元；
[0024]图15示意性地例示了另一数据处理装置；以及
[0025]图16是例示数据处理方法的示意性流程图。
具体实施方式
[0026]在以下描述中，呈现了一些具体的细节，以提供对本专利技术的实施例的全面理解。然而，对于本领域技术人员将显而易见的是，不需要采用这些具体细节来实践本专利技术。反之，为了清楚起见，酌情省略本领域技术人员已知的具体细节。
[0027]现在参考附图，其中类似的附图标记在几个视图中始终标示相同或对应部分，在图1中，用户10在用户的头部30上佩戴了HMD 20。HMD包括框架40以及显示部分50，框架40在本示例中由后带和顶带形成。
[0028]图1的HMD完全遮挡用户对周围环境的视野。用户所能看到的只是在HMD内显示的图像对。
[0029]HMD具有可容纳在用户的左耳和右耳70内的相关联的耳机听筒60。听筒60重放由外部源提供的音频信号，该外部源可以与向用户的眼睛提供用于显示的视频信号的视频信号源相同。
[0030]在运行中，视频信号被提供用于由HMD显示。视频信号可以由诸如视频游戏机或数据处理设备(诸如个人计算机)的外部视频信号源80提供，在这种情况下，信号可以通过有线或无线连接发射到HMD。合适的无线连接的示例包括连接。用于听筒60的音频信号可以通过相同的连接来传输。类似地，从HMD传递到视频(音频)信号源的任何控制信号可以通过相同的连接来传输。
[0031]因此，图1的布置提供了头戴式显示系统的示例，该头戴式显示系统包括安装在观察者头上的框架，框架定义了在使用中位于观察者的相应眼睛前面的一个或两个眼睛显示位置，以及相对于每个眼睛显示位置安装的显示元件，显示元件向观察者的那只眼睛提供来自视频信号源的视频信号的视频显示的虚拟图像。
[0032]图1仅示出了HMD的一个示例。其他形式是可能的：例如，HMD可以使用与传统眼镜相关联的框架更相似的框架，即从显示部分向后延伸到用户的耳朵的背部上方、可能在耳朵后向下卷曲的基本水平的腿。在其他示例中，用户对外部环境的视野事实上可能没有完全被遮挡；显示的图像可以被布置成(从用户的视点来看)被叠加在外部环境上。将在下面参照图4描述这样的布置的示例。
[0033]在图1的示例中，为用户的眼睛中的每个提供单独的相应显示。如图2提供了这如何实现的示意性平面视图，图2例示了用户眼睛的位置100和用户鼻子的相对位置110。示意图形式的显示部分50包括用于掩盖用户眼睛中的环境光的外部护罩120，以及防止一只眼睛看到用于另一只眼睛的显示的内部护罩130。用户的面部、外部护罩120和内部护罩130的组合形成两个隔室140，每只眼睛一个。在每个隔室中，设置了显示元件150以及一个或多个光学元件160。将参照图3来描述显示元件和光学元件协同向用户提供显示的方式。
[0034]参照图3，显示元件150生成显示的图像，该图像(在本示例中)由光学元件160(示意性地示出为凸透镜，但是可以包括复合透镜或其他元件)折射，以生成在用户看来比显示元件150生成的真实图像更大并且远地多的虚拟图像170。作为示例，虚拟图像可以具有超过1米的表观图像尺寸(图像对角线)，并且可以被放置在离用户的眼睛(或离HMD的框架)超过1米的距离处。一般来说，根据HMD的用途，期望将虚拟图像放置在离用户相当远的距离用于观看电影等，那么期望用户的眼睛在这样的观看期间是放松的，这要求(与虚拟图像)至少数米的距离。在图3中，实线(诸如线180)被用来表示真实的光学射线，而断线(诸如线190)被用来表示虚拟射线。
[0035]图4中示出了替代的布置。在期望用户对外部环境的视野没有完全被遮挡的情况下可以使用此布置。然而，它也适用于用户的外部视野完全被遮挡的HMD。在图4的布置中，显示元件150和光学元件200协同提供被投射到镜子210上的图像，镜子210使图像向用户的眼睛位置220偏转。用户感知虚拟图像位于用户前面且离用户合适的距离的位置230。
[0036]在用户对外部环境的视野完全被遮挡的HMD的情况下，镜子210可以是基本上100％反射的镜子。然后，图4的布置具有的优点是，显示元件和光学元件可以更靠近用户的头部本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理装置，包括：接收电路，用于接收指示头戴式显示器(HMD)的追踪的位置和朝向中的至少一个的追踪数据；图像处理电路，用于根据所述追踪数据生成用于显示的图像帧序列；检测电路，用于检测第一图像帧中的图像特征以及检测第二图像帧中的对应图像特征；以及相关电路，用于：计算所述第一图像帧中的所述图像特征和所述第二图像帧中的所述对应图像特征之间的差异；根据所述第一图像帧中的所述图像特征和所述第二图像帧中的所述对应图像特征之间的差异生成指示所述第一图像帧的视点和所述第二图像帧的视点之间的差异的差异数据；以及根据所述差异数据和与所述第一图像帧和所述第二图像帧相关联的所述追踪数据之间的差异生成输出数据。2.根据权利要求1所述的数据处理装置，其中所述检测电路被配置为检测所述第一图像帧中的所述图像特征的位置和朝向以及检测所述第二图像帧中的所述对应图像特征的位置和朝向。3.根据任一前述权利要求所述的数据处理装置，其中所述相关电路被配置为根据所述图像特征和所述对应图像特征之间的差异计算所述第一图像帧的视点和所述第二图像帧的视点之间的变换。4.根据任一前述权利要求所述的数据处理装置，其中所述图像帧序列包括立体图像序列，每个立体图像包括左图像和右图像。5.根据权利要求4所述的数据处理装置，其中所述相关电路被配置为分别计算所述第一图像帧的左图像或右图像中的图像特征和所述第二图像帧的左图像或右图像中的对应图像特征之间的差异。6.根据权利要求4或权利要求5所述的数据处理装置，其中所述检测电路被配置为通过检测所述第一图像帧的左图像和右图像二者中的图像特征来检测所述第一图像帧中的图像特征。7.根据权利要求6所述的数据处理装置，其中所述相关电路被配置为根据所述第一图像帧的左图像和右图像中的图像特征来计算所述图像特征的第一视线聚合距离。8.根据权利要求7所述的数据处理装置，其中所述检测电路被配置为通过检测所述第二图像帧的左图像和右图像二者中的图像特征来检测所述第二图像帧中...
【专利技术属性】
技术研发人员：SW拉格霍巴达加尔，J卢比奥，S塔特索尔，
申请(专利权)人：索尼互动娱乐欧洲有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。