信息处理设备，信息处理系统以及信息处理方法技术方案

此信息处理设备200的拍摄图像获取单元250获取由头戴式显示器100的相机拍摄的图像。区域确定单元254预测显示图像内要被用户注视的区域。图像分析单元258的第一清晰度处理部分270以比第二清晰度处理部分272更高的清晰度对拍摄图像对应于注视区域的区域执行图像分析。信息处理单元260通过使用分析结果执行信息处理。图像生成单元262的第一清晰度处理部分274以比第二清晰度处理部分276更高的清晰度生成注视区域的显示图像。输出单元264将显示图像上的数据发送给头戴式显示器100。

Information Processing Equipment, Information Processing System and Information Processing Method

The captured image acquisition unit 250 of the information processing device 200 obtains the image captured by the camera of the head-mounted display 100. The area determination unit 254 predicts the area to be watched by the user in the display image. The first sharpness processing section 270 of the image analysis unit 258 performs image analysis on the area of the photographed image corresponding to the gaze area with a sharpness higher than that of the second sharpness processing section 272. The information processing unit 260 performs information processing by using the analysis results. The first sharpness processing section 274 of the image generation unit 262 generates a display image of the gaze area with higher sharpness than the second sharpness processing section 276. The output unit 264 transmits the data on the display image to the head-mounted display 100.

【技术实现步骤摘要】
【国外来华专利技术】信息处理设备，信息处理系统以及信息处理方法
本专利技术涉及信息处理设备和信息处理系统，其执行信息处理、拍摄图像的分析以及显示图像的生成，并且还涉及要被该设备和系统实施的信息处理方法。
技术介绍
已经开发了一种新的系统，其能够在头戴式显示器上显示全景图像，当穿戴它的用户转动他或她的头部时，全景图像沿着视线变化。头戴式显示器帮助用户使他自己或她自己专注于图像中，并且使应用(诸如游戏)更容易地运行。还开发了一种穿行系统，其允许穿戴头戴式显示器的用户在所显示的虚拟空间中四处走动，就如他或她身体上移动一样。
技术实现思路
[技术问题]上述技术需要以这样的方式工作，即显示图像的视场不断地对应于用户头部和视线的运动，使得用户强烈地感觉到就像他或她在那里，并且用户使他自己或她自己深度专注。头戴式显示器迫切需要时效性，并且这对于任何被如此设计以接收拍摄图像作为输入数据且将它们立即转换成显示图像的系统是常见的。在需要实现高质量世界和有吸引力的图像的情况下，这种要求是不满足的，因为为此目的的任何尝试都以从数据输入到图像显示的复杂处理的必要性和待处理的数据显著地增加而结束。结果是显示图像所需的时间上的延迟，这使得显示图像滞后于实际移动，从而给用户带来不适感。因此，在高清晰度图像处理和显示的时效性之间存在取舍。鉴于上述完成了本专利技术。本专利技术的一个目的是提供一种技术，使得高清晰度图像处理和图像显示的时效性相互兼容。[解决方案]上述问题由下述本专利技术实施例中公开的信息处理设备来解决。信息处理设备包括：拍摄图像获取单元，其从相机获取拍摄图像的数据；图像分析单元，其分析拍摄图像；以及显示图像生成单元，其基于分析的结果生成显示图像，并且将显示图像输出到显示设备，其中图像分析单元和显示图像生成单元中的至少一个使得处理精细度取决于图像平面中的区域而变化。本专利技术的另一个实施例涉及信息处理系统。该信息处理系统包括：头戴式显示器，其配备了相机；以及信息处理设备，其从由相机拍摄的图像生成要被显示在在头戴式显示器中的图像，其中信息处理设备包括：拍摄图像获取单元，其从相机获取拍摄图像的数据；图像分析单元，其分析拍摄的图像；以及显示图像生成单元，其基于分析结果生成显示图像，并且将显示图像输出到头戴式显示器，并且图像分析单元和显示图像生成单元中的至少一个使得处理精细度取决于图像平面中的区域而变化。本专利技术的又一个实施例涉及信息处理方法。由信息处理设备执行的信息处理方法包括：从相机获取拍摄图像的数据的步骤；分析拍摄图像的步骤；基于分析结果生成显示图像的步骤；以及将显示图像的数据输出到显示设备的步骤，分析步骤和生成步骤中的至少一个使得处理精细度取决于图像平面中的区域而变化。注意，构成元素的任意组合，以及通过在方法、设备、系统、计算机程序等之间转换本专利技术的表达而获得的也作为本专利技术的模式有效。[专利技术的有益效果]根据本专利技术，可以使高清晰度图像处理和图像显示的时效性相互兼容。附图说明图1是根据本专利技术的实施例的头戴式显示器的外部视图。图2是描绘根据本专利技术的实施例的头戴式显示器实现的功能的示意图。图3是描绘根据本专利技术的实施例的信息处理系统的结构的示意图。图4是描绘根据本专利技术的实施例的信息处理设备的内部电路结构的示意图。图5是解释真实空间和根据本专利技术的实施例的显示图像之间的关系的示意图。图6是解释根据本专利技术的实施例在图像平面中，处理模式如何从一个区域到另一区域变化的示意图。图7是描绘根据本专利技术的实施例的信息处理设备的功能块的框图。图8是来解释根据本专利技术的实施例使图像分析单元执行图像分析，其精细度变化的处理的例子的示意图。图9是示出根据本专利技术的实施例使图像分析单元执行图像分析，其精细度变化的另一个例子的示意图。图10是根据实施例的信息处理设备根据其从拍摄图像生成显示图像的流程图。图11是描绘根据修改的实施例配备了相机来拍摄两种图像的头戴式显示器的外观的例子的视图。具体实施方式图1描绘了根据本实施例的头戴式显示器的外观的例子。在这个例子中，头戴式显示器100包括输出单元102和安装单元104。安装单元104包括穿戴带106，当用户穿戴该单元时，其绕在用户头部来固定该单元。穿戴带106由特殊材料制成、或者具有根据用户头部的大小用于长度调节的特殊结构。该材料可以是弹性材料，诸如橡胶。所需结构可以通过使用带扣或齿轮来实现。输出单元102具有壳体108，其如此形成以当用户将头戴式显示器100穿戴在他或她的头部时覆盖用户的左眼和右眼。其内部是面对穿戴头戴式显示器的用户的眼睛的显示面板。该显示面板是液晶显示面板或有机EL(电致发光)面板。在壳体108中具有一对透镜，当头戴式显示器100被穿戴时，其存在于显示面板和用户的眼睛之间，使得其扩展用户的视角。另外，头戴式显示器100可以可选地在穿戴它的用户耳朵的对应位置具有扬声器或耳机。头戴式显示器100在输出单元102的正面上提供相机140。相机140具有成像设备，诸如CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体)，使得它以指定的帧速率拍摄真实空间中对应于穿戴头戴式显示器100的用户的面部方向的视场。头戴式显示器100可以在其正面提供一个或两个相机140。两个相机140可以在横向上相隔一定距离被布置，使得它们作为立体相机。此外，只要能够拍摄用户的前视图，相机140不被特别地限制在其位置上。由相机140拍摄的图像可以被用作头戴式显示器100中显示图像的至少一部分，也可以被用作输入数据用于生成虚拟世界所需的图像分析。将拍摄图像用作显示图像的实例的结果是，用户感觉他或她仿佛直接看到他或她眼前的真实空间。显示图像可以通过在拍摄的图像上制作对象的图片来产生，该对象在视场内保持在的真实体上或与真实体反应，诸如桌子。用这种方式，可以实现AR(增强现实)。拍摄图像可以用于识别穿戴头戴式显示器100的用户头部的位置和姿势，使得响应于它们改变视场以形成虚拟世界的图像。以这种方式，也可以实现VR(虚拟现实)。前述目标是通过使用称之为v-SLAM(视觉同步定位和地图构建)的公知技术来实现的，该技术允许人从拍摄图像估计相机的位置和姿势。用户的头部倾斜或转动多少可以通过安装在头戴式显示器100的内部或外部的运动传感器来测量。或者，由运动传感器测量的值可以被用来补充拍摄图像的分析结果。图2是描绘由头戴式显示器100实现的功能的示意图。控制单元10是处理诸如图像信号和传感器信号的信号、命令和数据并且输出处理结果的主处理器。相机140向控制单元10提供拍摄图像的数据。显示器30是液晶显示器等，其接收来自控制单元10的图像信号并显示它们。通信控制单元40通过网络适配器42或天线44、借助有线或无线通信发送从控制单元10输入的数据。通信控制单元40还从外部接收数据，并且通过网络适配器42或天线44、借助有线或无线通信将它们发送到控制单元10。存储单元50临时存储由控制单元10处理的数据、参数和操作信号。运动传感器64检测头戴式显示器100的转动角和倾斜角的信息。运动传感器64包括适当地组合在一起的陀螺传感器、加速度传感器、角加速度传感器等。外部输入/输出端接口70是用于连接到诸如USB(通用串行总线)控制器的外围设备的接口。外部存储器72以闪存等为例。控制单元10将图像和音本文档来自技高网...

【技术保护点】
1.一种信息处理设备，包括：拍摄图像获取单元，其从相机获取拍摄图像的数据；图像分析单元，其分析所述拍摄图像；以及显示图像生成单元，其基于分析的结果生成显示图像，并且将所述显示图像输出到显示设备，其中所述图像分析单元和所述显示图像生成单元中的至少一个使处理精细度取决于图像平面中的区域而变化。

【技术特征摘要】
【国外来华专利技术】2016.03.23 JP 2016-0589241.一种信息处理设备，包括：拍摄图像获取单元，其从相机获取拍摄图像的数据；图像分析单元，其分析所述拍摄图像；以及显示图像生成单元，其基于分析的结果生成显示图像，并且将所述显示图像输出到显示设备，其中所述图像分析单元和所述显示图像生成单元中的至少一个使处理精细度取决于图像平面中的区域而变化。2.根据权利要求1所述的信息处理设备，还包括：区域确定单元，其确定所述显示图像中用户的注视区域，其中所述图像分析单元使所述显示图像被处理，对与所述注视区域相对应的区域用比其它区域所用的精细度更高的精细度。3.根据权利要求1所述的信息处理设备，还包括：区域确定单元，其确定所述显示图像中用户的注视区域，其中所述显示图像生成单元以比其它区域精细度更高的精细度对所述注视区域执行处理。4.根据权利要求2或3所述的信息处理设备，其中，所述区域确定单元基于确定所述注视区域的参数随时间的变化，预测在后来时间的注视区域。5.根据权利要求2至4中任一项所述的信息处理设备，其中，所述区域确定单元基于穿戴头戴式显示器作为所述显示设备的用户头部的移动来确定所述注视区域。6.根据权利要求2至4中任一项所述的信息处理设备，其中，所述区域确定单元基于由布置在作为所述显示设备的头戴式显示器内部的注视点监测器检测的结果确定所述注视区域。7.根据权利要求2至4中任一项所述的信息处理设备，其中，所述区域确定单元基于出现在所述显示图像中的过去记录指定具有高可能性吸引密切注意的一个，并且将包含它们的区域确定为所述注视区域。8.根据权利要求1至7中任一项所述的信息处理设备，其中，所述图像分析单元和所述显示图像生成单元中的至少一个使空间精细度和时间精细度中的至少一个在所述图像平面中从一个区域到另一个区域变化。9.根据权利要求2至7中任一项所述的信息处理设备，其中，所述图像分析单元取决于从所述相机到出现在所述拍摄图像中的真实体的距离，改变精细...

【专利技术属性】
技术研发人员：石田隆行，大场章男，菅原彰彦，亘理靖展，铃木章，
申请(专利权)人：索尼互动娱乐股份有限公司，
类型：发明
国别省市：日本,JP