图像处理设备、图像处理方法和程序技术

本发明专利技术提供了图像处理设备、图像处理方法和程序，其中，该设备包括：存储器，存储指令；以及控制单元，被配置成执行指令，以检测真实空间图像内的关注对象的图像、检测真实空间对象图像相对于真实空间用户视角的方位、生成对应于真实空间对象的包括修改对象的图像的修改后的图像，以使得修改对象图像的方位对应于期望的用户视角，并且显示修改后的图像。

【技术实现步骤摘要】

本公开内容涉及一种图像处理设备、一种图像处理方法以及一种程序。
技术介绍
真实世界中存在以文本、图示、符号、图像等形式表现的各种类型的信息。这些信息通常以从正面和/或从特定方位最佳观看的方式来呈现。例如，JP2010-202018A公开了一种用于通过识别存在于汽车周围的交通标志的字符来帮助驾驶的技术。同样在这种技术中，假定从正面捕获看板上的字符。当对于读取信 息的主体是人以及主体是计算机的情况而言，在视觉上读取信息同等地真实时，从正面观看息是优选的。
技术实现思路
然而，在真实世界中，可能没有相对于要接收打印信息或其他信息的对象来最佳地对信息用户进行定向。因此，如果可以容易地使得表现信息的真实对象的表面面向读者或信息用户的方向，则这会是有益的。本专利技术的各个方面包括一种设备，该设备包括存储指令的存储器和控制单元。控制单元可被配置成执行指令，以检测真实空间图像内的关注对象的图像；检测真实空间对象图像相对于真实空间用户视角的方位；生成对应于真实空间对象的、包括修改对象的图像的修改后的图像，以使得修改对象图像的方位对应于期望的用户视角；并且显示修改后的图像。本专利技术的各个方面还包括一种方法，该方法包括检测真实空间图像内的关注对象的图像。该方法还可包括检测真实空间对象图像相对于真实空间用户视角的方位；生成对应于真实空间对象的、包括修改对象的图像的修改后的图像，以使得修改对象图像的方位对应于期望的用户视角；以及显示修改后的图像。本专利技术的各个方面还包括存储有指令有形体现的非暂态计算机可读介质，这些指令在由处理器执行时执行包括检测真实空间图像内的关注对象的图像的方法。该方法还可包括检测真实空间对象图像相对于真实空间用户视角的方位；生成对应于真实空间对象的、包括修改对象的图像的修改后的图像，以使得修改对象图像的方位对应于期望的用户视角；以及显示修改后的图像。本说明书中公开的技术使得能够容易地使得表现信息的真实对象的表面面向读者(例如，信息用户)的方向。附图说明图I是用于描述根据实施例的图像处理设备的概述的图；图2是示出了根据实施例的图像处理设备的硬件配置的示例的框图；图3是示出了根据实施例的图像处理设备的逻辑功能的配置示例的框图；图4是用于描述图像识别单元的识别结果的示例的图；图5A是用于描述由生成单元执行的对准图像(aligned image)生成方法的第一示例的第一幅图，其中，实现了修改后的用户视角；图5B是用于描述由生成单元执行的对准图像生成方法的第一示例的第二幅图，其中，实现了具有与真实空间对象图像的方位不同的方位的修改对象的图像； 图6是用于描述由生成单元执行的对准图像生成方法的第二示例的图；图7是示出了根据实施例的图像显示设备显示的输入图像的示例的图；图8是用于描述对图7所示的输入图像的处理的第一幅图；图9是用于描述对图7所示的输入图像的处理的第二幅图；图10是示出了根据图7所示的输入图像生成的对准图像的示例的图；图11是用于描述与图10所示的对准图像相关的虚拟对象的操作示例的图；以及图12是示出了根据实施例的图像处理设备执行的处理流程的示例的流程图。具体实施例方式下文中，将参照附图详细描述本公开内容的优选实施例。应注意，在本说明书和附图中，基本上具有相同功能和配置的结构元件用相同的附图标记来表示，并且省略了对这些结构元件的重复说明。I.概述图I是用于描述本说明书中公开的技术的实施例的概述的说明图。参照图1，示出了真实空间I中的用户携带的图像处理设备100。图像处理设备100可在屏幕上显示通过捕获真实空间而获得的图像。例如，图像处理设备100可以是用户装置，诸如智能手机、PDA (个人数字助理)、游戏终端或者便携式音乐播放器，或者图像处理设备100可以是信息处理设备，诸如PC(个人计算机)或者工作站。该图像处理设备还可包括用户可远程访问的其他装置，诸如服务器。真实空间I是可以使用图像处理设备100的空间的示例。真实对象12a和12b存在于真实空间I中。真实对象12a是通告板。然而，应当理解，真实对象12a和12b以及接下来的描述中提供的其他真实对象仅仅是示例性的。真实对象可以是用户关注的任意对象。符号标记13a附加于真实对象12a。真实对象12b是用于信息显示的告示板。图像处理设备100获取通过捕获这样的真实空间I而获得的图像，并且在图像处理设备100的屏幕上显示所获取的图像。真实对象12a和12b的正面不一定与捕获图像的装置的光轴方向一致。这里，如果捕获图像的装置是用户图像捕获装置，则捕获图像的装置的光轴方向可确定用户视角。如本文中所使用的，“视角”是指对象在场景中的出现，如用户在特定的观看位置和方向所观看到的那样。因而，如果所捕获到的图像按原样显示在屏幕上，则用户可能无法正确地读取图像上示出的信息(例如，绘制在真实对象12a上的信息、或者由真实对象12b呈现的信息)。如果例如用户视角(例如，在某些情况下为装置的光轴方向)和真实对象12a的方位不具有适当的关系，则这样的情况可能发生。从而，如将从以下部分起详细地描述的那样，根据本实施例的图像处理设备100处理图像以产生“修改后的图像”，使得图像中示出的真实对象的基准平面(例如，“对象的方位”)面向图像平面(例如，期望的用户视角)，并且因此，例如通过使对象的方位与期望的用户视角对准来提高图像中示出的信息的可视性。生成“修改后的图像”还可以或者可替选地包括修改对象的方位。对对象的方位的修改可包括本文中所描述的任意示例修改以及任意其他适当的修改。例如，对对象的方位的修改可包括在真实空间图像内施加对对象的方位的“伪修改(pseudo-modification) ”,诸如通过对真实空间图像施加变换。应当理解，本文中所描述的任意操作(例如，图像处理等)都可在用户装置上在本地执行以及/或者可远程地执行，诸如通过远离用户装置的服务器(例如，“远程服务器”)来执行。2.根据实施例的图像处理设备的示例配置2-1.硬件配置图2是示出了根据本实施例的图像处理设备100的硬件配置的示例的框图。参照图2，图像处理设备100包括成像单元102、传感器单元104、输入单元106、存储单元108、显 示单元112、通信单元114、总线118和控制单元120。成像单元成像单元102可包括用于捕获图像的摄像装置模块。成像单元102通过使用图像传感器(诸如，CCD (电荷耦合器件)或CMOS (互补金属氧化物半导体))来捕获真实空间图像，并且生成所捕获的图像。成像单元102还可以包括用于视频输入的成像电路和用于静止图像输入的成像电路这两种电路或者其中的一种电路。传感器单元传感器单元104是用于支持对图像处理设备100的位置和姿态(attitude)的识别并且检测至图像处理设备100的用户输入的一部分的一组传感器。例如，传感器单元104可以包括接收GPS (全球定位系统)信号并且测量图像处理设备100的纬度、经度和高度的GPS传感器。另外，传感器单元104还可以包括基于例如从无线接入点接收到的无线电信号的强度来测量图像处理设备100的位置的定位传感器。此外，传感器单元104还可以包括运动传感器，诸如测量图像处理设备100的三轴加速度的加速度传感器或者测量倾角的陀螺仪传感器。输入单元输入本文档来自技高网...

【技术保护点】
一种设备，包括：存储器，存储指令；以及控制单元，被配置成执行所述指令，以：检测真实空间图像内的关注对象；检测所述真实空间图像内的对象相对于真实空间用户视角的方位；生成对应于真实空间对象的、包括修改对象的图像的修改后的图像，以使得所述修改对象的方位对应于期望的用户视角；并且显示所述修改后的图像。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：笠原俊一，宫下健，
申请(专利权)人：索尼公司，
类型：发明
国别省市：