图像处理设备、图像处理方法、以及程序技术

本发明专利技术提供了一种图像处理设备、图像处理方法以及程序。所述图像处理设备包括：数据存储单元，其中存储有特征数据，特征数据表示一个或更多个物理对象的外观特征；环境地图建立单元，用于基于通过使用成像设备对真实空间进行成像获得的输入图像以及数据存储单元中存储的特征数据建立环境地图，环境地图代表真实空间中存在的物理对象的位置；信息生成单元，用于使用环境地图建立单元建立的环境地图来生成用于在屏幕上显示经由通信接口的通信的状态的动画数据；以及图像叠加单元，用于通过在输入图像上叠加根据信息生成单元生成的动画数据的动画生成输出图像。

Image processing apparatus, image processing method, and program

The present invention provides an image processing apparatus, an image processing method, and a program. The image processing apparatus includes a data storage unit, the characteristics of the data storage, data representation feature appearance characteristics of one or more physical objects; map building unit, for through the use of imaging equipment for real space imaging obtained input image and data stored in the storage unit of data based on environment map is established. Physical objects exist in the real space environment map representing the position information generating unit; used for map building element to build the environment map is generated for display by the animation data by communication interface state on the screen; and the image superposition unit, used by the input image superimposed on the output data generated according to the animation the generating unit generates the animation image.

【技术实现步骤摘要】

本专利技术涉及一种图像处理设备、图像处理方法、以及程序。
技术介绍
近来，一种被称为增强现实(AR)的技术正受到关注，其中处理并随后向用户呈现 通过对真实空间进行成像获得的图像。在AR技术中，例如可以插入与输入图像中呈现的真 实空间中的物理对象有关的有用信息以生成输出图像并且输出该输出图像。即，在AR技术 中，通常，向用户呈现的图像的大部分示出了真实空间，并且可以根据目的处理图像的一部 分。这种特性使它与使用计算机图形学(CG)构成输出图像的整体(或大部分)的虚拟现 实形成对比。通过使用AR技术，例如，可以提供诸如用户容易识别真实空间的情形或者基 于输出图像的操作支持等优点。在AR技术中，为了向用户呈现实际有用的信息，计算机准确地识别真实空间的情 形是重要的。因此，开发了作为AR技术的基础的、旨在识别真实空间的情形的技术。例 如，日本专利申请特开平No. 2008-304268公开了如下方法通过应用能够同时估算摄像 机的位置和姿态(posture)以及摄像机的图像中示出的特征点的位置、被称为同时定位与 地图构建(SLAM)的技术动态地生成代表真实空间中存在的物理对象的三维位置的环境地 图° 另夕卜，在 Andrew J. Davison's,"Real-Time SimultaneousLocalization and Mapping with a Single Camera, "Proceedings of the 9thIEEE International Conference on Computer Vision Volume 2，2003，第1403至1410页中公开了使用单目摄像机的SLAM技 术的基本原理。近来，信息通信技术已广泛用于一般用户之中，并且用户使用了各种通信手段，诸 如使用移动终端的蜂窝通信、家庭网络中的有线或无线局域网(LAN)、宽带通信、以及红外 线通信等。另外，存在采用这些通信手段的多种通信业务。
技术实现思路
然而，一般地，只使用诸如屏幕上的简单图标等图像或文本信息把用户使用的通 信手段中通信的状态通知用户。另外，在一些应用中，存在如下示例在屏幕上显示由Post Pet (注册商标)代表的虚拟动作者(agent)，但是这种动作者只在封闭在终端设备的屏幕 中的虚拟空间中工作。此外，如果能够通过应用上述环境地图通过显示如同执行涉及真实空间中的实体 的通信一样的信息来表示通信的状态，则预期用户可以直观地识别通信的状态并且还可以 向用户提供通信中的娱乐。鉴于以上内容，期望提供一种新型的和改进的图像处理设备、图像处理方法、以及 程序，能够如同执行涉及真实空间中的实体的通信一样显示用户使用的通信手段中通信的 状态。根据本专利技术的一个实施例，提供了一种图像处理设备，包括数据存储单元，其中存储有特征数据，特征数据表示一个或者更多个物理对象的外观特征；环境地图建立单元， 用于基于通过使用成像设备对真实空间进行成像获得的输入图像以及数据存储单元中存 储的特征数据建立环境地图，环境地图表示真实空间中存在的物理对象的位置；信息生成 单元，用于使用环境地图建立单元建立的环境地图来生成用于在屏幕上显示经由通信接口 的通信的状态动画数据；以及图像叠加单元，用于通过在输入图像上叠加根据信息生成单 元生成的动画数据的动画生成输出图像。信息生成单元可以根据环境地图表示的真实空间中物理对象的位置确定动画的 运动。信息生成单元可以根据通信方的位置确定动画的移动方向。信息生成单元可以根据通信的速率确定动画的运动或动画的类型。通信是可以无线通信，以及，信息生成单元可以根据通信中无线电信号的接收电 平来确定动画的运动或动画的类型。信息生成单元可以根据通信是否成功来改变动画的运动。信息生成单元可以根据通过通信实现的通信业务的类型确定动画的运动或动画 的类型。动画可以是表示虚拟角色的动画。图像处理设备还可以包括检测单元，用于基于输入图像和特征数据动态地检测成 像设备在真实空间中的位置，并且可以根据检测单元检测的成像设备在真实空间中的位置 计算在输入图像中叠加动画的位置。根据本专利技术的另一个实施例，提供了一种图像处理设备中的图像处理方法，图像 处理设备包括其中存储有特征数据的存储介质，特征数据表示一个或者更多个物理对象的 外观特征，所述方法包括以下步骤获取通过使用成像设备对真实空间进行成像获得的输 入图像；基于输入图像和特征数据建立环境地图，环境地图表示真实空间中存在的物理对 象的位置；使用环境地图来生成用于在屏幕上显示经由通信接口的通信的状态的动画数 据；以及通过在输入图像上叠加根据动画数据的动画生成输出图像。根据本专利技术的另一个实施例，提供了一种程序，用于使得控制图像处理设备的计 算机功能如下，其中图像处理设备包括其中存储有特征数据的存储介质，特征数据表示一 个或者更多个物理对象的外观特征环境地图建立单元，用于基于通过使用成像设备对真 实空间进行成像获得的输入图像以及特征数据建立环境地图，环境地图表示真实空间中存 在的物理对象的位置；信息生成单元，用于使用环境地图建立单元建立的环境地图来生成 用于在屏幕上显示经由通信接口的通信的状态的动画数据；以及图像叠加单元，用于通过 在输入图像上叠加根据信息生成单元生成的动画数据的动画生成输出图像。如上所述，根据本专利技术的实施例中的图像处理设备、图像处理方法、以及程序，可 以如同执行涉及真实空间中的实体的通信一样显示用户使用的通信手段中通信的状态。附图说明图1是示出了根据实施例的图像处理设备的示意图；图2是示出了可以在图1中所示的环境中获取的输入图像的示例的说明图；图3是示出了图像处理设备的另一个示例的示意图4是示出了根据实施例的图像处理设备的配置示例的框图；图5是示出了根据实施例的自身位置检测处理的流程示例的流程图；图6是示出了对象上设置的特征点的说明图；图7是示出了特征点的添加的说明图；图8是示出了预测模型的示例的说明图；图9是示出了特征数据的配置示例的说明图；图10是示出了根据实施例的对象识别处理的流程示例的流程图；图11是示出了通信业务与每个通信业务中的状态之间的对应的示例的示例图；图12是示出了根据实施例的动画数据生成处理的流程示例的流程图；图13是示出了根据实施例的信息生成单元所进行的动画类型确定的说明图；图14是示出了根据实施例的信息生成单元所进行的动画起点和终点确定的说明 图；图15是示出了根据实施例的信息生成单元可以确定的动画路线的第一示例的说 明图；图16是示出了根据实施例的信息生成单元可以确定的动画路线的第二示例的说 明图；图17是示出了根据实施例的信息生成单元所进行的根据通信速率或接收电平的 动画改变的说明图；图18是示出了根据实施例的图像处理设备输出的输出图像的第一示例的说明 图；图19是示出了根据实施例的图像处理设备输出的输出图像的第二示例的说明 图；以及图20是示出了通用计算机的硬件配置的示例的框图。 具体实施例方式在下文中，将参照附图详细描述本专利技术的优选实施例。注意，在本说明书和附图 中，功能和结构基本上相同的结构元件用相同的参考标号表示，并略去了对这些结构元件 的重复说明。另外，将按如下次序描述“具体实施方式”。1.图像处理设备的概述2.根据实本文档来自技高网...

【技术保护点】
１．一种图像处理设备，包括：数据存储单元，其中存储有特征数据，所述特征数据表示一个或更多个物理对象的外观特征；环境地图建立单元，用于基于通过使用成像设备对真实空间进行成像获得的输入图像以及所述数据存储单元中存储的所述特征数据建立环境地图，所述环境地图代表所述真实空间中存在的物理对象的位置；信息生成单元，用于使用所述环境地图建立单元建立的所述环境地图生成用于在屏幕上显示经由通信接口的通信的状态的动画数据；以及图像叠加单元，用于通过在所述输入图像上叠加根据所述信息生成单元生成的动画数据的动画来生成输出图像。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：周藤泰广，松田晃一，福地正树，多井坚一郎，郭晶晶，
申请(专利权)人：索尼公司，
类型：发明
国别省市：JP