图像处理设备，图像捕获系统，图像处理方法和记录介质技术方案

图像处理设备包括：获取器，配置为获得第一投影方式的第一图像和与第一投影方式不同的第二投影方式的第二图像；以及位置信息生成器，配置为生成位置信息，位置信息生成器被配置为:将包含第一图像中的与第二图像对应的第一对应区域的周边区域的图像从第一投影方式变换为第二投影方式，以生成第二投影方式的周边区域图像；从第二图像和周边区域图像分别识别多个特征点；基于分别在第二图像和周边区域图像识别的多个特征点，确定周边区域图像中的与第二图像对应的第二对应区域；通过将周边区域图像中限定第二对应区域的矩形的的中心点及四个顶点从第一投影方式变换为第二投影方式，以获得指示在第一图像中的第一投影方式的中心点和四个顶点的位置的位置信息；以及将指示在第一图像中的第一投影方式的中心点和四个顶点的位置的位置信息存储在存储器。

Image processing equipment, image capture system, image processing method and recording medium

【技术实现步骤摘要】
【国外来华专利技术】图像处理设备，图像捕获系统，图像处理方法和记录介质
本专利技术涉及图像处理设备，图像捕获系统，图像处理方法，以及记录介质。
技术介绍
用广角透镜拍摄的广角图像用于拍摄诸如风景，因为图像趋向于覆盖大面积。例如，图像捕获系统捕获目标对象及其周围环境的广角图像，以及目标对象的放大图像。广角图像与放大图像结合，即使当放大表示目标对象的广角图像的一部分时，也能以高分辨率显示嵌入有放大图像的部分(参见专利文献1)。另一方面，已经提出一种数码相机，其捕获两个半球图像，从中生成360度全天球图像(参见专利文献2)。这样的数码相机基于两个半球图像生成等距柱形投影图像(equirectangularprojectionimage)，并将该等距柱形投影图像发送到通信终端，诸如智能手机，用于向用户显示。引文列表专利文献【专利文献1】日本未审查专利申请公开No.2016-96487【专利文献2】日本未审查专利申请公开No.2017-178135
技术实现思路
技术问题本专利技术的专利技术人已经实现目标对象及其周围的全天球图像可以以如上所述的类似方式与目标对象的平面图像结合。然而，如果所述全天球图像要与目标对象的平面图像一起显示，则由于这些图像是在不同的投影方式中拍摄，因此，这些图像的位置可能会彼此偏移。解决问题的方案本专利技术的例示实施例包括图像处理设备，其包括：获取器，配置为获得第一投影方式的第一图像和与第一投影方式不同的第二投影方式的第二图像；以及位置信息生成器，配置为生成位置信息，所述位置信息生成器被配置为:将包含第一图像中的与所述第二图像对应的第一对应区域的周边区域的图像从所述第一投影方式变换为第二投影方式，以生成第二投影方式的周边区域图像；从所述第二图像和所述周边区域图像分别识别多个特征点；基于分别在所述第二图像和所述周边区域图像识别的多个特征点，确定所述周边区域图像中的与第二图像对应的第二对应区域；通过将所述周边区域图像中限定第二对应区域的矩形的的中心点及四个顶点从所述第一投影方式变换为第二投影方式，以获得指示在第一图像中的第一投影方式的所述中心点和所述四个顶点的位置的位置信息；以及将指示在第一图像中的第一投影方式的所述中心点和所述四个顶点的位置的位置信息存储在存储器。本专利技术的例示实施例包括设有所述图像处理设备的图像捕获系统，图像处理方法，和记录介质。本专利技术的效果根据本专利技术的一个或多个实施例，即使当一个图像叠加在投影方式不同的另一图像上时，也可以抑制这些图像之间的位置偏移。附图说明附图旨在描述本专利技术的示例实施例，而不应被解释为限制其范围。除非明确说明，否则附图不应视为按比例绘制。而且，相同或相似的附图标记在若干视图中表示相同或相似的组件。图1A，1B，1C和1D(图1)分别是根据一实施例的特殊图像捕获装置的左侧视图，后视图，俯视图和底侧视图。图2是用于说明用户如何使用根据一实施例的图像捕获装置。图3A，3B和3C是分别表示由根据一实施例的图像捕获装置捕获的半球图像的前侧，半球图像的背侧和以等距柱形投影表示的图像。图4A和4B是分别表示根据一实施例的以等距柱形投影覆盖球面的图像和全天球图像。图5是表示根据一实施例的将全天球图像设为三维实心球场合虚拟相机和预定区域的位置的图。图6A和6B分别是图5的透视图和根据一实施例的在显示器上显示预定区域的图像的图。图7是表示根据一实施例的预定区域信息与预定区域图像之间关系的图。图8是表示根据第一实施例的图像捕获系统的示意图。图9是表示根据第一实施例的适配器的透视图。图10表示用户如何使用根据第一实施例的图像捕获系统。图11是表示根据第一实施例的专用图像捕获装置的硬件配置的示意框图。图12是表示根据第一实施例的一般图像捕获装置的硬件配置的示意框图。图13是表示根据第一实施例的智能手机的硬件配置的示意框图。图14是根据第一实施例的图像捕获系统的功能框图。图15A和15B是分别表示根据第一实施例的链接图像捕获设备管理表和链接图像捕获设备配置屏幕的概念图。图16是表示根据第一实施例的图像和音频处理单元的功能配置的框图。图17是根据第一实施例的叠加显示元数据的数据结构的图示。图18是表示根据第一实施例的捕获图像区域中的有效区域的概念图。图19是表示根据第一实施例的由图像捕获系统执行的捕获图像的操作的数据序列图。图20是表示根据第一实施例的生成叠加显示元数据的操作的概念图。图21A和21B是用于描述确定根据第一实施例的周边区域图像的概念图。图22是表示根据第一实施例的对第二对应区域进行投影方式变换后的球的对应区域的概念图。图23是表示根据第一实施例的第三对应区域和图22所示对应区域之间关系的概念图。图24是表示根据第一实施例的在处理或生成图像的情况下叠加图像的操作的概念图。图25是表示根据第一实施例的叠加有平面图像的全天球图像的二维视图的概念图。图26是表示根据第一实施例的叠加有平面图像的全天球图像的三维视图的概念图。图27A和27B是表示根据比较例的在不使用位置参数的情况下叠加有平面图像的全天球图像的二维视图的概念图。图28A和28B是表示在第一实施例中使用位置参数叠加有平面图像的全天球图像的二维视图的概念图。图29A，29B，29C和29D是分别表示根据第一实施例的没有叠加显示的广角图像，没有叠加显示的远摄图像，具有叠加显示的广角图像，和具有叠加显示的远摄图像。图30是表示根据第二实施例的图像捕获系统的示意图。图31是图示根据第二实施例的图像处理服务器的硬件配置的示意图。图32是表示根据第二实施例的图30的图像捕获系统的功能配置的示意框图。图33是表示根据第二实施例的图像和音频处理单元的功能配置的框图。图34是表示根据第二实施例的由图像捕获系统执行的捕获图像的操作的数据序列图。具体实施方式在描述附图中所示的实施例时，为了清楚起见采用了特定的术语。然而，本说明书的公开内容并不旨在限于如此选择的特定术语，并且应当理解，每个特定元件包括具有类似功能、以类似方式操作并且实现类似结果的所有技术等同物。这里使用的术语仅用于描述特定实施例的目的，并不意图限制本专利技术。如这里所使用的单数形式“一”、“一个”、“该”也旨在包括复数形式，除非上下文另有明确说明。在本公开中，第一图像是与第二图像叠加的图像，第二图像是要叠加在第一图像上的图像。例如，第一图像是覆盖大于第二图像的区域的图像。在另一示例中，第二图像是图像质量高于第一图像的图像，例如，就图像分辨率而言。例如，第一图像可以是低清晰度图像，第二图像可以是高清晰度图像。在另一示例中，第一图像和第二图像是以不同投影表示的图像。第一投本文档来自技高网...

【技术保护点】
1.一种图像处理设备，包括：/n获取器，配置为获得第一投影方式的第一图像和与第一投影方式不同的第二投影方式的第二图像；以及/n位置信息生成器，配置为生成位置信息，所述位置信息生成器被配置为:/n将包含第一图像中的与所述第二图像对应的第一对应区域的周边区域的图像从所述第一投影方式变换为第二投影方式，以生成第二投影方式的周边区域图像；/n从所述第二图像和所述周边区域图像分别识别多个特征点；/n基于分别在所述第二图像和所述周边区域图像识别的多个特征点，确定所述周边区域图像中的与第二图像对应的第二对应区域；/n通过将所述周边区域图像中限定第二对应区域的矩形的的中心点及四个顶点从所述第一投影方式变换为第二投影方式，以获得指示在第一图像中的第一投影方式的所述中心点和所述四个顶点的位置的位置信息；以及/n将指示在第一图像中的第一投影方式的所述中心点和所述四个顶点的位置的位置信息存储在存储器。/n

【技术特征摘要】
【国外来华专利技术】20171019 JP 2017-2027531.一种图像处理设备，包括：
获取器，配置为获得第一投影方式的第一图像和与第一投影方式不同的第二投影方式的第二图像；以及
位置信息生成器，配置为生成位置信息，所述位置信息生成器被配置为:
将包含第一图像中的与所述第二图像对应的第一对应区域的周边区域的图像从所述第一投影方式变换为第二投影方式，以生成第二投影方式的周边区域图像；
从所述第二图像和所述周边区域图像分别识别多个特征点；
基于分别在所述第二图像和所述周边区域图像识别的多个特征点，确定所述周边区域图像中的与第二图像对应的第二对应区域；
通过将所述周边区域图像中限定第二对应区域的矩形的的中心点及四个顶点从所述第一投影方式变换为第二投影方式，以获得指示在第一图像中的第一投影方式的所述中心点和所述四个顶点的位置的位置信息；以及
将指示在第一图像中的第一投影方式的所述中心点和所述四个顶点的位置的位置信息存储在存储器。


2.根据权利要求1所述的图像处理设备，
其中，所述位置信息生成器进一步被配置为基于所述位置信息，生成校正信息，该校正信息用于校正相对于所述第一图像的明度和颜色的所述第二图像的明度和颜色中的至少一个。


3.根据权利要求1或2所述的图像处理设备，
其中，位置信息生成器进一步从所述第一图像识别多个特征点；以及
基于所述第一图像中的多个特征点和第二图像中的多个特征点，确定所述第一图像中的所述第一对应区域。


4.根据权利要求1至3中任一项所述的图像处理设备，
其中，所述图像处理设备包括智能手机、平板个人计算机、笔记本电脑、台式计算机、以及服务器计算...

【专利技术属性】
技术研发人员：小田卷诚，浅井贵浩，河口启一，水藤浩，吉田和弘，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本;JP