照相机系统及图像提供方法技术方案

本发明专利技术公开一种照相机系统及一种图像提供方法，以克服如下问题：传统照相机无法独立地作出关于是否及/或如何捕获图像的决策。所公开的照相机系统包括用于捕获图像的照相机以及用于为所述照相机计算估计照相机位置及估计照相机姿态的计算机装置。所述照相机系统还包括位置调整装置及姿态调整装置，以将所述照相机调整至所述估计照相机位置及所述估计照相机姿态。

Camera system and image providing method

The present invention discloses a camera system and an image providing method to overcome the problem that traditional cameras cannot independently make decisions about whether and/or how to capture images. The disclosed camera system includes a camera for capturing an image and a computer device for calculating and estimating camera position and camera attitude for the camera. The camera system also includes a position adjustment device and an attitude adjustment device to adjust the camera to the estimated camera position and the estimated camera attitude.

【技术实现步骤摘要】
照相机系统及图像提供方法
本专利技术涉及一种照相机系统及一种图像提供方法。更具体来说，本专利技术涉及一种自动照相机系统及一种自动图像提供方法。
技术介绍
照相机是一种用于捕获及/或记录图像的光学仪器，人们喜欢持有照相机来作为存储器。视人们的需求而定，此类图像可以是个别的静态相片，或者可以是构成视频或影片的图像序列。已开发出各种照相机，但其全部实质上均为仅根据用户的操纵及/或指令而工作的被动式图像捕获仪器。关键因素在于，此类传统照相机无法独立地作出关于是否及/或如何捕获图像的决策。由于所述因素，此类传统照相机可能会为用户带来不便。举例来说，如果用户打算捕获他/她出现在其中的图像但无法独立地操纵照相机，则他/她不得不设定定时器来推迟对照相机快门的触发、请求其他人来捕获图像、或者使用各种自拍工具(例如自拍杆)来捕获图像。此外，由于决定如何捕获图像是由用户作出，因而始终存在捕获到不合意图像的风险，尤其在用户并非是专业摄影师的情况下。鉴于此，提供一种解决方案以使得照相机能够独立地作出关于是否及/或如何捕获图像的决策是重要的。
技术实现思路
本专利技术包括一种用于计算估计照相机位置及估计照相机姿态的计算机装置。所述计算机装置可包括存储装置及电连接至所述存储装置的处理器。所述存储装置可用以基于多个参考图像来存储多个特征模型。所述多个特征模型中的每一个包括多个参考特征点。所述处理器可用以计算初始图像的多个初始特征点及所述多个初始特征点的多个相应三维坐标。所述初始图像可对应于初始照相机位置及初始照相机姿态。所述处理器还可用以将多个特征差值进行比较以从所述多个特征模型中决定特征模型候选者，所述多个特征差值中的每一个均是所述初始图像的所述多个初始特征点与所述多个特征模型中的每一个的所述多个参考特征点之间的特征差值，且所述特征模型候选者可对应于所述多个特征差值中的最小者。所述处理器还可用以在估计图像的多个特征点接近所述特征模型候选者的所述多个参考特征点的情况下基于所述初始图像的所述多个初始特征点的所述多个三维坐标的投影来决定估计照相机位置及估计照相机姿态，其中所述估计图像是基于所述估计照相机位置及所述估计照相机姿态而产生。本专利技术还包括一种照相机系统。所述照相机系统可包括上述计算机装置、照相机、位置调整装置、及姿态调整装置。所述照相机可电连接至所述计算机装置，且用以基于所述初始照相机位置及所述初始照相机姿态来提供所述初始图像并基于所述估计照相机位置及所述估计照相机姿态来提供所述估计图像。所述位置调整装置可电连接至所述计算机装置并以可操作方式连接至所述照相机，且用以将所述照相机分别调整至所述初始照相机位置及所述估计照相机位置。所述姿态调整装置可电连接至所述计算机装置并以可操作方式连接至所述照相机，且用以将所述照相机分别调整至所述初始照相机姿态及所述估计照相机姿态。本专利技术进一步包括一种用于计算照相机的估计照相机位置及估计照相机姿态的计算方法。所述计算方法可包括：由计算机装置计算初始图像的多个初始特征点及所述多个初始特征点的多个相应三维坐标，其中所述初始图像对应于初始照相机位置及初始照相机姿态；由所述计算机装置将多个特征差值进行比较以从多个特征模型中决定特征模型候选者，其中所述多个特征模型存储在所述计算机装置中，所述多个特征差值中的每一个均是所述初始图像的所述多个初始特征点与所述多个特征模型中的每一个的多个参考特征点之间的特征差值，且所述特征模型候选者对应于所述多个特征差值中的最小值；以及由所述计算机装置在估计图像的多个特征点接近所述特征模型候选者的所述多个参考特征点的情况下，基于所述初始图像的所述多个初始特征点的所述多个三维坐标的投影来计算所述估计照相机位置及所述估计照相机姿态，其中所述估计图像是基于所述估计照相机位置及所述估计照相机姿态而产生。本专利技术另外包括一种图像提供方法。所述图像提供方法可包括上述计算方法及以下步骤：由照相机基于所述初始照相机位置及所述初始照相机姿态来提供所述初始图像，且由所述照相机基于所述估计照相机位置及所述估计照相机姿态来提供所述估计图像；由位置调整装置将所述照相机分别调整至所述初始照相机位置及所述估计照相机位置；以及由姿态调整装置将所述照相机分别调整至所述初始照相机姿态及所述估计照相机姿态。由所提出的计算机装置计算的估计照相机位置可指示照相机应位于何处来捕获图像，而由所提出的计算机装置计算的估计照相机姿态可指示照相机应保持何种姿态来捕获此些图像。因此，所提出的计算机装置使所提出的照相机系统能够独立地作出关于如何捕获图像的决策。位置调整装置使照相机能够自动地移动至估计照相机位置，且姿态调整装置使照相机能够自动地摆出估计照相机姿态。因此，所提出的照相机系统可独立地作出关于是否捕获图像的决策，因为一旦照相机移动至估计照相机位置且摆出估计照相机姿态，所述照相机便准备好捕获图像。估计照相机位置及估计照相机姿态是依据已基于多个参考图像产生的存储在所提出的计算机装置中的特征模型而计算。用户可通过将相关图像指派为参考图像或直接将相关特征模型存储至所提出的计算机装置中来决定合意图像的构成。这样一来，不论用户是否为专业摄影师，所提出的照相机系统均能够为用户捕获合意图像。因此，所提出的计算机装置及照相机系统以及相关计算方法及图像提供方法确实提供一种良好的解决方案来使得照相机能够独立地作出关于是否及/或如何捕获图像的决策。以上所述内容呈现本专利技术的概要(包括将要解决的问题、解决所述问题的方式及本专利技术的效果)，以实现对本专利技术的基本理解。然而，以上所述内容并非旨在设想出本专利技术的所有方面。另外，以上所述内容既不旨在辨识本专利技术任何或所有方面的关键或重要要素也不旨在阐述本专利技术任何或所有方面的范围。提供此概要仅是为了以简单的形式且作为对以下详细说明的介绍来呈现本专利技术某些方面的某些概念。在以下段落中结合附图来阐述为本专利技术实施的详细技术及优选实施例，以使所属领域的技术人员充分理解本专利技术的特征。附图说明图1例示根据本专利技术一个或多个实施例的计算机装置的架构；图2是例示根据本专利技术一个或多个实施例，计算机装置如何计算估计照相机位置及估计照相机姿态的流程图；图3A是例示根据本专利技术一个或多个实施例，计算机装置如何决定空间结构的特征模型的示意图；图3B是例示根据本专利技术一个或多个实施例，计算机装置如何将初始图像与图3A所示特征模型进行比较的示意图；图4A是例示根据本专利技术一个或多个实施例，计算机装置如何决定面部的特征模型的示意图；图4B是例示根据本专利技术一个或多个实施例，计算机装置如何将初始图像与图4A所示特征模型进行比较的示意图；图5是例示根据本专利技术一个或多个实施例，计算机装置如何计算初始图像的初始特征点的相应三维坐标的示意图；图6是例示根据本专利技术一个或多个实施例，计算机装置如何基于初始图像的初始特征点的三维坐标的投影来计算估计照相机位置及估计照相机姿态的示意图；图7是例示计算机装置如何计算参考图像的统计前景分布比例及估计图像的估计前景分布比例的示意图；图8例示根据本专利技术一个或多个实施例的照相机系统的架构；以及图9例示根据本专利技术一个或多个实施例用于计算估计照相机位置及估计照相机姿态的计算方法的流程图。主要元件标记说明1：计算机装置8：照相机系统9：计算方法11：存本文档来自技高网...

【技术保护点】
1.一种用于计算估计照相机位置及估计照相机姿态的计算机装置，其特征在于，包括：存储装置，用以基于多个参考图像来存储多个特征模型，其中所述多个特征模型中的每一个包括多个参考特征点；以及处理器，电连接至所述存储装置且用以：计算初始图像的多个初始特征点及所述多个初始特征点的多个相应三维坐标，其中所述初始图像对应于初始照相机位置及初始照相机姿态；将多个特征差值进行比较以从所述多个特征模型中决定特征模型候选者，所述多个特征差值中的每一个均是所述初始图像的所述多个初始特征点与所述多个特征模型中的每一个的所述多个参考特征点之间的特征差值，且所述特征模型候选者对应于所述多个特征差值中的最小者；以及在估计图像的多个特征点接近所述特征模型候选者的所述多个参考特征点的情况下，基于所述初始图像的所述多个初始特征点的所述多个三维坐标的投影来计算所述估计照相机位置及所述估计照相机姿态，其中所述估计图像是基于所述估计照相机位置及所述估计照相机姿态而产生。

【技术特征摘要】
2017.04.13 US 15/487,4201.一种用于计算估计照相机位置及估计照相机姿态的计算机装置，其特征在于，包括：存储装置，用以基于多个参考图像来存储多个特征模型，其中所述多个特征模型中的每一个包括多个参考特征点；以及处理器，电连接至所述存储装置且用以：计算初始图像的多个初始特征点及所述多个初始特征点的多个相应三维坐标，其中所述初始图像对应于初始照相机位置及初始照相机姿态；将多个特征差值进行比较以从所述多个特征模型中决定特征模型候选者，所述多个特征差值中的每一个均是所述初始图像的所述多个初始特征点与所述多个特征模型中的每一个的所述多个参考特征点之间的特征差值，且所述特征模型候选者对应于所述多个特征差值中的最小者；以及在估计图像的多个特征点接近所述特征模型候选者的所述多个参考特征点的情况下，基于所述初始图像的所述多个初始特征点的所述多个三维坐标的投影来计算所述估计照相机位置及所述估计照相机姿态，其中所述估计图像是基于所述估计照相机位置及所述估计照相机姿态而产生。2.如权利要求1所述的计算机装置，其特征在于，所述多个特征模型的所述多个参考特征点是空间参考特征点，且所述初始图像的所述多个初始特征点是空间初始特征点。3.如权利要求2所述的计算机装置，其特征在于，所述处理器进一步用以：利用空间结构分析模块分析所述多个参考图像中的每一个，以计算所述多个参考图像中的每一个的多个空间特征点并根据所述多个参考图像的所述多个空间特征点将所述多个参考图像划分成与不同空间结构类型对应的多个空间结构群组；利用点分布模块分别将所述多个空间结构群组优化，以决定具有所述相应多个空间参考特征点的所述多个特征模型；以及利用所述空间结构分析模块分析所述初始图像，以计算所述多个空间初始特征点。4.如权利要求1所述的计算机装置，其特征在于，所述多个特征模型的所述多个参考特征点是面部参考特征点，且所述初始图像的所述多个初始特征点是面部初始特征点。5.如权利要求4所述的计算机装置，其特征在于，所述处理器进一步用以：利用面部检测模块分析所述多个参考图像中的每一个，以计算所述多个参考图像中的每一个的多个面部特征点并根据所述多个参考图像的所述面部特征点将所述多个参考图像划分成与不同面部数量对应的多个面部群组；利用点分布模块分别将所述多个面部群组优化，以决定具有所述相应面部参考特征点的所述多个特征模型；以及利用所述面部检测模块分析所述初始图像，以计算所述多个面部初始特征点。6.如权利要求1所述的计算机装置，其特征在于：所述存储装置进一步用以存储所述多个参考图像的统计前景分布比例；以及所述处理器进一步用以计算所述估计图像的估计前景分布比例，并比较出所述估计前景分布比例与所述统计前景分布比例之间的差值以决定所述估计图像的估计视野。7.如权利要求6所述的计算机装置，其特征在于，所述处理器进一步用以：利用前景分割模块分析所述多个参考图像中的每一个，以计算所述多个参考图像中的每一个的前景分布比例；基于所有所述前景分布比例来计算所述统计前景分布比例；以及利用所述前景分割模块分析所述估计图像，以计算所述估计图像的所述估计前景分布比例。8.如权利要求1所述的计算机装置，其特征在于，所述处理器基于所述初始图像的所述多个初始特征点与至少一个近似图像的多个特征点之间的对应关系来计算所述初始图像的所述多个初始特征点的所述多个三维坐标，且所述至少一个近似图像对应于分别与所述初始照相机位置及所述初始照相机姿态近似的近似照相机位置及近似照相机姿态。9.一种包括如权利要求1所述的计算机装置的照相机系统，其特征在于，所述照相机系统进一步包括：照相机，电连接至所述计算机装置，且用以基于所述初始照相机位置及所述初始照相机姿态来提供所述初始图像并基于所述估计照相机位置及所述估计照相机姿态来提供所述估计图像；位置调整装置，电连接至所述计算机装置并以可操作方式连接至所述照相机，且用以将所述照相机分别调整至所述初始照相机位置及所述估计照相机位置；以及姿态调整装置，电连接至所述计算机装置并以可操作方式连接至所述照相机，且用以将所述照相机分别调整至所述初始照相机姿态及所述估计照相机姿态。10.如权利要求9所述的照相机系统，其特征在于：所述计算机装置的所述存储装置进一步用以存储所述多个参考图像的统计前景分布比例；所述计算机装置的所述处理器进一步用以计算所述估计图像的估计前景分布比例，并比较出所述估计前景分布比例与所述统计前景分布比例之间的差值以决定所述估计图像的估计视野；以及所述...

【专利技术属性】
技术研发人员：翁明昉，林敬文，
申请(专利权)人：财团法人资讯工业策进会，
类型：发明
国别省市：中国台湾,71