全球面视频成像系统和计算机可读记录介质技术方案

根据本发明专利技术的全球面视频成像系统包括获取单元，所述获取单元被配置为以“整数分之一”的第二周期时间从图像传感器获取相对于垂直方向的倾斜角，第二周期时间比获取单元从图像传感器获取原始图像数据的第一周期时间短；计算器，计算器被配置为由与原始图像数据的获取同时地被获取的图像传感器相对于垂直方向的倾斜角以及在原始图像数据的获取前后的期间内被获取的图像传感器相对于垂直方向的倾斜角来计算平均倾斜角；以及生成器，所述生成器被配置为通过在所述平均倾斜角的基础上来校正所述原始图像数据而生成校正的图像数据。

Global video imaging system and computer readable recording medium

According to the global video imaging system of the present invention comprises an acquisition unit, the acquisition unit configured to \second cycle time of\ integer from the image sensor to obtain inclined relative to the vertical angle, the second cycle time than the acquisition unit from the image sensor for the first time period of original image data; image calculator. Calculators are configured to obtain sensor with the original image data acquired simultaneously by vertical tilt angle and be obtained in the period before and after obtaining the original image data in the image sensor is inclined to the vertical angle to calculate the average angle relative to the relative to the generator; and the generator is configured based on average angle in the up correction of the original image data and generates image data correction.

【技术实现步骤摘要】
【国外来华专利技术】全球面视频成像系统和计算机可读记录介质
本专利技术涉及一种全球面视频成像系统和计算机可读记录介质。
技术介绍
通常地，使用双曲面反射镜、使用鱼眼镜头等等捕获全方位(或者全球面)图像的装置被熟知。这些装置中的一些利用单次拍摄捕获半球面或者全球面静止图像。将通过使用鱼眼镜头的广角图像捕获记录有半球面的失真圆形图像的一部分剪出并且通过执行计算机图像处理将失真的图像转换为平面的常规图像的技术是已知的。另一个应用于这种图像处理的技术也是已知的，即当失真圆形图像的中心位置与天顶方向没有正确重合时，使用户指定用于倾斜角的参数，由此减少由图像失真校正施加的工作量。因此，存在这样的问题，当利用处于倾斜方位的图像捕获装置捕获图像时，会生成在垂直方向上不正确的全方位(全球面)图像。用于解决该问题的专利技术已被熟知。专利文献1公开了一种用于转换视频的每帧图像以记录全球面视频的方法和设备的配置，在该全球面视频中向上的垂直方向始终正确，即使利用倾斜的包括两个鱼眼镜头和加速度传感器的视频捕获装置的主体来捕获该视频。这通过记录两个鱼眼视频，并且在捕获视频之后通过使用从加速度传感器获取的关于主体的倾斜角的数据，与向球面投影的转换同时地执行天顶校正而实现。在专利文献2中公开了一种从具有360度水平视角和180度垂直视角的半球形视野收集视频信息的技术，该视频信息通过使用特定的电磁波作为数据介质而被全球面地或者全向地传输。在专利文献3中公开了一种如同专利文献2中从具有360度水平视角和180度垂直视角的半球形视野收集视频信息的技术，该视频信息通过使用特定的电磁波作为数据介质而被全球面地或者全向地传输。
技术实现思路
[技术问题]人们期望上述问题能够被从专利文献1获知的在图像由主体倾斜的可手持全球面摄像机被捕获时，用于显示应用倾斜角校正之后的静止图像的技术所解决。然而，已经出现由噪声引起的在加速度传感器的输出值上的波动使得难以获取相对于垂直方向的角度的新问题。在技术特征上不同于本专利技术的专利文献2和专利文献3同样不能解决由噪声引起的在加速度传感器的输出值上的波动使得难以获取相对于垂直方向的角度这个新的问题。考虑到通常的问题，有必要提供一种成像系统，以短于图像数据获取周期时间的周期时间获取加速度传感器数据以由此正确地校正全球面摄像机的主体的倾斜。[解决问题的方案]本专利技术具有以下特征。根据本专利技术的示范性实施例，提供一种全球面视频成像系统，包括：获取单元，所述获取单元被配置为以“整数分之一”的第二周期时间从图像传感器获取相对于垂直方向的倾斜角，所述第二周期时间比所述获取单元从所述图像传感器获取原始图像数据的第一周期时间短；计算器，所述计算器被配置为由与所述原始图像数据的获取同时地被获取的所述图像传感器的相对于所述垂直方向的倾斜角以及在跨立所述原始图像数据的所述获取的期间内被获取的所述图像传感器的相对于所述垂直方向的倾斜角来计算平均倾斜角；以及生成器，所述生成器被配置为通过在所述平均倾斜角的基础上来校正所述原始图像数据而生成校正图像数据。[专利技术的有益效果]根据本专利技术，通过将加速度传感器数据获取周期时间设置为短于图像数据获取周期时间，能够高度准确地获取主体的倾斜角。因此，可以生成高度准确的全方位(全球面)视频图像。附图说明图1是描述本专利技术的实施例的成像系统的功能框图。图2是实施例的图像捕获装置的硬件结构图。图3是实施例的信息处理装置的硬件结构图。图4是示出实施例的倾斜角获取周期时间和图像数据获取周期时间的图。图5A是在侧视图中由鱼眼镜头的外观来描述用于实施例的图像捕获装置的鱼眼镜头的投影关系的图。图5B是在平面图中由捕获的图像的投影函数f来描述用于实施例的图像捕获装置的鱼眼镜头的投影关系的图。图6A是描述以平面形式被呈现的通过实施例的图像捕获装置捕获的全方位(全球面)图像的格式的图。图6B是描述以球面形式被呈现的通过实施例的图像捕获装置捕获的全方位(全球面)图像的格式的图。图7是描述实施例的图像捕获装置的倾斜的示意图。图8是描述使用(A)摄像机坐标系和(B)全球坐标系的用于通过实施例的图像捕获装置捕获的全方位(全球面)图像的垂直校正计算的图。图9A是根据转换后图像和转换前图像的坐标值的矩阵的用于通过实施例的图像捕获装置捕获的全方位(全球面)图像的转换表。图9B是描述转换后图像的坐标值和转换前图像的坐标值之间的关系的图。图10是用于实施例的图像捕获装置的流程图。图11是用于实施例的信息处理装置的流程图。图12是通过接合利用两个鱼眼镜头捕获的图像而获取的并且已经经过实施例的倾斜角校正的一组图像。图13是通过接合利用两个鱼眼镜头捕获的图像而获取的但是还未经过实施例的倾斜角校正的一组图像。附图意在描述本专利技术的示范性实施例并且不应当被解释为限制其的范围。在所有不同的附图中相同的或者相似的参考数字指定相同的或者相似的部件。具体实施方式在此使用的术语只为描述特定的实施例，并不意在限制本专利技术。如在此使用的单数形式“一个”，和“所述"，除非上下文清楚地表示，否则同样包括复数形式。在描述附图中示出的优选实施例时，为了清楚可以采用特定术语。然而，本专利说明书的公开并不意在限于这样选择的特定术语，并且将被理解的是每个特定元素包括具有相同功能，以类似方式运转以及达到类似结果的所有技术等效物。参考附图详细地描述用于实现本专利技术的实施例。在附图中，通过相同的参考符号表示相同的或者等效的元素，并且视情况简化或者省略它们的重复描述。在本实施例中，全方位(全球面)图像捕获装置检测垂直方向并且在全方位(全球面)图像生成时根据垂直方向校正在图像处理中使用的转换表。术语成像系统指的是多个装置，例如，被分别使用的数字摄像机和信息处理装置。在本实施例中，除非另有说明，术语图像捕获装置概念上包括成像系统。在本专利技术的最优实施例的实例中，全球面摄像机被用作图像捕获装置，并且图像形成装置被用作信息处理装置。以下描述本实施例的功能模块。图1说明了本实施例的成像系统的功能模块。本实施例中使用的图像捕获装置包括获取单元11；信息处理装置包括计算器21和生成器31。获取单元11以短于图像数据获取周期时间的周期时间从加速度传感器获取相对于垂直方向的倾斜角。加速度传感器是在彼此正交的三个轴线方向上检测图像捕获装置的加速度的三轴加速度传感器，该三个轴线方向为上下、左右、以及远近方向。例如，当静止地手持图像捕获装置时，加速度传感器仅仅检测重力加速度。在获取倾斜角之后，图像数据被压缩为视频数据。此时，关于倾斜角的信息被记录在逐帧的视频数据中。由于相对于垂直方向的倾斜角以短于图像数据获取周期时间的周期时间被获取，不仅关于与图像数据的获取同步的倾斜角的信息而且关于与图像数据的获取不同步的倾斜角的信息也被记录。因此，关于多个倾斜角的信息被包含用于单个的图像数据块。稍后将详细地描述这一点。基于在每帧基础上同步的多个倾斜角,计算器21为三个轴线方向中的每个计算相对于垂直方向的平均倾斜角。平均值不限于算术平均值；可选择地，可以使用中值或者众数值。生成器31使用计算的相对于垂直方向的平均倾斜角为图像数据的每一帧校正相对于垂直方向的倾斜，并且在已经正确地进行倾斜角校正之后，基于校正的数据生成校正的图像数据。为了进行相对于垂直方向的倾斜角校正本文档来自技高网...

【技术保护点】
一种全球面视频成像系统，其特征在于，包括：获取单元，所述获取单元被配置为以“整数分之一”的第二周期时间从图像传感器获取相对于垂直方向的倾斜角，所述第二周期时间比所述获取单元从所述图像传感器获取原始图像数据的第一周期时间短；计算器，所述计算器被配置为由与所述原始图像数据的获取同时地被获取的所述图像传感器相对于所述垂直方向的倾斜角和在所述原始图像数据的获取前后的期间内被获取的所述图像传感器相对于所述垂直方向的倾斜角来计算平均倾斜角；以及生成器，所述生成器被配置为通过在所述平均倾斜角的基础上来校正所述原始图像数据而生成校正的图像数据。

【技术特征摘要】
【国外来华专利技术】2015.07.01 JP 2015-132564;2016.06.23 JP 2016-124881.一种全球面视频成像系统，其特征在于，包括：获取单元，所述获取单元被配置为以“整数分之一”的第二周期时间从图像传感器获取相对于垂直方向的倾斜角，所述第二周期时间比所述获取单元从所述图像传感器获取原始图像数据的第一周期时间短；计算器，所述计算器被配置为由与所述原始图像数据的获取同时地被获取的所述图像传感器相对于所述垂直方向的倾斜角和在所述原始图像数据的获取前后的期间内被获取的所述图像传感器相对于所述垂直方向的倾斜角来计算平均倾斜角；以及生成器，所述生成器被配置为通过在所述平均倾斜角的基础上来校正所述原始图像数据而生成校正的图像数据。2.根据权利要求1所述的全球面视频成像系统，其特征在于，所述获取单元由获取的在三维方向上的加速度来计算所述图像传感器相对于所述垂直方向的倾斜角。3.根据权利要求1所述的全球面视频成像系统，其特征在于，所述计算器由三个倾斜角来计算所述平均倾斜角，所述三个倾斜角为与所述原始图像数据的获取同时地被获取的所述图像传感器相对于所述垂直方向的倾斜角，在所述原始图像数据的获取之前被紧接着...

【专利技术属性】
技术研发人员：山本英明，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本,JP