对象物检测部(23)从由拍摄部(10)获取的影像的帧内检测应关注对象物。矢量强度调整部(26)调整用于消除由施加于拍摄部(10)的振动引起的抖动的校正矢量的强度。剪切位置决定部(27)决定用于从所获取的影像的各帧剪切规定尺寸的图像的剪切位置。剪切位置决定部(27)按照校正矢量使剪切位置移动，并且根据校正矢量的强度分别决定用于对象物的剪切位置和用于背景的剪切位置。图像合成部(31)对从用于对象物的剪切位置剪切的对象物的图像数据和从用于背景的剪切位置除去剪切的对象物的背景的图像数据进行合成。图像数据进行合成。图像数据进行合成。
【技术实现步骤摘要】
【国外来华专利技术】图像处理装置以及图像处理程序
[0001]本专利技术涉及对由拍摄部拍摄到的影像的各帧进行处理的图像处理装置以及图像处理程序。
技术介绍
[0002]搭载有电子式的手抖校正功能的相机正在广泛普及。在电子式的手抖校正功能中，为了抵消相机的手抖，使从拍摄范围剪切的视场角的范围自适应地移动，生成降低了抖动的图像。在电子式的手抖校正中，进行控制，以尽可能固定视场角内的被摄体的位置。然而，当视点由于相机的移动而移动时，视场角内的构图改变，对象物与背景的位置关系的观察方式改变。
[0003]专利文献1公开了以下技术：将对被摄体空间从不同的多个视点拍摄到的视差图像进行合成，合成与视点变化前的图像接近的图像的技术。但是，在该技术中，对于一个微透镜需要包括多个像素的拍摄元件，光学系统变得复杂。
[0004]现有技术文献
[0005]专利文献
[0006]专利文献1：日本特开2016
‑
42662号公报。
技术实现思路
[0007]本实施方式是鉴于这样的状况而完成的，其目的在于提供一种即使拍摄视点抖动也电子地生成包含构图在内的稳定的影像的技术。
[0008]为了解决上述课题，本实施方式的某个方式的图像处理装置包括：影像获取部，获取由拍摄部拍摄到的影像；移动量确定部，根据用于检测对所述拍摄部施加的振动的传感器的输出信号、或者所获取的影像的帧间的差分，确定基于对所述拍摄部施加的振动的所述拍摄部的移动量；对象物检测部，从所获取的影像的帧内，检测应关注对象物；距离确定部，根据来自用于测量距离的传感器的输出信号、或者帧内的所述对象物的大小，确定从所述拍摄部到所述对象物的距离；矢量强度调整部，调整用于消除由所述振动引起的抖动的校正矢量的强度；剪切位置决定部，决定用于从所获取的影像的各帧剪切规定尺寸的图像的剪切位置，所述剪切位置决定部使所述剪切位置按照所述校正矢量移动，根据所述校正矢量的强度，分别决定用于对象物的剪切位置和用于背景的剪切位置；以及图像合成部，对从用于所述对象物的剪切位置剪切的所述对象物的图像数据和从用于所述背景的剪切位置剪切出的除所述对象物以外的背景的图像数据进行合成。
[0009]另外，将以上构件的任意组合、本实施方式的表现在装置、方法、系统、记录介质、计算机程序等之间变换后的方式，作为本实施方式的方式也是有效的。
[0010]根据本实施方式，即使拍摄视点抖动，也能够以电子方式生成包含构图在内的稳定的影像。
附图说明
[0011]图1是示出本专利技术的实施方式1的拍摄装置的结构的图。
[0012]图2的(a)～(c)是用于说明实施方式1的图像处理装置进行的合成图像生成处理的具体例的图(之一)。
[0013]图3的(a)～(c)是用于说明实施方式1的图像处理装置进行的合成图像生成处理的具体例的图(之二)。
[0014]图4是示出本专利技术的实施方式2的拍摄装置的结构的图。
[0015]图5的(a)～(c)是用于说明实施方式2的图像处理装置进行的合成图像生成处理的具体例的图(之一)。
[0016]图6的(a)～(c)是用于说明实施方式2的图像处理装置进行的合成图像生成处理的具体例的图(之二)。
[0017]图7的(a)和(b)是用于说明实施方式2的图像处理装置进行的合成图像生成处理的具体例的图(之三)。
[0018]图8是示出本专利技术的实施方式3的拍摄装置的结构的图。
[0019]图9的(a)～(c)是用于说明实施方式1、3的图像处理装置进行的总剪切范围的限制处理的具体例的图。
具体实施方式
[0020]图1是示出本专利技术的实施方式1的拍摄装置1的结构的图。拍摄装置1既可以是单体的摄像机，也可以是搭载于智能手机、平板电脑、笔记本PC等信息设备的相机模块。
[0021]实施方式1所涉及的拍摄装置1包括拍摄部10、振动检测传感器11以及图像处理装置20。拍摄部10包括透镜、固体拍摄元件、信号处理电路。固体拍摄元件例如能够使用CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)图像传感器或CCD(Charge Coupled Devices，电荷耦合器件)图像传感器。固体拍摄元件将经由透镜入射的光转换为电影像信号，并输出至信号处理电路。信号处理电路对从固体拍摄元件输入的影像信号实施A/D转换、噪声去除等信号处理，并输出到图像处理装置20。
[0022]振动检测传感器11检测对拍摄部10施加的振动，并输出到图像处理装置20。振动检测传感器11例如能够使用陀螺仪传感器。陀螺仪传感器分别检测在拍摄部10的横摆方向和俯仰方向上施加的振动作为角速度。
[0023]图像处理装置20包括影像获取部21、图像识别部22、对象物检测部23、对象物追踪部24、运动矢量检测部25、剪切位置决定部27、振动信息获取部28、移动量确定部29、剪切部30、图像合成部31以及像素增补部32。这些构件能够通过硬件资源与软件资源的协作、或者仅通过硬件资源来实现。作为硬件资源，能够利用CPU、ROM、RAM、GPU(Graphics Processing Unit，图形处理单元)、DSP(Digital Signal Processor，数字信号处理器)、ISP(Image Signal Processor，图像信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field
‑
Programmable Gate Array，现场可编程门阵列)、其他LSI。作为软件资源，能够利用固件等程序。
[0024]影像获取部21获取由拍摄部10拍摄到的影像。振动信息获取部28获取振动检测传感器11的输出信号作为振动分量信息。移动量确定部29对由振动信息获取部28获取的输出
信号进行积分来确定拍摄部10的移动量。例如，移动量确定部29对由振动信息获取部28获取的横摆方向和俯仰方向的角速度信号分别进行积分，计算拍摄部10的横摆方向和俯仰方向的移动角度。
[0025]此外，移动量确定部29也可以在根据帧间的差分检测到除了由后述的图像识别部22识别出的对象物以外的、背景区域的整体一律向相同的方向移动的情况下，将该背景区域的整体的移动量确定为拍摄部10的移动量。在该情况下，即使省略振动检测传感器11，也能够估计基于施加于拍摄部10的振动的、拍摄部10的移动量。如果省略振动检测传感器11，则能够削减成本。
[0026]移动量确定部29生成用于抵消所确定的拍摄部10的移动量的校正矢量。即，生成在拍摄部10抖动的方向上具有与拍摄部10的移动量相同量的校正量的校正矢量。移动量确定部29将所生成的校正矢量输出至剪切位置决定部27。在拍摄部10理想地静止的情况下，校正矢量的值为零。
[0027]图像识别部22在由影像获取部21获取的影像的帧内搜索对象物。图像识别本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种图像处理装置，包括：影像获取部，获取由拍摄部拍摄的影像；移动量确定部，根据用于检测施加到所述拍摄部的振动的传感器的输出信号、或者所获取的影像的帧间的差，来确定基于施加于所述拍摄部的振动的所述拍摄部的移动量；对象物检测部，从所获取的影像的帧内检测应关注的对象物；距离确定部，基于来自用于测量距离的传感器的输出信号或帧内的所述对象物的大小，来确定从所述拍摄部到所述对象物的距离；矢量强度调整部，调整用于消除由所述振动引起的抖动的校正矢量的强度；剪切位置决定部，决定用于从所获取的影像的各帧中剪切规定尺寸的图像的剪切位置，所述剪切位置决定部随着所述校正矢量移动所述剪切位置，并根据所述校正矢量的强度来分别决定用于对象物的剪切位置和用于背景的剪切位置；以及图像合成部，对从用于所述对象物的剪切位置剪切出的所述对象物的图像数据和从用于所述背景的剪切位置剪切出的除所述对象物以外的背景的图像数据进行合成。2.如权利要求1所述的图像处理装置，其中，随着到所述对象物的距离越近，所述矢量强度调整部将所述校正矢量的强度设定得越强。3.如权利要求1或2所述的图像处理装置，其中，当在帧内检测到第一对象物和位于比该第一对象物靠里侧的第二对象物时，所述矢量...
【专利技术属性】
技术研发人员：北条优，
申请(专利权)人：JVC建伍株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。