对象物检测部(23)从影像的帧内检测应关注的对象物，所述影像是从拍摄部(10)获取的。运动向量检测部(25)检测影像的帧之间的对象物的运动向量。剪切位置决定部(27)决定用于从所获取的影像的各帧剪切规定尺寸的图像的剪切位置。剪切位置决定部(27)决定按照合成向量而移动的用于对象物的剪切位置和按照校正向量而移动的用于背景的剪切位置，所述合成向量是将所述校正向量和对象物的运动向量合成后的向量，所述校正向量用于消除由施加到拍摄部(10)的振动引起的抖动。图像合成部(31)对从用于对象物的剪切位置剪切出的对象物的图像数据和从用于背景的剪切位置剪切出的除了对象物之外的背景的图像数据进行合成。物之外的背景的图像数据进行合成。物之外的背景的图像数据进行合成。
【技术实现步骤摘要】
【国外来华专利技术】图像处理装置及图像处理程序
[0001]本专利技术涉及对由拍摄部拍摄到的影像进行处理的图像处理装置以及图像处理程序。
技术介绍
[0002]搭载有电子式手抖动校正功能的相机正在广泛普及。在电子式手抖动校正功能中，以使得相机的手抖动被抵消的方式，自适应地移动从拍摄范围剪切的视场角的范围，生成减少了抖动的图像。
[0003]另外，搭载有被摄体跟踪功能的相机也正在广泛普及，该被摄体跟踪功能跟踪人物等被摄体。在被摄体跟踪功能中，当被摄体运动时，根据被摄体的运动，使视场角的剪切范围移动，由此进行控制，使得视场角内的被摄体的位置尽量不动。例如，以在视场角内被摄体始终固定于中心的方式剪切视场角。
[0004]专利文献1公开了根据通过摇摄摄影获取的多个图像合成自然的流拍图像或广角图像的技术。具体而言，将接近相机的运动的区域作为背景区域，在所获取的多个图像中的各个图像中，从背景区域中提取主被摄体区域，使得该多个图像中的主被摄体区域的位置相匹配，并且对背景区域实施滤波处理而生成合成图像。但是，该技术不是对提取出的被摄体和背景进行合成来生成通常视场角的图像的技术，而是用于全景摄影等特殊摄影的技术。
[0005]现有技术文献
[0006]专利文献
[0007]专利文献1：日本特开2017
‑
098776号公报。
技术实现思路
[0008]通过上述的被摄体跟踪功能而根据被摄体的运动使视场角的剪切范围移动时，能够抑制被摄体的抖动，但在背景中会产生抖动。
[0009]本实施方式是鉴于这样的状况而完成的，其目的在于，提供整体地抑制所拍摄的影像内的抖动的技术。
[0010]为了解决上述课题，本实施方式的某个方式的图像处理装置包括：影像获取部，获取由拍摄部拍摄到的影像；移动量确定部，基于用于检测施加到所述拍摄部的振动的传感器的输出信号、或者所获取的影像的帧间的差，确定基于施加到所述拍摄部的振动的所述拍摄部的移动量；对象物检测部，从所获取的影像的帧内检测应关注的对象物；运动向量检测部，检测所述影像的帧之间的所述对象物的运动向量；剪切位置决定部，决定用于从所获取的影像的各帧剪切规定尺寸的图像的剪切位置，并且决定按照合成向量而移动的用于对象物的剪切位置和按照校正向量而移动的用于背景的剪切位置，所述合成向量是将所述校正向量和所述对象物的运动向量合成后的向量，所述校正向量用于消除由所述振动引起的抖动；以及图像合成部，对从所述用于对象物的剪切位置剪切出的所述对象物的图像数据
和从所述用于背景的剪切位置剪切出的除了所述对象物之外的背景的图像数据进行合成。
[0011]另外，将以上的构成要素的任意组合、本实施方式的表现在装置、方法、系统、记录介质、计算机程序等之间变换后的方案也是作为本实施方式的方案而有效的。
[0012]根据本实施方式，能够整体地抑制拍摄到的影像内的抖动。
附图说明
[0013]图1是表示本专利技术的实施方式1的拍摄装置的结构的图。
[0014]图2的(a)
‑
(c)是用于说明实施方式1涉及的图像处理装置的合成图像生成处理的具体示例的图(其一)。
[0015]图3的(a)
‑
(c)是用于说明实施方式1涉及的图像处理装置的合成图像生成处理的具体示例的图(其二)。
[0016]图4是表示本专利技术的实施方式2涉及的拍摄装置的结构的图。
[0017]图5的(a)
‑
(c)是用于说明实施方式2涉及的图像处理装置的合成图像生成处理的具体示例的图(其一)。
[0018]图6的(a)
‑
(c)是用于说明实施方式2涉及的图像处理装置的合成图像生成处理的具体示例的图(其二)。
[0019]图7的(a)
‑
(c)是用于说明实施方式2涉及的图像处理装置的合成图像生成处理的具体示例的图(其三)。
[0020]图8是表示本专利技术的实施方式3涉及的拍摄装置的结构的图。
[0021]图9的(a)
‑
(c)是用于说明实施方式1、3涉及的图像处理装置的总剪切范围的限制处理的具体示例的图。
具体实施方式
[0022]图1是表示本专利技术的实施方式1涉及的拍摄装置1的结构的图。拍摄装置1可以是单个摄像机，也可以是搭载于智能手机、平板电脑、笔记本电脑等信息设备的摄像头模块。
[0023]实施方式1涉及的拍摄装置1具备拍摄部10、振动检测传感器11以及图像处理装置20。拍摄部10包括透镜、固体拍摄元件、以及信号处理电路。固体拍摄元件例如能够使用CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)图像传感器或CCD(Charge Coupled Devices，电荷耦合器件)图像传感器。固体拍摄元件将经由透镜入射的光转换为电的影像信号，并输出到信号处理电路。信号处理电路对从固体拍摄元件输入的影像信号实施A/D转换、噪声去除等信号处理，并输出至图像处理装置20。
[0024]振动检测传感器11检测施加于拍摄部10的振动，并输出到图像处理装置20。振动检测传感器11例如能够使用陀螺仪传感器。陀螺仪传感器分别检测在拍摄部10的横摆方向和俯仰方向上施加的振动作为角速度。
[0025]图像处理装置20具备影像获取部21、图像识别部22、对象物检测部23、对象物跟踪部24、运动向量检测部25、剪切位置决定部27、振动信息获取部28、移动量确定部29、剪切部30、图像合成部31以及像素补充部32。这些构成要素能够通过硬件资源与软件资源的协作、或者仅通过硬件资源来实现。作为硬件资源，能够利用CPU、ROM、RAM、GPU(Graphics Processing Unit，图形处理单元)、DSP(Digital Signal Processor，数字信号处理器)、
ISP(Image Signal Processor，图像信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field
‑
Programmable Gate Array，现场可编程门阵列)、其他LSI。作为软件资源，能够利用固件等程序。
[0026]影像获取部21获取由拍摄部10拍摄到的影像。振动信息获取部28获取振动检测传感器11的输出信号作为振动分量信息。移动量确定部29对由振动信息获取部28获取的输出信号进行积分来确定拍摄部10的移动量。例如，移动量确定部29对由振动信息获取部28获取的横摆方向以及俯仰方向的角速度信号分别进行积分，计算拍摄部10的横摆方向以及俯仰方向的移动角度。
[0027]此外，移动量确定部29也可以在根据帧间的差检测到除了由后述的图像识别部22识别出的对象物以外的、背景区域的整体一律向相同的方向移动的情况下，将该背景区域的整体的移动量确定为拍摄部10的移动量本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种图像处理装置，包括：影像获取部，获取由拍摄部拍摄的影像；移动量确定部，基于用于检测施加到所述拍摄部的振动的传感器的输出信号、或者所获取的影像的帧之间的差，来确定基于施加到所述拍摄部的振动的所述拍摄部的移动量；对象物检测部，从所获取的影像的帧内检测应关注的对象物；运动向量检测部，检测所述影像的帧之间的所述对象物的运动向量；剪切位置决定部，决定用于从所获取的影像的各帧剪切规定尺寸的图像的剪切位置，所述剪切位置确定部决定按照合成向量移动了的用于对象物的剪切位置和按照校正向量移动了的用于背景的剪切位置，所述合成向量是将所述校正向量和所述对象物的运动向量合成后的向量，所述校正向量用于消除由所述振动引起的抖动；以及图像合成部，对从用于所述对象物的剪切位置剪切出的所述对象物的图像数据和从所述用于背景的剪切位置剪切出的除了所述对象物之外的背景的图像数据进行合成。2.根据权利要求1所述的图像处理装置，还包括：距离确定部，基于来自用于测量距离的传感器的输出信号或者帧内的所述对象物的大小，来确定从所述拍摄部到所述对象物的距离；以及向量强度调整部，基于确定的到所述对象物的距离，调整所述对象物的运动向量的强度。3.根据权利要求2所...
【专利技术属性】
技术研发人员：北条优，
申请(专利权)人：JVC建伍株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。