视频压缩装置、电子设备以及视频压缩程序制造方法及图纸

视频压缩装置具备：获取部，其从摄像元件输出的包含多帧的视频数据，所述摄像元件具有拍摄被摄体的第一摄像区域和拍摄所述被摄体的第二摄像区域，能够对所述第一摄像区域设定第一帧频且能够对所述第二摄像区域设定比所述第一帧频快的第二帧频；以及压缩部，其基于所述第一帧频和所述第二帧频对由所述获取部获取的视频数据进行压缩。

Video compression device, electronic equipment and video compression program

【技术实现步骤摘要】
【国外来华专利技术】视频压缩装置、电子设备以及视频压缩程序本申请主张在日本平成29年(2017年)9月29日提交申请的日本申请即JP特愿2017-192102的优先权，并通过参照其内容而援引至本申请。
本专利技术涉及视频压缩装置、电子设备以及视频压缩程序。
技术介绍
提出有如下电子设备，其包括层叠了背面照射型摄像芯片和信号处理芯片的摄像元件(以下，称为层叠型摄像元件)的电子设备(参照专利文献1)。层叠型摄像元件以使背面照射型摄像芯片和信号处理芯片按每个规定的区域借助微凸块而连接的方式层叠在一起。然而，在层叠型摄像元件中能够在摄像区域内设定多个摄像条件的情况下，输出由多个摄像条件拍摄到的帧，因此，以往不考虑这种帧的视频压缩。现有技术文献专利文献1：JP特开2006-49361号公报
技术实现思路
在本申请中公开的技术的一个方面的视频压缩装置具备：获取部，其获取从摄像元件输出的包括多帧的视频数据，摄像元件具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对第一摄像区域设定第一帧频且能够对第二摄像区域设定比第一帧频快的第二帧频；以及压缩部，其基于第一帧频和第二帧频对由获取部获取的视频数据进行压缩。在本申请中公开的技术的另一个方面的视频压缩装置对从摄像元件输出的包含多帧的视频数据进行压缩，摄像元件具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，并能够对第一摄像区域设定第一帧频且能够对第二摄像区域设定比第一帧频快的第二帧频，视频压缩装置具备：生成部，其针对多帧的每一帧，基于帧与对帧进行预测的预测帧的差分数据和预测帧，生成在时间上在帧之后输入的帧所参照的参照帧；以及运动补偿部，其使用由生成部生成的多个参照帧中的特定的参照帧，执行多帧中的以第二帧频拍摄到的帧的运动补偿。在本申请中公开的技术的一个方面的电子设备具备：摄像元件，其具有拍摄被摄体的第一摄像区域和拍摄所述被摄体的第二摄像区域，能够对所述第一摄像区域设定第一帧频且能够对所述第二摄像区域设定比所述第一帧频快的第二帧频，以针对每个摄像区域设定的帧频拍摄所述被摄体，并输出作为视频数据的多帧；以及压缩部，其针对由所述摄像元件拍摄到的多帧的每一帧，基于所述第一帧频和所述第二帧频进行压缩。在本申请中公开的技术的另一个方面的电子设备具备：摄像元件，其具有拍摄被摄体的第一摄像区域和拍摄所述被摄体的第二摄像区域，能够对所述第一摄像区域设定第一帧频且能够对所述第二摄像区域设定比所述第一帧频快的第二帧频，以针对每个摄像区域设定的帧频来拍摄所述被摄体，并输出作为视频数据的多帧；生成部，其针对所述多帧的每一帧，基于所述帧与对所述帧进行预测的预测帧的差分数据和所述预测帧，生成在时间上在所述帧之后输入的帧所参照的参照帧；以及运动补偿部，其使用由所述生成部生成的参照帧中的特定的参照帧，执行所述多帧中的以所述第二帧频拍摄到的帧的运动补偿。在本申请中公开的技术的一个方面的视频压缩程序使处理器执行从摄像元件输出的包括多帧的视频数据的压缩，摄像元件具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对第一摄像区域设定第一帧频且能够对第二摄像区域设定比第一帧频快的第二帧频，视频压缩程序使处理器执行如下处理：获取视频数据的获取处理；以及基于第一帧频和第二帧频对在获取处理中获取的视频数据进行压缩的压缩处理。在本申请中公开的技术的另一个方面的视频压缩程序使处理器执行从摄像元件输出的包括多帧的视频数据的压缩，摄像元件具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对第一摄像区域设定第一帧频且能够对第二摄像区域设定比第一帧频快的第二帧频，视频压缩程序使处理器执行如下处理：生成处理，其针对多帧的每一帧，基于帧与对帧进行预测的预测帧的差分数据和预测帧，生成在时间上在帧之后输入的帧所参照的参照帧；以及运动补偿处理，其利用在生成处理中生成的参照帧中的特定的参照帧，执行多帧中的以第二帧频拍摄到的帧的运动补偿。附图说明图1是层叠型摄像元件的剖视图。图2是说明摄像芯片的像素排列的图。图3是摄像芯片的电路图。图4是示出摄像元件的功能的结构例的框图。图5是示出电子设备的块结构例的说明图。图6是示出视频文件的结构例的说明图。图7是示出摄像面与被摄体像的关系的说明图。图8是视频文件的具体的结构例示出的说明图。图9是示出实施例1的视频压缩例的说明图。图10是示出图9示出的视频压缩中的图像处理例1的说明图。图11是示出图9示出的视频压缩中的图像处理例2的说明图。图12是示出图5示出的控制部的结构例的框图。图13是示出压缩部的结构例的框图。图14是示出控制部的动作处理顺序例的时序图。图15是示出图14示出的设定处理(步骤S1404、S1410)的详细的处理顺序例的流程图。图16是示出图15示出的附加信息设定处理(步骤S1505)的详细的处理顺序例的流程图。图17是示出视频文件生成处理的详细的处理顺序例的流程图。图18是示出图14示出的图像处理(步骤S1413、S1415)的详细的处理顺序例的流程图。图19是示出基于压缩控制部的第一压缩控制方法的压缩控制处理顺序例的流程图。图20是示出基于动态检测部的第一压缩控制方法的动态检测处理顺序例的流程图。图21是示出基于运动补偿部的第一压缩控制方法的运动补偿处理顺序例的流程图。图22是示出基于压缩控制部的第二压缩控制方法的压缩控制处理顺序例的流程图。图23是示出基于动态检测部的第二压缩控制方法的动态检测处理顺序例的流程图。图24是示出基于运动补偿部的第二压缩控制方法的运动补偿处理顺序例的流程图。图25是示出图10示出的视频处理例1的具体处理的流程的说明图。图26是示出实施例2的60[fps]的帧的合成例1的说明图。图27是示出实施例2的60[fps]的帧的合成例2的说明图。图28是示出实施例2的60[fps]的帧的合成例4的说明图。图29是示出基于图像处理部的帧的合成例1的合成处理顺序例1的流程图。图30是示出基于图像处理部的帧的合成例2的合成处理顺序例2的流程图。图31是示出基于图像处理部的帧的合成例3的合成处理顺序例3的流程图。图32是示出基于图像处理部的帧的合成例4的合成处理顺序例4的流程图。图33是示出实施例3的60[fps]的帧的合成例的说明图。图34是示出摄像区域的设定与帧的图像区域的对应关系的说明图。具体实施方式＜摄像元件的结构例＞首先，对搭载于电子设备的层叠型摄像元件进行说明。此外，该层叠型摄像元件记载于本申请申请人之前申请的JP特愿2012-139026号。电子设备例如为数码相机或数码摄像机等的摄像装置。图1是层叠型摄像元件100的剖视图。层叠型摄像元件(以下，仅称为“摄像元件”)100具有输出与入射本文档来自技高网...

【技术保护点】
1.一种视频压缩装置，其具备：/n获取部，其获取从摄像元件输出的包括多帧的视频数据，所述摄像元件具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对所述第一摄像区域设定第一帧频且能够对所述第二摄像区域设定比所述第一帧频快的第二帧频；以及/n压缩部，其基于所述第一帧频和所述第二帧频对由所述获取部获取的视频数据进行压缩。/n

【技术特征摘要】
【国外来华专利技术】20170929 JP 2017-1921021.一种视频压缩装置，其具备：
获取部，其获取从摄像元件输出的包括多帧的视频数据，所述摄像元件具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对所述第一摄像区域设定第一帧频且能够对所述第二摄像区域设定比所述第一帧频快的第二帧频；以及
压缩部，其基于所述第一帧频和所述第二帧频对由所述获取部获取的视频数据进行压缩。


2.根据权利要求1所述的视频压缩装置，其中，
所述压缩部针对以所述第一帧频拍摄到的所述帧中的第一图像区域的图像数据，基于所述第一帧频进行压缩，针对以所述第二帧频拍摄到的所述帧中的第二图像区域的图像数据，基于所述第二帧频进行压缩。


3.根据权利要求2所述的视频压缩装置，其中，
具备：
动态检测部，其针对所述第一图像区域的图像数据设定表示所述第一图像区域的图像数据内的对象物没有动态的特定的动态矢量，针对所述第二图像区域的图像数据执行动态矢量的检测；以及
运动补偿部，其针对所述第一图像区域的图像数据，基于所述特定的动态矢量执行运动补偿，针对所述第二图像区域的图像数据，基于由所述动态检测部检测出的动态矢量执行运动补偿。


4.根据权利要求3所述的视频压缩装置，其中，
具备生成部，该生成部针对所述多帧的每一帧，基于所述帧与对所述帧进行预测的预测帧的差分数据和所述预测帧，生成在时间上在所述帧之后输入的帧所参照的参照帧，
所述运动补偿部针对所述第一图像区域的图像数据，基于所述特定的动态矢量和所述参照帧执行运动补偿，针对所述第二图像区域的图像数据，基于所述动态矢量和所述参照帧执行运动补偿。


5.根据权利要求2所述的视频压缩装置，其中，
具备：
生成部，其针对所述多帧的每一帧，基于所述帧与对所述帧进行预测的预测帧的差分数据和所述预测帧，生成在时间上在所述帧之后输入的帧所参照的参照帧；
动态检测部，其针对所述第一图像区域的图像数据不执行动态矢量的检测，针对所述第二图像区域的图像数据执行动态矢量的检测；以及
运动补偿部，其针对所述第一图像区域的图像数据，基于所述参照帧执行运动补偿，针对所述第二图像区域的图像数据，基于所述参照帧和由所述动态检测部检测出的动态矢量执行运动补偿。


6.根据权利要求5所述的视频压缩装置，其中，
所述运动补偿部针对所述第一图像区域的图像数据，将所述参照帧决定为对所述帧的在时间上的后一帧进行预测的预测帧。


7.根据权利要求1所述的视频压缩装置，其中，
具备图像处理部，该图像处理部基于所述多帧中的、至少通过设定了所述第一帧频的第一摄像区域以及设定了所述第二帧频的第二摄像区域中的所述第一摄像区域拍摄到的第一帧、和通过所述第二摄像区域在时间上在所述第一帧之后拍摄到的第二帧，将所述第二帧更新为第三帧，该第三帧为将所述第一帧中的第一图像区域的图像数据和所述第二帧中的第二图像区域的图像数据进行合成而得到的帧，
所述压缩部基于所述第一帧频对通过所述图像处理部更新后的第三帧中的所述第一图像区域的图像数据进行压缩，基于所述第二帧频对通过所述图像处理部更新后的第三帧中的所述第二图像区域的图像数据进行压缩。


8.根据权利要求7所述的视频压缩装置，其中，
所述图像处理部针对在所述第二帧中的所述第二图像区域的图像数据中与所述第一帧中的所述第一图像区域的图像数据重复的范围，应用所述第二帧中的所述第二图像区域的图像数据，由此将所述第二帧更新为所述第三帧。<...

【专利技术属性】
技术研发人员：小宫大作，关口直树，
申请(专利权)人：株式会社尼康，
类型：发明
国别省市：日本;JP