全景图像的处理方法及装置制造方法及图纸

本发明专利技术公开了一种全景图像的处理方法及装置，所述方法包括获取多路鱼眼图像，对多路鱼眼图像进行同步处理；对同步处理后的每一路鱼眼图像进行暗电平校准，使多路鱼眼图像获得相同的灰度值基准；对相同灰度值基准的多路鱼眼图像进行图像一致性处理，补偿鱼眼图像的亮度差异；对图像一致性处理后的多路鱼眼图像进行畸变校正，得到多路鱼眼展开图，将多路鱼眼展开图拼接为全景图像。本申请通过对多路鱼眼图像进行同步、暗电平校准、图像一致性处理等图像处理操作，使得拼接、融合后能够得到整体亮度一致的全景图像、全景视频，大大提高了全景图像、全景视频的图像质量。

Method and device for processing panoramic image

The invention discloses a method and a device for processing a panoramic image, the method comprises obtaining multiple fisheye image of multiple fisheye image synchronization; dark level calibration of each road fisheye image after synchronous processing, the multi fisheye image to get the same gray value benchmark; multiple fisheye images on the same gray the value of the reference image consistency processing, brightness difference compensation fisheye image; image consistency of multiple fisheye images processed by fisheye distortion correction, multi-channel development, multi-channel expansion plan for panoramic image mosaic fisheye. This application through synchronization, black level calibration, image consistency processing of multi-channel fisheye image and other image processing, which can be obtained after fusion splicing, consistent with the overall brightness of panoramic images, panoramic video, greatly improving the image quality of panoramic image, panoramic video.

【技术实现步骤摘要】
全景图像的处理方法及装置
本申请涉及图像处理技术，尤指一种全景图像的处理方法及装置。
技术介绍
随着虚拟现实、增强现实技术的快速发展，全景视频、全景图像因能给用户带来360度全方位的、沉浸式的观看体验而被广泛接受。现有的全景处理、拼接技术中，在采集图像和编码压缩后，还要进行图像处理和拼接融合等工作。由于成像条件等因素的影响，目前图像拼接后得到的全景图像通常会存在图像整体亮度不一致的问题，导致图像展示效果不佳，用户体验较差。
技术实现思路
为了解决上述技术问题，本申请提供了一种全景图像的处理方法及装置，能够大大提高全景图像的图像质量。为了达到本专利技术目的，本申请提供了一种全景图像的处理方法，包括：获取多路鱼眼图像，对所述多路鱼眼图像进行同步处理；对同步处理后的每一路鱼眼图像进行暗电平校准，使多路鱼眼图像获得相同的灰度值基准；对相同灰度值基准的多路鱼眼图像进行图像一致性处理，补偿鱼眼图像的亮度差异；对图像一致性处理后的多路鱼眼图像进行畸变校正，得到多路鱼眼展开图，将多路鱼眼展开图拼接为全景图像。本申请还提供了一种全景图像的处理装置，包括：一同步单元，用于获取多路鱼眼图像，对所述多路鱼眼图像进行同步处理；一暗电平处理单元，用于对同步处理后的每一路鱼眼图像进行暗电平校准，使多路鱼眼图像获得相同的灰度值基准；一图像一致性处理单元，用于对相同灰度值基准的多路鱼眼图像进行图像一致性处理，补偿鱼眼图像的亮度差异；一畸变校正单元，用于对图像一致性处理后的多路鱼眼图像进行畸变校正，得到多路鱼眼展开图；一拼接融合单元，用于将多路鱼眼展开图拼接为全景图像。与现有技术相比，本申请包括获取多路鱼眼图像，对多路鱼眼图像进行同步处理；对同步处理后的每一路鱼眼图像进行暗电平校准，使多路鱼眼图像获得相同的灰度值基准；对相同灰度值基准的多路鱼眼图像进行图像一致性处理，补偿鱼眼图像的亮度差异；对图像一致性处理后的多路鱼眼图像进行畸变校正，得到多路鱼眼展开图，将多路鱼眼展开图拼接为全景图像。本申请通过对多路鱼眼图像进行同步、暗电平校准、图像一致性处理等图像处理操作，使得拼接、融合后能够得到整体亮度一致的全景图像、全景视频，大大提高了全景图像、全景视频的图像质量。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明附图用来提供对本专利技术技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本专利技术的技术方案，并不构成对本专利技术技术方案的限制。图1为本申请一实施例的全景图像的处理方法的流程图；图2为本专利技术的另一实施例的全景图像的处理装置的架构图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下文中将结合附图对本专利技术的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。现有技术中，在生成全景图像、全景视频的过程中，在采集到鱼眼图像后，还要对鱼眼图像进行图像处理、畸变校正并拼接融合为全景图像。由于成像条件等因素的影响，目前得到的全景图像通常会存在图像整体亮度不一致的问题，例如，由于鱼眼图像自身不同区域存在亮度差异，不同鱼眼图像之间也可能存在亮度差异，导致对鱼眼图像进行畸变校正、拼接融合得到的全景图像的整体亮度不一致，在进行全景播放展示时效果不佳，用户体验较差。本申请中，在获得多路鱼眼图像并对多路鱼眼图像进行同步后，还要进一步对每一路鱼眼图像进行暗电平校准，以使多路鱼眼图像能够获得相同的灰度值基准。在此基础上，再对多路鱼眼图像进行图像一致性处理，消除鱼眼图像的亮度差异。最后，对鱼眼图像进行畸变校正，并拼接融合为全景图像。具体而言，本申请中的图像一致性处理，可以是消除鱼眼图像自身不同区域的亮度差异，也可以是消除多路鱼眼图像之间的亮度差异，同时，也可以是既对鱼眼图像自身不同区域消除亮度差异，又消除多路鱼眼图像之间的亮度差异。本申请的全景图像的处理方法能够得到亮度均衡的全景图像，提高了全景图像的图像质量，增强了全景图像展示的效果。如图1所示，本申请提供的全景图像的处理方法，包括：步骤101：获取多路鱼眼图像，对多路鱼眼图像进行同步处理；步骤102：对同步处理后的每一路鱼眼图像进行暗电平校准，使多路鱼眼图像获得相同的灰度值基准；步骤103：对相同灰度值基准的多路鱼眼图像进行图像一致性处理，补偿鱼眼图像的亮度差异；步骤104：对图像一致性处理后的多路鱼眼图像进行畸变校正，得到多路鱼眼展开图，将多路鱼眼展开图拼接为全景图像。本申请提供的全景图像的处理方法可以应用于对全景相机、运动相机等拍摄设备拍摄的全景图像、全景视频进行图像处理，也可以是对全景电影、全景动画等由专业设备拍摄制作的全景内容进行图像处理。本申请方法可以应用于在全景相机、运动相机等拍摄设备中，在全景拍摄场景下，拍摄设备拍摄鱼眼图像后，进行图像处理，从而获得全景图像；也可以应用到智能终端(如手机)、后期处理设备(如PC)等设备上，在从拍摄设备接收到鱼眼图像后，对鱼眼图像进行图像处理，从而获得全景图像。全景视频是由一系列的全景图像序列组成，因此，本申请提供的全景图像的处理方法不仅适用于全景图像的处理，同样适用于全景视频的处理。在进行图像处理之前，需要进行外界图像的采集，可以通过全景采集模块采集360度视野内的图像。优选的，全景采集模块可以包括至少两个图像采集单元，每个图像采集单元包括一个鱼眼镜头和一个摄取由鱼眼镜头所形成图像的图像传感器。每个鱼眼镜头的视场角超过180度，用于采集空间的光信号，得到光信号鱼眼图像；图像传感器用于将光信号鱼眼图像转换为电信号鱼眼图像。两个图像采集单元背向设置，保证采集到水平和垂直各360°的全景图像。全景采集模块也可以包含三个或更多个图像采集单元。在本申请提供的全景图像的处理方法中，首先需要获取到多路鱼眼图像。例如，在拍摄设备上通过本申请的方法进行图像处理时，对于全景采集模块拍摄的鱼眼图像，可以直接从全景采集模块的图像传感器获取鱼眼图像。在手机、PC等设备上通过本申请的方法进行图像处理时，手机、PC等设备可以从拍摄设备获取多路鱼眼图像。由于多路图像采集单元相互独立，对同一场景采集到的鱼眼图像存在时间差异，即使采用同步控制电路进行控制，也无法保证拍摄得到的多路鱼眼图像精确同步。因此，在获取到多路鱼眼图像后，需要对这多路鱼眼图像进行同步处理，消除多个图像采集单元采集鱼眼图像的时间差。具体的，对多路鱼眼图像进行同步处理可以是：将多路鱼眼图像分别写入缓存，经过一指定时间阈值的延迟后在同一时刻将多个缓存中的鱼眼图像读出，经过同步处理后的多路鱼眼图像完全同步。同步后的多路鱼眼图像在时间域上精确一致，避免视频出现抖动和时间不一致等现象。其次，为了使多路鱼眼图像获得相同的灰度值基准，在对多路鱼眼图像进行同步处理后，还对同步处理后的每一路鱼眼图像进行暗电平校准。暗电平区域是图像传感器输出的原始本文档来自技高网...

【技术保护点】
一种全景图像的处理方法，其特征在于，包括：获取多路鱼眼图像，对所述多路鱼眼图像进行同步处理；对同步处理后的每一路鱼眼图像进行暗电平校准，使多路鱼眼图像获得相同的灰度值基准；对相同灰度值基准的多路鱼眼图像进行图像一致性处理，补偿鱼眼图像的亮度差异；对图像一致性处理后的多路鱼眼图像进行畸变校正，得到多路鱼眼展开图，将多路鱼眼展开图拼接为全景图像。

【技术特征摘要】
1.一种全景图像的处理方法，其特征在于，包括：获取多路鱼眼图像，对所述多路鱼眼图像进行同步处理；对同步处理后的每一路鱼眼图像进行暗电平校准，使多路鱼眼图像获得相同的灰度值基准；对相同灰度值基准的多路鱼眼图像进行图像一致性处理，补偿鱼眼图像的亮度差异；对图像一致性处理后的多路鱼眼图像进行畸变校正，得到多路鱼眼展开图，将多路鱼眼展开图拼接为全景图像。2.根据权利要求1所述的方法，其特征在于，所述对相同灰度值基准的多路鱼眼图像进行图像一致性处理，包括：针对每一路鱼眼图像，对鱼眼图像划分图像区域，分别计算每个图像区域的平均灰度值，将亮度最高的图像区域的平均灰度值与每个图像区域的平均灰度值做比值，将比值结果作为相应图像区域的增益系数对相应图像区域进行亮度补偿；或者，针对每一路鱼眼图像，根据鱼眼图像对应的鱼眼镜头的响应度信息确定图像上每个像素点的响应度，将亮度最高的像素点的响应度与每个像素点的响应度做比值，将比值结果作为相应像素点的增益系数对相应像素点进行亮度补偿。3.根据权利要求1所述的方法，其特征在于，所述对相同灰度值基准的多路鱼眼图像进行图像一致性处理，包括：针对多路鱼眼图像，在多路鱼眼图像的重叠区域中识别出相同画面区域，计算相同画面区域在每一路鱼眼图像中的平均灰度值，根据相同画面区域在多路鱼眼图像中的平均灰度值确定每一路鱼眼图像的增益系数，所述增益系数用于将多路鱼眼图像调整为相同亮度，根据所述每一路鱼眼图像的增益系数调整相应鱼眼图像的亮度，使多路鱼眼图像的亮度相同。4.根据权利要求1所述的方法，其特征在于，所述对相同灰度值基准的多路鱼眼图像进行图像一致性处理，包括：进行单路鱼眼图像自身的图像一致性处理以及多路鱼眼图像之间的图像一致性处理，其中：所述单路鱼眼图像自身的图像一致性处理，包括：针对每一路鱼眼图像，对鱼眼图像划分图像区域，分别计算每个图像区域的平均灰度值，将亮度最高的图像区域的平均灰度值与每个图像区域的平均灰度值做比值，将比值结果作为相应图像区域的增益系数对相应图像区域进行亮度补偿；或者，针对每一路鱼眼图像，根据鱼眼图像对应的鱼眼镜头的响应度信息确定图像上每个像素点的响应度，将亮度最高的像素点的响应度与每个像素点的响应度做比值，将比值结果作为相应像素点的增益系数对相应像素点进行亮度补偿；所述多路鱼眼图像之间的图像一致性处理，包括：针对多路鱼眼图像，在多路鱼眼图像的重叠区域中识别出相同画面区域，计算相同画面区域在每一路鱼眼图像中的平均灰度值，根据相同画面区域在多路鱼眼图像中的平均灰度值确定每一路鱼眼图像的增益系数，该增益系数用于将多路鱼眼图像调整为相同亮度，根据所述每一路鱼眼图像的增益系数调整相应鱼眼图像的亮度，使多路鱼眼图像的亮度相同。5.根据权利要求3或4所述的方法，其特征在于，所述在多路鱼眼图像的重叠区域中识别出相同画面区域，计算相同画面区域在每一路鱼眼图像中的平均灰度值，根据相同画面区域在多路鱼眼图像中的平均灰度值确定每一路鱼眼图像的增益系数，包括：在所述重叠区域中识别出多个相同画面区域，分别计算每个相同画面区域在每一路鱼眼图像中的平均灰度值，根据每个相同画面区域在多路鱼眼图像中的平均灰度值为每一路鱼眼图像确定一个增益系数，从而为每一路鱼眼图像确定出多个增益系数，将多个增益系数取平均值作为鱼眼图像的增益系数，或者使用相应的增益系数对鱼眼图像上的相应画面区域进行补偿，其余区域采用确定出的多个增益系数中的其中之一进行补偿或者采用多个增益系数的平均值进行补偿。6.根据权利要求2或4所述的方法，其特征在于，所述响应度信息采用如下方法获取，包括：将鱼眼镜头对均匀光源所拍摄的图像按照亮度差异进行区域划分，将每个区域的平均灰度值与亮度最高的区域的平均灰度值的比值作为该区域中心像素点的响应...

【专利技术属性】
技术研发人员：纪任超，黄业桃，
申请(专利权)人：北京疯景科技有限公司，
类型：发明
国别省市：北京,11