基于混合相机的视频成像方法、系统、设备及存储介质技术方案

本发明专利技术实施例公开了一种基于混合相机的视频成像方法、系统、设备及存储介质，该方法包括：获取通过宽视场相机拍摄的至少三幅低分辨率图像，以及获取通过窄视场相机拍摄的高分辨率图像；通过对各所述低分辨率图像进行拼接处理，得到低分辨率环形图像；将所述低分辨率环形图像与所述高分辨率图像融合处理，确定为高分辨率环形图像；通过对各所述高分辨率环形图像进行编码整合处理，得到高分辨率的视频图像。本发明专利技术实施例的技术方案实现了通过将窄视场相机与宽视场相机分别拍摄到的高分辨率图像以及低分辨率图像结合在一起并采用一系列算法对其进行处理得到了十亿像素级分辨率的视频图像，提高了视频图像的分辨率以及光谱维度的技术效果。

【技术实现步骤摘要】
基于混合相机的视频成像方法、系统、设备及存储介质
本专利技术实施例涉及图像识别
，尤其涉及一种基于混合相机的视频成像反方、系统、设备及存储介质。
技术介绍
随着现有的计算摄像学、相机产业及人工智能产业技术的发展，计算机视觉领域在视频采集、视频目标跟踪、实时视频识别上都取得了性能突破和数据规模的重大突破，即现有的视频识别技术的识别准确度可以超过人眼。为了进一步的实现效果更好的现代人工智能算法以及帮助相关领域的研究，同时在高清监控、遥感识别乃至军事应用中达到更为出色的视频识别效果，如何有效提高当前视频在信息空间的维度，则成为了一个势必要解决的关键问题。为了提高图像的分辨率，常见的做法是通过增加大量的图像感器数量来实现图像分辨率的提高。目前已经存在基于参考图像的相机阵列用于实现分辨率提高的系统，并被用于安防、便携高分辨视频采集等领域。然而，无论是视角更大的环形超高分辨成像系统，亦或是便携版的双相机高分辨成像系统，其所成的像的信息维度均为与人眼类似的RGB(红绿蓝，Red、Green、Blue，为人眼所能捕获的三原色，下同)三维信息，所拍摄到的光线在光谱层面的更高维度的信息无法被当前系统所捕获。近些年来，虽然超分辨率算法、高光谱相机以及基于高光谱图像的人工智能技术已经逐渐趋于成熟，但是在现有的高分辨率的视频采集系统的基础上，仍然没有解决在像素级别上增加更高维度的信息量，视频图像分辨率低的技术问题。
技术实现思路
本专利技术实施例提供一种基于混合相机的视频成像方法、系统、设备及存储介质，以实现提高视频图像分辨率的技术效果。第一方面，本专利技术提供了一种基于混合相机的视频成像方法，该方法包括：获取通过宽视场相机拍摄的至少三幅低分辨率图像，以及获取通过窄视场相机拍摄的高分辨率图像；通过对各所述低分辨率图像进行拼接处理，得到低分辨率环形图像；将所述低分辨率环形图像与所述高分辨率图像融合处理，确定为高分辨率环形图像；通过对各所述高分辨率环形图像进行编码整合处理，得到高分辨率的视频图像。第二方面，本专利技术提供了一种基于混合相机阵列的视频成像系统，该系统包括：获取图像模块，用于获取通过宽视场相机拍摄的至少三幅低分辨率图像，以及获取通过窄视场相机拍摄的高分辨率图像；图像拼接处理模块，用于通过对各所述低分辨率图像进行拼接处理，得到低分辨率环形图像；图像融合处理模块，用于将所述低分辨率环形图像与所述高分辨率图像融合处理，确定为高分辨率环形图像；视频图像处理模块，用于通过对各所述高分辨率环形图像进行编码整合处理，得到高分辨率的视频图像。第三方面，本专利技术还提供了一种设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术实施例任一所述的基于混合相机的视频成像方法。第四方面，本专利技术还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本专利技术实施例任一所述的基于混合相机的视频成像方法。本专利技术实施例的技术方案获取通过宽视场相机拍摄的至少三幅低分辨率图像，以及获取通过窄视场相机拍摄的高分辨率图像，通过对各低分辨率图像进行拼接处理，得到低分辨率环形图像，将低分辨率环形图像与高分辨率图像融合处理，确定为高分辨率环形图像，通过对各高分辨率环形图像进行编码整合处理，得到高分辨率的视频图像，解决了现有技术中不论采用的是高分辨率成像系统，或者是双相机高分辨率成像系统拍摄的图像，均为与人眼捕捉到的三原色类似，不能获取到更高维度的图像信息，即图像的分辨率不高的技术问题，实现了通过将窄视场相机拍摄到的高分辨率图像与宽视场相机拍摄到的低分辨率图像结合在一起，并采用一系列算法对其进行处理得到的视频图像，提高了视频图像的分辨率以及光谱维度的技术效果，并且在实际应用的过程中宽视场相机与窄视场相机可以直接摆放在所要拍摄的视频环境中，不需要复杂的安装，节省成本的技术效果。附图说明为了更加清楚地说明本专利技术示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本专利技术所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。图1为本专利技术实施例一所提供的一种基于混合相机的视频成像方法；图2为本专利技术实施例一所提供的混合相机的摆放位置；图3为本专利技术实施例二所提供的一种基于混合相机的视频成像方法；图4为本专利技术实施例三所提供的一种基于混合相机阵列的视频成像系统；图5为本专利技术实施例四所提供的一种设备结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一所提供的一种基于混合相机的视频成像方法流程示意图，该方法可以由基于混合相机阵列的视频成像系统来执行，该系统可以通过软件和/或硬件的形式实现。如图1所述，本实施例的方法包括：S110、获取通过宽视场相机拍摄的至少三幅低分辨率图像，以及获取通过窄视场相机拍摄的高分辨率图像。其中，宽视场相机可以理解为短焦镜头的相机，该相机的镜头光圈较大、拍摄的图像画质较好，但是当拍摄远处细小的物体时，拍摄的图像不清楚的相机，也就是说宽视场相机可以拍摄近景图像，拍摄的图像分辨率相对来说较低但是拍摄的图像视野较广。窄视场相机可以理解为长焦镜头的相机，相机的镜头光圈较小，可以拍清楚较远的物体相机，当拍摄近景图像时拍摄的图像效果没有宽视场相机拍摄的效果好，即能够将远处的某一场景或者物体拍摄清楚的相机。需要说明的是，本专利技术实施例技术方案中提出的宽视场相机和窄视场相机是相对而言的，那么相对应的低分辨率图像与高分辨率图像也是相对而言的。至少三幅低分辨率图像的数量可以是两张或者多张，可以根据宽视场相机的数量来确定，这是因为至少三幅低分辨率图像由至少三个宽视场相机分别拍摄。示例性的，若宽视场相机的数量为3个，至少三幅低分辨率图像可以是三个宽视场相机在同一时刻拍摄的低分辨率图像。为了确保能够获取到窄视场相机与宽视场相机所处整个环境的视频图像，各宽视场相机的在同一时刻拍摄的低分辨率图像，组合起来可以覆盖360度场景，以及每相邻两个宽视场相机之间拍摄的区域存在重叠，这样设置的好处在于在对低分辨率图像进行处理时不会漏掉其中的某一个场景。也就是说至少三幅低分辨率图像由至少三个宽视场相机分别拍摄，每相邻两个宽视场相机之间拍摄的区域存在重叠，且各宽视场相机在同一时间拍摄的低分辨率图像组合在一起覆盖设定角度，即覆盖360度的环形图像。其中，至少三个宽视场相机的数量可以是三个或者多个，用户可以根据实际情况进行设置，可以将至少三个宽视场相机放置在用户所要拍摄视频图像的环境中，也就是说宽视场相机的设置，可以根据实际情况选择设置的位置，在满足一定条件的情况下，具有很大的自由性，即相机的设置非结构化。可选的，参见图2，在所要拍摄视频图像的环境中设置一个圆盘底座，即圆台201，将至少三个宽视场相机，可选，五个宽视场相机202放置在圆台201上。为了保证拍摄本文档来自技高网...

【技术保护点】
1.一种基于混合相机的视频成像方法，其特征在于，包括：获取通过宽视场相机拍摄的至少三幅低分辨率图像，以及获取通过窄视场相机拍摄的高分辨率图像；通过对各所述低分辨率图像进行拼接处理，得到低分辨率环形图像；将所述低分辨率环形图像与所述高分辨率图像融合处理，确定为高分辨率环形图像；通过对各所述高分辨率环形图像进行编码整合处理，得到高分辨率的视频图像。

【技术特征摘要】
1.一种基于混合相机的视频成像方法，其特征在于，包括：获取通过宽视场相机拍摄的至少三幅低分辨率图像，以及获取通过窄视场相机拍摄的高分辨率图像；通过对各所述低分辨率图像进行拼接处理，得到低分辨率环形图像；将所述低分辨率环形图像与所述高分辨率图像融合处理，确定为高分辨率环形图像；通过对各所述高分辨率环形图像进行编码整合处理，得到高分辨率的视频图像。2.根据权利要求1所述的方法，其特征在于，所述低分辨率环形图像是覆盖360度的环形全景图像。3.根据权利要求1所述的方法，其特征在于，所述至少三幅低分辨率图像由至少三个宽视场相机分别拍摄，每相邻两个宽视场相机之间拍摄的区域存在重叠，且各宽视场相机在同一时间拍摄的低分辨率图像组合在一起覆盖设定角度的环形图像。4.根据权利要求3所述的方法，其特征在于，还包括：获取至少三个宽视场相机分别拍摄的至少三幅低分辨预览图像；采用环形拼接算法对至少三幅低分辨图像进行拼接处理，并从拼接图像中识别相邻宽视场相机的拍摄重合范围；根据各宽视场相机的相机位置和拍摄重合范围确定相机矩阵，并存储，其中，所述相机矩阵用于对各所述低分辨率图像进行拼接处理，得到低分辨率环形图像。5.根据权利要求1所述的方法，其特征在于，将所述低分辨率环形图像与所述高分辨率图像融合处理，确定为高分辨率环形图像，包括：若待生成的当前帧图像为视频图像中的第一帧图像，则将所述低分辨率环形图像与所述高分辨率图像融合处理为高分辨率环形图像，将所述高分辨率环形图像作为所述待生成的当前帧图像；若待生成的当前帧图像不为视频图像中的第一帧图像，则将所述低分率环形图像、所述高分辨率图像以及当前帧图像之前连续的至少两个前帧图像结合在一起，确定高分辨率环形图像，将所述高分辨率环形图像作为所述待生成的当前帧图像；其中，所述前帧图像中的一帧与所述当前帧图像相连续。6.根据权利要求5所述的方法，其特征在于，将所述低分率环形图像、所述高分辨率图像以及当前帧图像之前至少两个前帧图像结合在一起，确定高分辨率环形图像包括：确定所述高分辨率图像在所述低分率环形图像中的至少两个候选融合位置；将所述高分辨率图像在所述至少两个前帧图像...

【专利技术属性】
技术研发人员：方璐，戴琼海，朱天奕，
申请(专利权)人：清华伯克利深圳学院筹备办公室，
类型：发明
国别省市：广东,44