一种双摄像头终端及其图像处理方法和系统技术方案

本发明专利技术涉及图像处理技术领域，提出了一种双摄像头终端及其图像处理方法和系统。本发明专利技术通过双摄像头终端的两个摄像头分别采集第一图像和第二图像；对所述第一图像和所述第二图像进行立体匹配，得到所述第一图像与所述第二图像之间的初始深度图；将所述第一图像和所述第二图像投影到预设的空图像中，并将所述第一图像和所述第二图像的像素赋值到所述空图像中，得到拼接图像；根据拼接图像的尺寸，对初始深度图进行匹配扩张，并补充扩张区域的深度值，得到扩张深度图；根据所述扩张深度图的深度信息，对所述拼接图像进行虚化处理。本发明专利技术能够兼顾图像虚化效果与计算量问题，且能够将相机视场内的视觉信息完全输出，充分利用双摄像机的功能和作用。

【技术实现步骤摘要】
一种双摄像头终端及其图像处理方法和系统
本专利技术涉及图像处理
，具体涉及一种双摄像头终端及其图像处理方法和系统。
技术介绍
随着计算机视觉技术的发展，双摄像头移动终端已经流行，现阶段，移动终端双摄像头设备主要是为了满足用户的拍照需求。然而，由于摄像设备的价格昂贵，以及因为设备体积、重量和移动终端体积的市场要求的冲突，要制造出能够与专业摄像机拍摄效果媲美的移动终端是非常困难的，一是成本高，二是制造工艺有限。为了能够以较低的成本得到较好的照片，人们利用数字图像处理技术模仿专业摄像机的拍摄效果，对拍摄得到的图像进行增强、滤波、虚化模糊等操作。目前已经提出一些数字图像虚化处理方法，例如基于物体空间的景深渲染方法、基于图像空间的景深渲染方法等，基于物体空间的方法其计算作用于三维场景表示，并且直接在渲染管线中计算景深效果。基于图像空间的方法，也称之为后处理方法，是作用图像上，利用场景深度图的信息对清晰场景图像做模糊处理。但是这些方法在处理图像的时候存在操作繁琐、计算量大，且都是基于双摄像头的其中一幅图像进行处理，最终输出的也只是一个摄像头拍摄出的图像，这会造成输出的图像不能够完全呈现相机的实际视场，没有好好的发挥双摄像头的作用，在一定程度上浪费资源。
技术实现思路
为解决上述技术问题，本专利技术提供一种双摄像头终端、还提出了基于双摄像头终端的图像处理方法和系统，本专利技术能够兼顾图像虚化效果与计算量问题，且能够将相机视场内的视觉信息完全输出，充分利用双摄像机的功能和作用。方案一本专利技术提供的一种基于双摄像头终端的图像处理方法，主要包括以下步骤：采集图像：通过双摄像头终端的两个摄像头分别采集第一图像和第二图像；获取初始深度图：对所述第一图像和所述第二图像进行立体匹配，得到所述第一图像与所述第二图像之间的初始深度图；图像拼接：将所述第一图像和所述第二图像投影到预设的空图像中，并将所述第一图像和所述第二图像的像素赋值到所述空图像中，得到拼接图像；深度图扩张：根据拼接图像的尺寸，对初始深度图进行匹配扩张，并补充扩张区域的深度值，得到扩张深度图；图像虚化：根据所述扩张深度图的深度信息，对所述拼接图像进行虚化处理。方案二本专利技术还一种双摄像头终端，所述终端包括第一图像采集器、第二图像采集器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；所述第一图像采集器用于采集第一图像；所述第二图像采集器用于采集第二图像；所述处理器执行所述程序时实现以下步骤：通过双摄像头终端的两个摄像头分别采集第一图像和第二图像；对所述第一图像和所述第二图像进行立体匹配，得到所述第一图像与所述第二图像之间的初始深度图；将所述第一图像和所述第二图像投影到预设的空图像中，并将所述第一图像和所述第二图像的像素赋值到所述空图像中，得到拼接图像；根据拼接图像的尺寸，对初始深度图进行匹配扩张，并补充扩张区域的深度值，得到扩张深度图；根据所述扩张深度图的深度信息，对所述拼接图像进行虚化处理。方案三本专利技术还提出了一种基于双摄像头终端的图像处理系统，所述系统包括：第一图像采集模块，用于采集第一图像；第二图像采集模块，用于采集第二图像；深度提取模块，用于对所述第一图像和所述第二图像进行立体匹配，得到所述第一图像与所述第二图像之间的初始深度图；图像拼接模块，将所述第一图像和所述第二图像投影到预设的空图像中，并将所述第一图像和所述第二图像的像素赋值到所述空图像中，得到拼接图像；深度扩展模块，根据拼接图像的尺寸，对初始深度图进行匹配扩张，并补充扩张区域的深度值，得到扩张深度图；图像虚化模块，根据所述扩张深度图的深度信息，对所述拼接图像进行虚化处理。本专利技术的有益效果是：1.利用一种半密集的立体匹配算法，能够得到精确度高的深度图，同时，对于图像拼接也有好的拼接精度。2.将深度图的获取和图像拼接同时进行，大大减少了运行时间，节约内存。3.对图像进行分层，进行虚化处理，通过自适应修改虚化参数，能够有很好的虚化效果，且计算量小。4.本专利技术输出的拼接图像，能够将双目相机视场内的信息输出，充分利用双摄像机的功能和作用。5.根据拼接图像扩张深度图，能够获得相机整个视场深度信息。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1本专利技术流程图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。方案一：一种基于双摄像头终端的图像处理方法如图1所示，本专利技术公开了一种适用于具备双摄像头的移动终端的图像处理方法，主要包括以下步骤：S100，采集图像：通过双摄像头终端的两个摄像头分别采集第一图像和第二图像；S200，获取初始深度图：对所述第一图像和所述第二图像进行立体匹配，得到所述第一图像与所述第二图像之间的初始深度图；S300，图像拼接：将所述第一图像和所述第二图像投影到预设的空图像中，并将所述第一图像和所述第二图像的像素赋值到所述空图像中，得到拼接图像；S400，深度图扩张：根据拼接图像的尺寸，对初始深度图进行匹配扩张，并补充扩张区域的深度值，得到扩张深度图；S500，图像虚化：根据所述扩张深度图的深度信息，对所述拼接图像进行虚化处理。本专利技术中，上述的获取初始深度图步骤S200和图像拼接步骤S300的执行顺序可以根据实际需求而定，例如，执行采集图像步骤S100后，可先进行获取初始深度图步骤S200，然后再进行图像拼接步骤S300；还可以在执行采集图像步骤S100后，先进行图像拼接步骤S300，然后再进行获取初始深度图步骤S200；当然，在执行采集图像步骤S100后，还可以同时进行获取初始深度图步骤S200和图像拼接步骤S300。进一步的，本专利技术中采集图像步骤S100，还可包括图像预处理步骤，分别对第一图像和第二图像进行增强、去噪等预处理。进一步的，本专利技术中所述的立体匹配包括稀疏匹配和稠密匹配，所述获取初始深度图步骤S200包括以下子步骤：S201，稀疏匹配：分别提取第一图像和第二图像的特征点，并对第一图像的特征点和第二图像的特征点进行稀疏匹配，将第一图像中稀疏匹配成功的特征点作为第一稀疏匹配同名点，第二图像中稀疏匹配成功的特征点作为第二稀疏匹配同名点，且相互匹配的第一稀疏匹配同名点和第二稀疏匹配同名点组成稀疏匹配同名点对。S202，稠密匹配：根据稀疏匹配同名点对对第一图像和第二图像的像素点进行稠密匹配，将第一图像中稠密匹配成功的像素点作为第一稠密匹配同名点，将第二图像中稠密匹配成功的像素点作为第二稠密匹配同名点，且相互匹配的第一稠密匹配同名点和第二稠密匹配同名点组成稠密匹配同名点对。S203，计算初始深度图：根据稠密匹配同名点对计算第一图像与第二图像之间包含的深度信息，得到初始深度图。在步骤S201中提取第一图像和本文档来自技高网...

【技术保护点】
一种基于双摄像头终端的图像处理方法，其特征在于，所述方法包括以下步骤：采集图像：通过双摄像头终端的两个摄像头分别采集第一图像和第二图像；获取初始深度图：对所述第一图像和所述第二图像进行立体匹配，得到所述第一图像与所述第二图像之间的初始深度图；图像拼接：将所述第一图像和所述第二图像投影到预设的空图像中，并将所述第一图像和所述第二图像的像素赋值到所述空图像中，得到拼接图像；深度图扩张：根据拼接图像的尺寸，对初始深度图进行匹配扩张，并补充扩张区域的深度值，得到扩张深度图；图像虚化：根据所述扩张深度图的深度信息，对所述拼接图像进行虚化处理。

【技术特征摘要】
1.一种基于双摄像头终端的图像处理方法，其特征在于，所述方法包括以下步骤：采集图像：通过双摄像头终端的两个摄像头分别采集第一图像和第二图像；获取初始深度图：对所述第一图像和所述第二图像进行立体匹配，得到所述第一图像与所述第二图像之间的初始深度图；图像拼接：将所述第一图像和所述第二图像投影到预设的空图像中，并将所述第一图像和所述第二图像的像素赋值到所述空图像中，得到拼接图像；深度图扩张：根据拼接图像的尺寸，对初始深度图进行匹配扩张，并补充扩张区域的深度值，得到扩张深度图；图像虚化：根据所述扩张深度图的深度信息，对所述拼接图像进行虚化处理。2.根据权利要求1所述的一种基于双摄像头终端的图像处理方法，其特征在于，所述立体匹配包括稀疏匹配和稠密匹配，所述获取初始深度图步骤包括以下子步骤：S201，稀疏匹配：分别提取第一图像和第二图像的特征点，并对第一图像的特征点和第二图像的特征点进行稀疏匹配，将第一图像中稀疏匹配成功的特征点作为第一稀疏匹配同名点，第二图像中稀疏匹配成功的特征点作为第二稀疏匹配同名点，且相互匹配的第一稀疏匹配同名点和第二稀疏匹配同名点组成稀疏匹配同名点对；S202，稠密匹配：根据稀疏匹配同名点对对第一图像和第二图像的像素点进行稠密匹配，将第一图像中稠密匹配成功的像素点作为第一稠密匹配同名点，将第二图像中稠密匹配成功的像素点作为第二稠密匹配同名点，且相互匹配的第一稠密匹配同名点和第二稠密匹配同名点组成稠密匹配同名点对；S203，计算初始深度图：根据稠密匹配同名点对计算第一图像与第二图像之间包含的深度信息，得到初始深度图。3.根据权利要求2所述的一种基于双摄像头终端的图像处理方法，其特征在于，所述子步骤S202包括以下子步骤：S2021：以第一稀疏匹配同名点为支撑点，对第一图像进行三角剖分，得到若干个第一图像三角形；以第二稀疏匹配同名点为支撑点，对第二图像进行三角剖分，得到若干个第二图像三角形；S2022：根据第一图像三角形和第二图像三角形的稀疏匹配关系，估计图像视差，得到估计视差图；S2023：以第一图像作为参考图像，利用估计视差图，将第一图像中的像素点与第二图像中的像素点进行匹配，相互匹配成功的像素点作为第一稠密匹配同名点和第二稠密匹配同名点。4.根据权利要求2所述的一种基于双摄像头终端的图像处理方法，其特征在于，所述获取初始深度图步骤还包括子步骤：S204，优化初始深度图：将第一图像作为参考图像，利用参考图像的边缘信息对初始深度图进行优化。5.根据权利要求1所述的一种基于双摄像头终端的图像处理方法，其特征在于，所述图像拼接步骤包括以下子步骤：S301，建立一张空图像，空图像I的长为第一图像和第二图像的长之和，空图像I的宽为第一图像的宽；S302，利用第一初始投影变换矩阵将第一图像的像素点坐标信息投影到空图像中；利用第二初始投影变换矩阵将第二图像的像素点坐标信息投影到空图像中，得到第一像素点坐标图像；S303，根据像素点坐标中相互匹配的第一稠密匹配同名点和第二稠密匹配同名点的坐标信息，对第一初始投影变换矩阵和第二初始投影变换矩阵进行优化校准，以使第一稠密匹配同名点和第二稠密匹配同名点重合和/或其之间的间距在预设的误差范围内，得到第一投影变换矩阵Hl和第二投影变换矩阵Hr；S304，通过第一投影变换矩阵Hl将第一图像的像素点坐标信息重新投影到空图像中，同时根据该空图像中的第一稠密匹配同名点的坐标信息，过第二投影变换矩阵Hr将第二图像的像素点坐标信息投影到空图像中，得到第二像素点坐标图像；S305，根据第一稠密匹配同名点的像素点坐标信息，将第一图像中没有立体匹配成功的像素点的像素点坐标信...

【专利技术属性】
技术研发人员：黎礼铭，马骏，刘勇，邹泽东，
申请(专利权)人：成都通甲优博科技有限责任公司，
类型：发明
国别省市：四川,51