图像处理方法、装置和增强现实设备制造方法及图纸

本发明专利技术实施例提供一种图像处理方法、装置和增强现实设备，该方法包括：接收第一图像和第二图像，第一图像和第二图像是分别通过第一摄像头和第二摄像头拍摄同一场景获得的非同源图像；获取与第一图像对应的坐标变换矩阵，坐标变换矩阵以第二图像为基准图像；采用坐标变换矩阵对第一图像进行坐标变换；对坐标变换后的第一图像与第二图像进行图像融合处理，以融合两者的优势特征，增强融合后的图像质量。

【技术实现步骤摘要】
图像处理方法、装置和增强现实设备
本专利技术涉及图像处理
，尤其涉及一种图像处理方法、装置和增强现实设备。
技术介绍
增强现实(AugmentedReality，简称AR)技术是一种实时的计算摄像头摄像的位置和角度，结合图像处理技术将虚拟世界的场景叠加到现实世界的场景中并显示给用户。AR技术具有实时交互性、真实世界和虚拟世界的信息集成以及在三维尺度空间中增加定位虚拟物体的特点，为人们带来新的视觉体验。AR场景中的现实场景是由摄像头拍得的。一般地，会在AR设备中设置某种类型的摄像头，以用于采集现实场景图像，比如通常设置电荷耦合元件(ChargecoupledDevice，简称CCD)摄像头。但是，如果拍摄现实场景的实际环境是处于较暗的低照度环境中，此时拍得的图像的清晰度往往会很不理想，使得用户最终看到的图像质量不佳，影响用户体验。
技术实现思路
有鉴于此，本专利技术实施例提供一种图像处理方法、装置和增强现实设备，通过对同一场景的非同源图像进行图像融合处理，提高图像质量。第一方面，本专利技术实施例提供一种图像处理方法，包括：接收第一图像和第二图像，所述第一图像和所述第二图像是分别通过第一摄像头和第二摄像头拍摄同一场景获得的非同源图像；获取与所述第一图像对应的坐标变换矩阵，所述坐标变换矩阵以所述第二图像为基准图像；采用所述坐标变换矩阵对所述第一图像进行坐标变换；对坐标变换后的第一图像与所述第二图像进行图像融合处理。第二方面，本专利技术实施例提供一种图像处理装置，包括：接收模块，用于接收第一图像和第二图像，所述第一图像和所述第二图像是分别通过第一摄像头和第二摄像头拍摄同一场景获得的非同源图像；获取模块，用于获取与所述第一图像对应的坐标变换矩阵，所述坐标变换矩阵以所述第二图像为基准图像；变换模块，用于采用所述坐标变换矩阵对所述第一图像进行坐标变换；融合模块，用于对坐标变换后的第一图像与所述第二图像进行图像融合处理。第三方面，本专利技术实施例提供一种增强现实设备，包括：第一摄像头、第二摄像头、存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如上所述的图像处理方法。第四方面，本专利技术实施例提供另一种增强现实设备，包括：第一摄像头、第二摄像头、FPGA组件；其中，所述FPGA组件中包含有实现如上所述的图像处理方法的功能逻辑。本专利技术实施例提供的图像处理方法和装置，在AR设备中设置两种不同类型的摄像头即第一摄像头和第二摄像头，通过第一摄像头和第二摄像头同时拍摄同一场景来获得非同源的第一图像和第二图像；以第二图像为基准图像，获取与第一图像对应的坐标变换矩阵，以采用该坐标变换矩阵对第一图像进行坐标变换，以使得变换后的第一图像与第二图像中的各像素点对应；进而，对坐标变换后的第一图像与第二图像进行图像融合处理。由于第一图像和第二图像是非同源图像，两者的优势特征不同，通过对两者进行融合，有利于融合两者的优势特征，增强融合后的图像质量。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的图像处理方法实施例一的流程图；图2为本专利技术实施例提供的图像处理方法实施例二的流程图；图3为本专利技术实施例提供的图像处理方法实施例三的流程图；图4为本专利技术实施例提供的图像处理装置实施例一的结构示意图；图5为本专利技术实施例提供的图像处理装置实施例二的结构示意图；图6为本专利技术实施例提供的图像处理装置实施例三的结构示意图；图7为本专利技术实施例提供的增强现实设备实施例一的结构示意图；图8为本专利技术实施例提供的增强现实设备实施例二的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。应当理解，尽管在本专利技术实施例中可能采用术语第一、第二、第三等来描述XXX，但这些XXX不应限于这些术语。这些术语仅用来将XXX区分开。例如，在不脱离本专利技术实施例范围的情况下，第一XXX也可以被称为第二XXX，类似地，第二XXX也可以被称为第一XXX。取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。进一步值得说明的是，本专利技术各实施例中各步骤之间的顺序是可以调整的，不是必须按照以下举例的顺序执行。图1为本专利技术实施例提供的图像处理方法实施例一的流程图，本实施例提供的该图像处理方法可以由一图像处理装置来执行，该图像处理装置可以实现为现场可编程门阵列(Field-ProgrammableGateArray，简称FPGA)组件中的部分硬件器件的组合，该FPGA组件可以集成设置在AR设备中。如图1所示，该方法包括如下步骤：101、接收第一图像和第二图像，第一图像和第二图像是分别通过第一摄像头和第二摄像头拍摄同一场景获得的非同源图像。102、获取与第一图像对应的坐标变换矩阵，坐标变换矩阵以第二图像为基准图像。103、采用坐标变换矩阵对第一图像进行坐标变换。104、对坐标变换后的第一图像与第二图像进行图像融合处理。本专利技术实施例中，在同一AR设备中可以设置不同类型的摄像头，比如上述第一摄像头和第二摄像头，用于对同一场景进行拍摄。其中，第一摄像头和第二摄像头在AR设备中的设置可以是：在一水平面上，左右分别设置第一摄像头和第二摄像头。可选地，第一摄像头可以是红外摄像头，第二摄像头可以是CCD摄像头。相应地，第一摄像头拍得的第一图像为红外图像，第二摄像头拍得的第二图像为可见光图像。下面结合红外摄像头本文档来自技高网...

【技术保护点】
一种图像处理方法，其特征在于，包括：接收第一图像和第二图像，所述第一图像和所述第二图像是分别通过第一摄像头和第二摄像头拍摄同一场景获得的非同源图像；获取与所述第一图像对应的坐标变换矩阵，所述坐标变换矩阵以所述第二图像为基准图像；采用所述坐标变换矩阵对所述第一图像进行坐标变换；对坐标变换后的第一图像与所述第二图像进行图像融合处理。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：接收第一图像和第二图像，所述第一图像和所述第二图像是分别通过第一摄像头和第二摄像头拍摄同一场景获得的非同源图像；获取与所述第一图像对应的坐标变换矩阵，所述坐标变换矩阵以所述第二图像为基准图像；采用所述坐标变换矩阵对所述第一图像进行坐标变换；对坐标变换后的第一图像与所述第二图像进行图像融合处理。2.根据权利要求1所述的方法，其特征在于，所述获取与所述第一图像对应的坐标变换矩阵之前，还包括：对所述第一图像和所述第二图像进行预处理，所述预处理包括：对所述第一图像进行灰度值取逆处理，对所述第二图像进行图像增强处理。3.根据权利要求1所述的方法，其特征在于，所述获取与所述第一图像对应的坐标变换矩阵，包括：分别生成平移矩阵A、旋转矩阵B和缩放矩阵C；确定与所述第一图像对应的坐标变换矩阵T为：所述平移矩阵A、所述旋转矩阵B和所述缩放矩阵C依次相乘的结果。4.根据权利要求3所述的方法，其特征在于，所述分别生成平移矩阵A、旋转矩阵B和缩放矩阵C，包括：根据本地存储的旋转参数和缩放参数，分别生成所述旋转矩阵B和所述缩放矩阵C；将所述第一图像、所述第二图像以及所述旋转参数和所述缩放参数发送至图像配准处理组件，以使所述图像配准处理组件以所述第二图像为基准图像，结合所述旋转参数和所述缩放参数对所述第一图像进行配准处理，以获得平移参数；根据所述图像配准处理组件反馈的所述平移参数，生成所述平移矩阵A。5.根据权利要求1所述的方法，其特征在于，所述对坐标变换后的第一图像与所述第二图像进行图像融合处理，包括：根据如下公式对所述坐标变换后的第一图像与所述第二图像进行灰度融合处理，以获得融合后的灰度图像：g(x,y)＝w1(x,y)*f1(x,y)+w2(x,y)*f2(x,y)，其中，f1(x,y)为所述坐标变换后的第一图像中的任一像素点(x,y)的灰度值，f2(x,y)为所述第二图像中的对应像素点的灰度值,g(x,y)为灰度图像中对应像素点的灰度值；w1(x,y)和w2(x,y)为加权系数，w1(x,y)+w2(x,y)＝1；以所述第二图像中各像素点的色度值渲染所述灰度图像中的对应像素点。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述接收第一图像和第二图像之前，还包括：接收所述第二摄像头拍得的第三图像；根据所述第三图像的平均灰度值与预设灰度阈值的比较结果，确定是否触发所述第一摄像头和所述第二摄像头同时工作。7.一种图像处理装置，其特征在于，包括：接收模块，用于接收第一图像和第二图像，所述第一图像和所述第二图像是分别通过第一摄像头和第二摄像头拍摄同一场景获得的非同源图像；获取模块，用于获取与所述第一图...

【专利技术属性】
技术研发人员：李祥艳，徐梁栋，
申请(专利权)人：歌尔科技有限公司，
类型：发明
国别省市：山东,37