双目立体视觉系统及图像校正方法技术方案

本发明专利技术属于图像校正技术领域，提供了一种双目立体视觉系统及图像校正方法，解决了双目立体视觉系统无法实时进行校正的问题。本发明专利技术的用于双目立体视觉系统的图像校正方法包括：获取双目立体视觉系统中的双目图像并对所述双目图像进行立体校正处理；对校正后的双目图像进行特征点匹配。本发明专利技术提供的双目立体视觉系统及图像校正方法，选用了FPGA平台实现，能够实时获取图像并且实时进行图像校正，从而加速双目立体视觉处理过程。

【技术实现步骤摘要】
双目立体视觉系统及图像校正方法
本专利技术涉及图像校正
，具体涉及一种双目立体视觉系统及图像校正方法。
技术介绍
双目立体视觉是计算机视觉的一个重要分支，其与人类的立体感知过程十分类似，对客观世界的三维景物和物体进行形态识别或测量，越来越广泛地应用于检测、测量、定位、识别等领域。双目图像间的特征点匹配是双目立体视觉最常用的技术手段之一。然而，需要处理的图像或者视频通常具有数据量大的特点，如何满足大数据量的实时处理成了关键技术问题。目前，可用于双目立体视觉的平台主要有CPU、GPU、DSP或ASIC等。基于CPU、GPU、DSP或ASIC的双目立体视觉处理技术应用广泛，但是很难保证实时性。
技术实现思路
本专利技术目提供了一种双目立体视觉系统及图像校正方法，能够实时获取图像并且实时进行图像校正，从而加速双目立体视觉处理过程。一方面，本专利技术提供了一种用于双目立体视觉系统的图像校正方法，包括以下步骤：获取双目立体视觉系统中的双目图像；对所述双目图像进行立体校正处理；以及对校正后的双目图像进行特征点匹配。进一步，在获取双目立体视觉系统中的双目图像之后，对所述双目图像进行立体校正处理之前还包括：根据双目标定方法，对所述双目立体视觉系统中的双目传感器的参数进行标定。进一步，对所述双目图像进行立体校正处理的步骤包括：将获取到的双目图像的信号解析为双目图像的场同步信号和行有效信号；根据所解析的双目图像的场同步信号和行有效信号，获得校正后的双目图像的坐标；根据校正后的双目图像的坐标和标定后的所述双目传感器的参数，获得校正前的双目图像的坐标；读取校正前的双目图像的坐标对应的校正前像素值；以及根据读取的所述校正前像素值，计算所述校正后的双目图像的坐标对应的校正后像素值。进一步，所述根据所述校正后的双目图像的坐标和所标定的所述双目传感器的参数，获得校正前的双目图像的坐标的步骤包括：根据标定后的所述双目传感器的参数，将所述校正后的双目图像的像素坐标转换为指定相机坐标下的二维点坐标；以及根据预获取的旋转变换量或平移变换量，将指定相机坐标系下的二维点坐标转换到像素坐标系。进一步，在所述将指定相机坐标系下的二维点坐标转换到像素坐标系之前，该方法还包括：计算所述指定相机坐标系与像素坐标系的空间位置关系，获取旋转变换量和平移变换量。进一步，所述根据读取的像素值，计算校正后的双目图像的坐标对应的像素值的步骤包括：根据读取的像素值和校正前的双目图像的坐标的小数点分量进行双线性插值，得到校正后的双目图像的坐标对应的像素值。另一方面，本专利技术提供了一种双目立体视觉系统，包括：双目图像采集单元、处理单元和输出单元；所述双目图像采集单元、所述输出单元分别与所述处理单元连接；所述双目图像采集单元包括镜头和双目传感器，用于获取双目图像；所述处理单元包括：图像接收模块、同步信号生成模块、图像校正模块、控制模块和通信模块；所述图像接收模块用于将获取到的双目图像的信号解析为图像场同步信号和图像行同步信号；所述图像校正模块用于根据图像场同步信号和图像行同步信号对所述双目图像进行立体校正处理；所述控制模块用于对校正后的双目图像进行特征点匹配；以及所述通信模块用于输出匹配后的图像数据。进一步，该双目立体视觉系统还包括光源控制单元，所述光源控制单元与所述处理单元连接，所述光源控制单元用于根据所述处理单元的控制发射结构光。进一步，所述立体校正模块包括：坐标地址映射模块，用于根据校正后的双目图像的坐标和标定的所述双目传感器的参数计算校正前的双目图像的坐标；缓存模块，用于读取校正前的双目图像的坐标对应的像素值；以及差值模块，用于计算校正后的双目图像的坐标对应的像素值。进一步，所述立体校正模块还包括：坐标生成模块，用于生成校正后的双目图像的坐标。本专利技术的双目立体视觉系统在获取图像的同时实时进行图像校正，校正后的图像可以直接用于特征点匹配。该双目立体视觉系统选用了FPGA平台实现，FPGA平台能够实现高速的硬件计算，可以充分利用图像处理中的并行性，使得图像获取、图像立体校正处理同时进行，提高了整个处理流程的速率，满足了实时性的要求。与现有技术相比，在该双目立体视觉系统中，在获取图像的同时实时进行图像校正，并且在特征点匹配之前进行立体校正，加快了搜索速度和匹配速度，从而加速了整个双目立体视觉过程。附图说明图1为本专利技术实施例的用于双目立体视觉系统的图像校正方法的流程图；图2为本专利技术实施例的CMOS传感器的功能模块图。图3为本专利技术实施例的用于双目立体视觉系统的图像校正方法的流程图；图4示出了本专利技术实施例的立体校正处理前后的坐标关系；图5为本专利技术实施例的图像校正方法中的基于FPGA的动态相位调整的流程图；图6为本专利技术实施例的双目立体视觉系统的功能模块图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本专利技术的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1是本专利技术实施例的用于双目立体视觉系统的图像校正方法。该图像校正方法选用了FPGA平台实现。该图像校正方法包括：获取双目立体视觉系统中的双目图像；对双目图像进行立体校正处理；以及对校正后的双目图像进行特征点匹配。本专利技术实施例的用于双目立体视觉系统的图像校正方法，选用了FPGA平台实现，FPGA平台能够实现高速的硬件计算，可以充分利用图像处理中的并行性，将图像获取、图像立体校正处理以及输出均集成进去，提高了整个处理流程的速率，满足了实时性的要求，并在提升FPGA资源的情况下能达到更高的性能参数。在现有技术中，双目立体视觉过程通常包括双目成像系统获取图像阶段(所需时间T1)、向用户发送原始图像阶段(所需时间T2)、图像校正阶段(所需时间T3)、以及特征点匹配阶段(所需时间T4)，总时长为(T1+T2+T3+T4)。与现有技术相比，在该双目立体视觉系统中，在获取图像的同时实时进行图像校正，校正后的图像可以直接用于特征点匹配，因此，双目立体视觉过程包括获取并校正图像阶段(所需时间T1)、向用户发送校正后的图像阶段(所需时间T2)、特征点匹配阶段(所需时间T4)，总时长为(T1+T2+T4)，比现有技术缩短了时长T3。其中，在获取双目立体视觉系统中的双目图像步骤中，双目图像可以通过两个CMOS传感器进行采集而获取，也可以通过单个双目传感器获取。如图2所示，将CMOS的时钟差分信号(CLK_p/n)、同步差分信号(SYNC_p/n)、N路数据差分信号(RX0_p/n～RXN_p/n)接入FPGA，内部差分信号缓冲器将差分信号转换为单端信号，时钟单端信号经过不同的时钟缓冲器实现像素时钟(CLK)以及4倍频时钟(CLKx4)的输出，用于数据解串，同步差分信号以及数据差分信号经过解串后输出8位的并行数据，这些数据经过解码后可得到行、场同本文档来自技高网...

【技术保护点】
1.一种用于双目立体视觉系统的图像校正方法，其特征在于，该图像校正方法包括以下步骤：获取双目立体视觉系统中的双目图像；所述双目图像进行立体校正处理；以及对校正后的双目图像进行特征点匹配。

【技术特征摘要】
1.一种用于双目立体视觉系统的图像校正方法，其特征在于，该图像校正方法包括以下步骤：获取双目立体视觉系统中的双目图像；所述双目图像进行立体校正处理；以及对校正后的双目图像进行特征点匹配。2.根据权利要求1所述的图像校正方法，其特征在于，在获取双目立体视觉系统中的双目图像之后，对所述双目图像进行立体校正处理之前，还包括：根据双目标定方法，对所述双目立体视觉系统中的双目传感器的参数进行标定。3.根据权利要求2所述的图像校正方法，其特征在于，对所述双目图像进行立体校正处理的步骤包括：将获取到的所述双目图像的信号解析为双目图像的场同步信号和行有效信号；根据所述场同步信号和所述行有效信号，获得校正后的双目图像的坐标；根据所述校正后的双目图像的坐标和标定后的所述双目传感器的参数，获得校正前的双目图像的坐标；读取所述校正前的双目图像的坐标对应的校正前像素值；以及根据读取的所述校正前像素值，计算所述校正后的双目图像的坐标对应的校正后像素值。4.根据权利要求3所述的图像校正方法，其特征在于，所述根据所述校正后的双目图像的坐标和所标定的所述双目传感器的参数，获得校正前的双目图像的坐标的步骤包括：根据标定后的所述双目传感器的参数，将所述校正后的双目图像的坐标转换为指定相机坐标下的二维点坐标；以及根据预获取的旋转变换量或平移变换量，将指定相机坐标系下的二维点坐标转换到像素坐标系。5.根据权利要求4所述的图像校正方法，其特征在于，在所述将指定相机坐标系下的二维点坐标转换到像素坐标系之前，该方法还包括：计算所述指定相机坐标系与所述像素坐标系的空间位置关系，获取...

【专利技术属性】
技术研发人员：杨山杉，吕聪奕，赖银萍，刘云辉，
申请(专利权)人：深慧视深圳科技有限公司，
类型：发明
国别省市：广东,44