【技术实现步骤摘要】
本专利技术涉及计算机视觉与图像处理，具体地涉及一种构建双目视觉的rgb-ir图像对数据集的方法及处理器。
技术介绍
1、在计算机视觉
，经常需要用到大量双目视觉图像。双目视觉是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，以获取物体几何信息。
2、在现有技术中主要采用以下两种方式获取双目视觉图像。方式一、选取单张rgb图像作为参照，对该单张rgb图像进行放射变换，生成另外一张rgb图像，两张rgb图像组成一组双目视觉图像。方式二、对同一场景不同时刻不同角度进行取样。
3、但是上述两种方式都有其局限性。方式一的问题是：仿射变换缺少景深信息，导致在空间配准时会出现大量重影。方式二的问题是：不同时刻不同角度的场景中会有移动的物体，这些物体在场景中的绝对位置发生了改变，无法被视为双目视觉的场景。
技术实现思路
1、本专利技术实施例的目的是提供一种构建双目视觉的rgb-ir图像对数据集的方法及处理器，数据构建成本低，数据集的图片质量高。
2、为了实现上述目的，本专利技术实施例提供一种构建双目视觉的rgb-ir图像对数据集的方法，该方法包括：
3、获取第一rgb图像和第二rgb图像；
4、基于双目立体匹配算法，对所述第一rgb图像和所述第二rgb图像进行处理，以确定单应性矩阵，所述单应性矩阵用于保存景深信息；
5、将所述第二rgb图像输入图像
6、将所述第一rgb图像、所述ir图像、以及所述单应性矩阵保存至所述rgb-ir图像对数据集。
7、可选的，所述rgb-ir图像对数据集还包括rgb-ir图像，所述rgb-ir图像是通过以下方式获得的：
8、根据所述第一rgb图像以及所述单应性矩阵，生成第三rgb图像，所述第三rgb图像与所述第二rgb图像对齐；
9、将所述第三rgb图像与所述ir图像融合，生成rgb-ir图像；以及
10、将所述rgb-ir图像保存至所述rgb-ir图像对数据集。
11、可选的，使用双机位rgb传感器获取所述第一rgb图像和所述第二rgb图像，其中所述第一rgb图像和所述第二rgb图像是在同一时刻获取的。
12、可选的，所述双目立体匹配算法包括：
13、分别提取所述第一rgb图像和所述第二rgb图像中的关键点，并根据所述关键点确定对应的关键点描述符，其中，所述关键点描述符用于描述图像中的局部特征；
14、根据所述关键点描述符，确定所述第一rgb图像和所述第二rgb图像中对应的关键点对；以及
15、根据所述关键点对，构造线性方程组，并根据所述线性方程组，确定所述单应性矩阵。
16、可选的，所述关键点以及所述关键点描述符是通过sift、surf、以及orb中的一种或多种特征检测算法确定的。
17、可选的，所述第一rgb图像、以及第二rgb图像中对应的关键点对是通过暴力匹配器或者快速最近邻搜索库匹配器确定的。
18、可选的，所述根据所述关键点对，构造线性方程组，根据所述线性方程组，确定所述单应性矩阵包括：
19、所述关键点对包括第一关键点以及第二关键点，其中，所述第一关键点与所述第一rgb图像对应，所述第二关键点与所述第二rgb图像对应；
20、选取至少4对所述关键点对，并将其中每一对关键点对包括的第一关键点和第二关键点带入下述线性方程，构建线性方程组；
21、
22、其中，表示3行3列的单应性矩阵，对应的元素值恒为1；
23、对所述线性方程组进行求解，确定单应性矩阵的元素值。
24、可选的，所述对所述线性方程组进行求解，确定单应性矩阵的元素值包括：
25、通过奇异值分解对所述线性方程组进行求解，初步确定所述单应性矩阵；以及根据随机抽样一致性算法对所述单应性矩阵进行验证和优化，以修正所述单应性矩阵的元素值。
26、可选的，所述图像处理模型为循环生成对抗网络模型。
27、可选的，所述将第二rgb图像输入图像处理模型进行风格变换，以获取与第二rgb图像对应的第二ir图像包括：
28、所述循环生成对抗网络模型的第一生成器的编码器对输入的第二rgb图像进行处理，得到图像特征，所述图像特征使用第一特征向量进行保存；
29、所述第一生成器的转换器将所述第一特征向量转换为第二特征向量；
30、所述第一生成器的解码器将所述第二特征向量重建，生成第二ir图像；
31、其中，所述第一生成器的编码器使用卷积神经网络对输入的第二rgb图像进行处理，得到图像特征。
32、可选的，所述循环生成对抗网络模型是通过以下方式确定的：
33、选取多组rgb图像与对应的ir图像数据对构造训练数据，其中所述rgb图像与对应的ir图像数据对包括源rgb图像和源ir图像，且所述源ir图像与源rgb图像对齐；
34、构建循环生成对抗网络模型，并初始化模型参数；所述循环生成对抗网络模型包括第一生成器、第二生成器、第一判别器，以及第二判别器，用于实现rgb图像和ir图像之间的风格转换；
35、所述第一生成器用于将所述源rgb图像转换为目标ir图像，所述第二生成器用于将所述目标ir图像转换为目标rgb图像；
36、所述第一判别器用于判断第一生成器生成的目标ir图像与所述源ir图像是否相似；所述第二判别器用于判断所述第二生成器生成的目标rgb图像与源rgb图像是否相似；
37、对所述训练数据进行训练，得到目标循环生成对抗网络模型。
38、可选的，在训练过程中，使用反向传播算法和梯度下降更生成对抗网络模型的参数，以最小化损失函数；
39、其中，所述损失函数为循环一致性损失。
40、本专利技术实施例还提供一种处理器，用于运行程序，其中，所述程序被运行时用于执行该构建双目视觉的rgb-ir图像对数据集的方法。
41、本申请提出的构造方法省去了点云构建景深信息以及双目视觉图像标定的部分，直接通过低成本的rgb-rgb数据采样以及计算机视觉算法完成了对双目视觉图像关键点匹配以及景深信息的计算，再经由神经网络将其中一张rgb图像生成为ir图像，同时通过计算单应性矩阵来保存景深信息，以极低成本完成了具有景深信息的rgb-ir图像对数据集构造，易于实施和应用。
42、本专利技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
本文档来自技高网...【技术保护点】
1.一种构建双目视觉的RGB-IR图像对数据集的方法，其特征在于，
2.根据权利要求1所述的方法，其特征在于，所述RGB-IR图像对数据集还包括RGB-IR图像，所述RGB-IR图像是通过以下方式获得的：
3.根据权利要求1所述的方法，其特征在于，使用双机位RGB传感器获取所述第一RGB图像和所述第二RGB图像，其中所述第一RGB图像和所述第二RGB图像是在同一时刻获取的。
4.根据权利要求1所述的方法，其特征在于，所述双目立体匹配算法包括：
5.根据权利要求4所述的方法，其特征在于，所述关键点以及所述关键点描述符是通过SIFT、SURF、以及ORB中的一种或多种特征检测算法确定的。
6.根据权利要求4所述的方法，其特征在于，所述第一RGB图像、以及第二RGB图像中对应的关键点对是通过暴力匹配器或者快速最近邻搜索库匹配器确定的。
7.根据权利要求4所述的方法，其特征在于，所述根据所述关键点对，构造线性方程组，根据所述线性方程组，确定所述单应性矩阵包括：
8.根据权利要求7所述的方法，其特征在于，所
9.根据权利要求1所述的方法，其特征在于，所述图像处理模型为循环生成对抗网络模型。
10.根据权利要求9所述的方法，其特征在于，所述将第二RGB图像输入图像处理模型进行风格变换，以获取与第二RGB图像对应的第二IR图像包括：
11.根据权利要求9所述的方法，其特征在于，所述循环生成对抗网络模型是通过以下方式确定的：
12.根据权利要求11所述的方法，其特征在于，在训练过程中，使用反向传播算法和梯度下降更生成对抗网络模型的参数，以最小化损失函数；
13.一种处理器，其特征在于，用于运行程序，其中，所述程序被运行时用于执行：如权利要求1-12任意一项所述的方法。
...【技术特征摘要】
1.一种构建双目视觉的rgb-ir图像对数据集的方法，其特征在于，
2.根据权利要求1所述的方法，其特征在于，所述rgb-ir图像对数据集还包括rgb-ir图像，所述rgb-ir图像是通过以下方式获得的：
3.根据权利要求1所述的方法，其特征在于，使用双机位rgb传感器获取所述第一rgb图像和所述第二rgb图像，其中所述第一rgb图像和所述第二rgb图像是在同一时刻获取的。
4.根据权利要求1所述的方法，其特征在于，所述双目立体匹配算法包括：
5.根据权利要求4所述的方法，其特征在于，所述关键点以及所述关键点描述符是通过sift、surf、以及orb中的一种或多种特征检测算法确定的。
6.根据权利要求4所述的方法，其特征在于，所述第一rgb图像、以及第二rgb图像中对应的关键点对是通过暴力匹配器或者快速最近邻搜索库匹配器确定的。
7.根据权利要求4所述的方...
【专利技术属性】
技术研发人员：肖勤勇，
申请(专利权)人：阿米华晟数据科技江苏有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。