本申请公开了一种基于多模态摄像头的立体影像生成方法及装置，其方法包括获取至少两种摄像头的二维图像，并根据二维图像得到每种摄像头对应的光谱数据；接着基于每种摄像头对应的光谱数据计算出每种摄像头对应的角点坐标，并根据该角点坐标生成至少两种摄像头的第一点云数据；接着根据至少两种摄像头的第一点云数据以及光谱数据，生成至少两种摄像头的第二点云数据，并根据该至少两种摄像头的第二点云数据生成三维图像。通过获取多种摄像头各自对应的光谱数据，并根据该光谱数据生成点云数据，由于点云数据中包含每一光谱的定位信息，可使根据点云数据生成的三维图像完整性更好，且成像效果更加显著。且成像效果更加显著。且成像效果更加显著。
【技术实现步骤摘要】
一种基于多模态摄像头的立体影像生成方法及装置
[0001]本申请属于图像处理
，特别的涉及一种基于多模态摄像头的立体影像生成方法及装置。
技术介绍
[0002]重建三维图像的方法可有多种，作为最常见的一种则是通过二维图像重建三维图像，该方式可根据可见光图像叠加融合红外光图像，构建出双波段的三维图像。
[0003]但通过该二维图像重建出的三维图像，仅可体现出光谱的纹理特征，无法实现对于光谱的位置判断，易对三维图像的成像效果带来影响。
技术实现思路
[0004]本申请为解决上述提到的无法实现对于光谱的位置判断，易对三维图像的成像效果带来影响等问题，提出一种基于多模态摄像头的立体影像生成方法及装置，其具体方案如下：
[0005]第一方面，本申请实施例提供了一种基于多模态摄像头的立体影像生成方法，包括：
[0006]获取至少两种摄像头的二维图像，并根据至少两种摄像头的二维图像得到每种摄像头对应的光谱数据；
[0007]基于每种摄像头对应的光谱数据计算出每种摄像头对应的角点坐标，并根据每种摄像头对应的角点坐标生成至少两种摄像头的第一点云数据；
[0008]根据至少两种摄像头的第一点云数据以及每种摄像头对应的光谱数据，生成至少两种摄像头的第二点云数据；
[0009]根据至少两种摄像头的第二点云数据生成三维图像。
[0010]在第一方面的一种可选方案中，在根据至少两种摄像头的二维图像得到每种摄像头对应的光谱数据之前，还包括：
[0011]获取至少两种摄像头的物理参数；
[0012]根据至少两种摄像头的二维图像得到每种摄像头对应的光谱数据，包括：
[0013]根据至少两种摄像头的二维图像以及至少两种摄像头的物理参数，得到每种摄像头对应的光谱数据。
[0014]在第一方面的又一种可选方案中，至少两种摄像头包括可见光摄像头、近红外光摄像头以及红外光摄像头；
[0015]获取至少两种摄像头的二维图像，包括：
[0016]获取可见光摄像头在预设范围内的可见光二维图像；和
[0017]获取近红外光摄像头在预设范围内的近红外光二维图像；和
[0018]获取红外光摄像头在预设范围内的红外光二维图像。
[0019]在第一方面的又一种可选方案中，获取至少两种摄像头的物理参数，包括：
[0020]对可见光摄像头进行标定处理，得到可见光摄像头的物理参数；和
[0021]对近红外光摄像头进行标定处理，得到近红外光摄像头的物理参数；和
[0022]对红外光摄像头进行标定处理，得到红外光摄像头的物理参数。
[0023]在第一方面的又一种可选方案中，根据至少两种摄像头的二维图像以及至少两种摄像头的物理参数，得到每种摄像头对应的光谱数据，包括：
[0024]基于可见光摄像头的可见光二维图像对近红外光摄像头的近红外光二维图像以及红外光摄像头的红外光二维图像进行匹配，得到可见光二维图像的匹配结果；
[0025]根据可见光二维图像的匹配结果以及可见光摄像头的物理参数，得到可见光摄像头的光谱数据；和
[0026]基于近红外光摄像头的近红外光二维图像对红外光摄像头的红外光二维图像以及可见光摄像头的可见光二维图像进行匹配，得到近红外光二维图像的匹配结果；
[0027]根据近红外光二维图像的匹配结果以及近红外光摄像头的物理参数，得到近红外光摄像头的光谱数据；和
[0028]基于红外光摄像头的红外光二维图像对可见光摄像头的可见光二维图像以及近红外光摄像头的近红外光二维图像进行匹配，得到红外光二维图像的匹配结果；
[0029]根据红外光二维图像的匹配结果以及红外光摄像头的物理参数，得到红外光摄像头的光谱数据。
[0030]在第一方面的又一种可选方案中，根据至少两种摄像头的第一点云数据以及每种摄像头对应的光谱数据，生成至少两种摄像头的第二点云数据，包括：
[0031]对每种摄像头对应的光谱数据进行极坐标计算，得到每种摄像头对应的深度数据；
[0032]根据至少两种摄像头的第一点云数据以及每种摄像头对应的深度数据，生成至少两种摄像头的第二点云数据。
[0033]在第一方面的又一种可选方案中，根据至少两种摄像头的第二点云数据生成三维图像，包括：
[0034]基于至少两种摄像头的第二点云数据对可见光摄像头的可见光二维图像以及红外光摄像头的红外光二维图像进行匹配，得到至少两种摄像头的第三点云数据；
[0035]根据至少两种摄像头的第三点云数据生成三维图像。
[0036]第二方面，本申请实施例提供了一种基于多模态摄像头的立体影像生成装置，包括：
[0037]第一处理模块，用于获取至少两种摄像头的二维图像，并根据至少两种摄像头的二维图像得到每种摄像头对应的光谱数据；
[0038]第二处理模块，用于基于每种摄像头对应的光谱数据计算出每种摄像头对应的角点坐标，并根据每种摄像头对应的角点坐标生成至少两种摄像头的第一点云数据；
[0039]第三处理模块，用于根据至少两种摄像头的第一点云数据以及每种摄像头对应的光谱数据，生成至少两种摄像头的第二点云数据；
[0040]图像生成模块，用于根据至少两种摄像头的第二点云数据生成三维图像。
[0041]在第二方面的一种可选方案中，装置还包括：
[0042]获取模块，用于在根据至少两种摄像头的二维图像得到每种摄像头对应的光谱数
据之前，获取至少两种摄像头的物理参数；
[0043]第一处理模块，具体用于：
[0044]根据至少两种摄像头的二维图像以及至少两种摄像头的物理参数，得到每种摄像头对应的光谱数据。
[0045]在第二方面的又一种可选方案中，至少两种摄像头包括可见光摄像头、近红外光摄像头以及红外光摄像头；
[0046]第一处理模块包括：
[0047]第一采集单元，用于获取可见光摄像头在预设范围内的可见光二维图像；和
[0048]第二采集单元，用于获取近红外光摄像头在预设范围内的近红外光二维图像；和
[0049]第三采集单元，用于获取红外光摄像头在预设范围内的红外光二维图像。
[0050]在第二方面的又一种可选方案中，获取模块包括：
[0051]第一获取单元，用于对可见光摄像头进行标定处理，得到可见光摄像头的物理参数；和
[0052]第二获取单元，用于对近红外光摄像头进行标定处理，得到近红外光摄像头的物理参数；和
[0053]第三获取单元，用于对红外光摄像头进行标定处理，得到红外光摄像头的物理参数。
[0054]在第二方面的又一种可选方案中，第一处理模块还包括：
[0055]第一匹配单元，用于基于可见光摄像头的可见光二维图像对近红外光摄像头的近红外光二维图像以及红外光摄像头的红外光二维图像进行匹配，得到可见光二维图像的匹配结果；
[0056]第一处理本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多模态摄像头的立体影像生成方法，其特征在于，包括：获取至少两种摄像头的二维图像，并根据所述至少两种摄像头的二维图像得到每种摄像头对应的光谱数据；基于每种摄像头对应的所述光谱数据计算出每种摄像头对应的角点坐标，并根据每种摄像头对应的所述角点坐标生成所述至少两种摄像头的第一点云数据；根据所述至少两种摄像头的第一点云数据以及每种摄像头对应的所述光谱数据，生成所述至少两种摄像头的第二点云数据；根据所述至少两种摄像头的第二点云数据生成三维图像。2.根据权利要求1所述的方法，其特征在于，在所述根据所述至少两种摄像头的二维图像得到每种摄像头对应的光谱数据之前，还包括：获取至少两种摄像头的物理参数；所述根据所述至少两种摄像头的二维图像得到每种摄像头对应的光谱数据，包括：根据所述至少两种摄像头的二维图像以及所述至少两种摄像头的物理参数，得到每种摄像头对应的光谱数据。3.根据权利要求2所述的方法，其特征在于，所述至少两种摄像头包括可见光、近红外摄像头、短波红外摄像头、中波红外摄像头以及长波红外摄像头。4.根据权利要求3所述的方法，其特征在于，所述获取至少两种摄像头的物理参数，包括：对所述可见光摄像头、近红外摄像头、短波红外摄像头、中波红外摄像头以及长波红外摄像头进行标定处理，得到所述摄像头的物理参数。5.根据权利要求4所述的方法，其特征在于，所述根据所述至少两种摄像头的二维图像以及所述至少两种摄像头的物理参数，得到每种摄像头对应的光谱数据，包括：基于可见光、近红外、短波红外、中波红外以及长波红外二维图像中的至少两种二维图像进行匹配，得到匹配结果；根据所述匹配结果以及所述摄像头的物理参数，得到光谱数据。6.根据权利要求1所述的方法，其特征在于，所述根据所述至少两种摄像头的第一点云数据以及每种摄像...
【专利技术属性】
技术研发人员：黄立，黄晟，周宇，
申请(专利权)人：武汉衷华脑机融合科技发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。