多视连续光场影像室内场景稠密点云准确提取方法及系统技术方案

本发明专利技术涉及图像处理技术领域，且公开了多视连续光场影像室内场景稠密点云准确提取方法及系统，本申请针对多视连续光场影像进行整体三维重建，且引入分区和关键帧的理念，设计从局部到整体的递阶式三维重建框架，以快速实现局部精细化重建和整体优化。同时，针对同一分区内光场影像或者不同分区的关键帧，提出由稀疏到稠密的三维重建策略，准确计算光场影像的位姿，实现整体三维重建。实现整体三维重建。实现整体三维重建。

【技术实现步骤摘要】
多视连续光场影像室内场景稠密点云准确提取方法及系统


[0001]本专利技术涉及图像处理
，具体为多视连续光场影像室内场景稠密点云准确提取方法及系统。

技术介绍

[0002]光场相机视野较小，重建室内场景时需要多次拍摄。一方面，由于每张光场影像都包含大数据量的多视角信息，同时处理所有光场影像速度很慢，且容易出现重建不稳定，甚至重建失败；另一方面，多视光场影像间存在多维几何信息，包括每张光场影像的多视角信息、从每张光场影像中提取的深度信息以及不同视光场影像间的几何约束关系，为室内三维重建提供了更丰富的数据源。但是，目前还没有针对利用多视连续光场影像进行室内稠密三维重建，进一步提取场景密集点云的算法。

技术实现思路

[0003]本专利技术主要是提供多视连续光场影像室内场景稠密点云准确提取方法及系统。
[0004]为了解决上述技术问题，本专利技术采用如下技术方案：多视连续光场影像室内场景稠密点云准确提取方法，包括：基于光场影像之间的关联度进行分区处理，并输出关键帧影像；对每个分区内光场影像进行分区内稠密三维重建，获取分区内所有光场影像在对应局部坐标系下的初始位姿；基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计，获取所有关键帧影像在整体坐标系下的关键帧影像位姿；基于所有关键帧影像在整体坐标系下的关键帧影像位姿，将所有分区内光场影像在局部坐标系下的初始位姿调整至整体坐标系下，实现整体稠密三维重建。
[0005]进一步，所述基于光场影像之间的关联度进行分区处理，并输出关键帧影像，包括：采集光场影像，取第一张光场影像的坐标系为所有光场影像的整体坐标系，并确定为关键帧影像；按照光场影像采集顺序，计算新获取的光场影像与所述第一张光场影像的关联度得分，并将所述关联度得分与预设得分阈值进行对比；若低于预设得分阈值，则取所述新获取的光场影像的前一帧影像为关键帧影像；将两个所述关键帧影像内的光场影像设为一个分区；对于新获取的影像，重复执行分区，输出所有关键帧影像。
[0006]进一步，所述对每个分区内光场影像进行分区内稠密三维重建，获取分区内所有光场影像在对应局部坐标系下的初始位姿，包括：取每个分区的第一张光场影像所在坐标系为该分区的局部坐标系；基于每张光场影像提取特征点，并将光场影像两两进行特征匹配和匹配过滤，得
到不同光场影像间的正确匹配；对分区内的所有光场影像执行光束法平差，获取到分区内所有光场影像在对应局部坐标系下的初始位姿；进一步进行稠密优化，提高初始位姿估计精度，完成分区内稠密三维重建，并输出优化后的分区内所有光场影像在局部坐标系下的初始位姿。
[0007]进一步，所述基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计，获取所有关键帧影像在整体坐标系下的关键帧影像位姿，包括；基于关键帧影像中提取的特征点，对所有关键帧影像两两进行特征匹配和匹配过滤，得到不同关键帧影像间的正确匹配；基于关键帧影像间的匹配进行光束法平差，得到所有关键帧影像在整体坐标系下的关键帧影像位姿；进一步进行稠密优化，提高所有关键帧影像位姿的估计精度，并输出优化后的所有关键帧影像在整体坐标系下的关键帧影像位姿。
[0008]多视连续光场影像室内场景稠密点云准确提取系统，包括：分区模块，用于基于光场影像之间的关联度进行分区处理，并输出关键帧影像；初始位姿获取模块，用于对每个分区内光场影像进行分区内稠密三维重建，获取分区内所有光场影像在对应局部坐标系下的初始位姿；关键帧影像位姿获取模块，用于基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计，获取所有关键帧影像在整体坐标系下的关键帧影像位姿；分区融合模块，用于基于所有关键帧影像在整体坐标系下的关键帧影像位姿，将所有分区内光场影像在局部坐标系下的初始位姿调整至整体坐标系下，实现整体稠密三维重建。
[0009]进一步，所述分区模块，包括：首关键帧影像定义子模块，用于采集光场影像，取第一张光场影像的坐标系为所有光场影像的整体坐标系，并确定为关键帧影像；得分对比子模块，用于按照光场影像采集顺序，计算新获取的光场影像与所述第一张光场影像的关联度得分，并将所述关联度得分与预设得分阈值进行对比；次关键帧影像定义子模块，用于若低于预设得分阈值，则取所述新获取的光场影像的前一帧影像为关键帧影像；分区定义子模块，用于将两个所述关键帧影像内的光场影像设为一个分区；重复执行子模块，用于对于新获取的影像，重复执行分区，输出所有关键帧影像。
[0010]进一步，所述初始位姿获取模块，包括：局部坐标系确定子模块，用于取每个分区的第一张光场影像所在坐标系为该分区的局部坐标系；局部匹配子模块，用于基于每张光场影像提取特征点，并将光场影像两两进行特征匹配和匹配过滤，得到不同光场影像间的正确匹配；初始位姿获取子模块，用于对分区内的所有光场影像执行光束法平差，获取到分区内所有光场影像在对应局部坐标系下的初始位姿；局部优化子模块，用于进一步进行稠密优化，提高初始位姿估计精度，完成分区内
稠密三维重建，并输出优化后的分区内所有光场影像在局部坐标系下的初始位姿。
[0011]进一步，所述关键帧影像位姿获取模块，包括：整体匹配子模块，用于基于关键帧影像中提取的特征点，对所有关键帧影像两两进行特征匹配和匹配过滤，得到不同关键帧影像间的正确匹配；关键帧影像位姿获取子模块，用于基于关键帧影像间的匹配进行光束法平差，得到所有关键帧影像在整体坐标系下的关键帧影像位姿；整体优化子模块，用于进一步进行稠密优化，提高所有关键帧影像位姿的估计精度，并输出优化后的所有关键帧影像在整体坐标系下的关键帧影像位姿。
[0012]有益效果：本申请针对多视连续光场影像进行整体三维重建，且引入分区和关键帧的理念，设计从局部到整体的递阶式三维重建框架，以快速实现局部精细化重建和整体优化。同时，针对同一分区内光场影像或者不同分区的关键帧，提出由稀疏到稠密的三维重建策略，准确计算光场影像的位姿，实现整体三维重建。
附图说明
[0013]图1为本专利技术的多视连续光场影像室内场景稠密点云准确提取方法流程图；图2为本专利技术S1的流程图；图3为本专利技术S2的流程图；图4为本专利技术S3的流程图；图5为本专利技术的多视连续光场影像室内场景稠密点云准确提取系统框图；图6为递阶式三维重建框架图；图7为同一空间点在不同视角光场影像和投影位置变化示意图。
具体实施方式
[0014]以下将结合实施例对本专利技术涉及的多视连续光场影像室内场景稠密点云准确提取方法及系统技术方案进一步详细说明。
[0015]如图1所示，本实施例的多视连续光场影像室内场景稠密点云准确提取方法，其特征在于，包括：S1~S4；S1、基于光场影像之间的关联度进行分区处理，并输出关键帧影像；S2、对每个分区内光场影像进行分区内稠密三维重建，获取分区内所有光场影像在对应局部坐标系下的初始位姿；S3、基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计，获取所有关键帧影像在整体坐标系下的关键帧影像位姿；S4、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.多视连续光场影像室内场景稠密点云准确提取方法，其特征在于，包括：基于光场影像之间的关联度进行分区处理，并输出关键帧影像；对每个分区内光场影像进行分区内稠密三维重建，获取分区内所有光场影像在对应局部坐标系下的初始位姿；基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计，获取所有关键帧影像在整体坐标系下的关键帧影像位姿；基于所有关键帧影像在整体坐标系下的关键帧影像位姿，将所有分区内光场影像在局部坐标系下的初始位姿调整至整体坐标系下，实现整体稠密三维重建。2.根据权利要求1的方法，其特征在于，所述基于光场影像之间的关联度进行分区处理，并输出关键帧影像，包括：采集光场影像，取第一张光场影像的坐标系为所有光场影像的整体坐标系，并确定为关键帧影像；按照光场影像采集顺序，计算新获取的光场影像与所述第一张光场影像的关联度得分，并将所述关联度得分与预设得分阈值进行对比；若低于预设得分阈值，则取所述新获取的光场影像的前一帧影像为关键帧影像；将两个所述关键帧影像内的光场影像设为一个分区；对于新获取的影像，重复执行分区，输出所有关键帧影像。3.根据权利要求1的方法，其特征在于，所述对每个分区内光场影像进行分区内稠密三维重建，获取分区内所有光场影像在对应局部坐标系下的初始位姿，包括：取每个分区的第一张光场影像所在坐标系为该分区的局部坐标系；基于每张光场影像提取特征点，并将光场影像两两进行特征匹配和匹配过滤，得到不同光场影像间的正确匹配；对分区内的所有光场影像执行光束法平差，获取到分区内所有光场影像在对应局部坐标系下的初始位姿；进一步进行稠密优化，提高初始位姿估计精度，完成分区内稠密三维重建，并输出优化后的分区内所有光场影像在局部坐标系下的初始位姿。4.根据权利要求1的方法，其特征在于，所述基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计，获取所有关键帧影像在整体坐标系下的关键帧影像位姿，包括；基于关键帧影像中提取的特征点，对所有关键帧影像两两进行特征匹配和匹配过滤，得到不同关键帧影像间的正确匹配；基于关键帧影像间的匹配进行光束法平差，得到所有关键帧影像在整体坐标系下的关键帧影像位姿；进一步进行稠密优化，提高所有关键帧影像位姿的估计精度，并输出优化后的所有关键帧影像在整体坐标系下的关键帧影像位姿。5.多视连续光场影像室内场景稠密点云准确提取系统，其特征在于，包括：分区模块，用于基于光场...

【专利技术属性】
技术研发人员：刘玉轩，孙钰珊，许彪，艾海滨，莫凡，王保前，韩晓霞，
申请(专利权)人：中国测绘科学研究院，
类型：发明
国别省市：