【技术实现步骤摘要】
本专利技术涉及一种基于事件相机的非合作目标三维重建方法，属于空间态势感知任务领域。
技术介绍
1、随着航天器自动化与智能化程度不断提高，自主在轨服务受到了各航天大国的重视。自主在轨服务是指通过空间智能服务航天器来实现“延长卫星、平台、空间站附属舱和空间运载器寿命和能力”的空间任务，其具体形式包括空间装配、在轨加注、辅助调整轨道等。对非合作目标的三维重建可获得关键目标点在服务飞行器本体坐标系下的三维坐标，为控制系统提供输入，是自主在轨服务的前提，因此对其研究有重要的意义。传统基于图像的三维重建技术已经较为成熟，当前对非合作目标三维重建的主要难点是运动模糊与高动态范围。本专利技术通过引入一种新的传感器——事件相机，解决运动模糊与高动态范围的问题。
2、事件相机是近年来逐步兴起的一种新型仿生传感器，与传统相机相比，其在获取视觉信息的方式上发生了转变。事件相机并不是所有像元按时间同步触发，而是每个像元按事件异步触发。触发事件为照射在像元上光亮度的变化，如果亮度增量或减量高于某个阈值，则输出事件。事件相机的优点是：超高的时间分辨率(微秒级)和极低的延迟(亚毫秒级)，高动态范围(120db对比传统相机的60db)，低功耗以及在运动目标占比成像面积较少时的低通信带宽。因此针对高速和高动态范围的应用场景，事件相机具有很大的潜力。
3、尽管事件相机从2008年才开始商用，但近些年有关事件相机的大量学术研究以及三星和prophesee等公司近期的大规模生产计划都展现了其潜在的应用价值。由于事件相机的工作方式与传统相机差异巨大
4、2021年3月23日，搭载有inivation公司事件相机的立方星由电子号火箭发射升空。该任务由西悉尼大学、新南威尔士大学堪培拉航天局和澳大利亚皇家空军合作完成，是第一个入轨的事件相机试验任务，用于验证文基于事件相机的星敏感器算法。
5、在工业界与国外航天界积极探索事件相机应用的阶段，我国航天界有必要及时跟进探索其应用场景。
技术实现思路
1、本专利技术要解决的技术问题是：本专利技术提供一种基于事件相机的非合作目标三维重建方法，通过采用新型传感器——事件相机，从成像原理上解决空间非合作目标三维重建中的高动态范围与运动模糊问题。
2、本专利技术所采用的技术方案是：一种基于事件相机的非合作目标三维重建方法，包括：
3、使用深度学习方法重建目标的强度图像；
4、采用增量式运动恢复结构方法估计相机内外参数和稀疏点云；
5、根据相机内外参数和稀疏点云，基于patchmatch方法重建稠密点云；
6、基于拉普拉斯平滑法重建三维网格，完成三维重建。
7、进一步的，所述根据深度学习方法重建目标的强度图像，包括：
8、采用e2vid神经网络，将目标的事件流数据重建为强度图像；
9、e2vid的输入是连续的事件流，输出是归一化像素值的图像序列；
10、e2vid神经网络使用按事件数量创建事件窗口，每个事件窗口包含固定数量的7个事件；e2vid神经网络的重建功能由循环卷积神经网络实现，每个事件窗口被转换为3d事件张量，输入到循环卷积神经网络中；对于每个新的事件窗口，e2vid神经网络使用上一个状态生成新图像，并更新当前状态。
11、进一步的，所述采用增量式运动恢复结构方法估计相机内外参数和稀疏点云，包括：
12、s2.1、进行初始化：选择两幅图像作为初始图像对，通过特征检测与匹配，估计两幅图像之间的相对相机姿态；
13、s2.2、增量添加图像：在已有图像对的基础上，逐步添加新的图像，对每幅新添加的图像，通过特征匹配，寻找与已有图像之间的匹配点，估计新图像与已有图像之间的相对相机姿态；
14、s2.3、进行全局优化：在添加新图像后，通过光束平差法优化所有相机的参数和三维点的位置；
15、s2.4、重复s2.2与s2.3，直到所有图像都被处理。
16、进一步的，所述根据相机内外参数和稀疏点云，基于patchmatch方法重建稠密点云，包括：
17、s3.1、初始化深度图和视角图：根据相机内外参数和稀疏点云，采用插值的方法对每一个像素初始化一个深度值和一个相机视角；
18、s3.2、传播：每个像素从其邻居像素复制深度值和视角信息；
19、s3.3、随机搜索：每个像素在深度和视角空间中进行随机搜索，进行匹配；
20、s3.4、更新深度图和视角图：重复s3.2与s3.3，在每次迭代结束后，根据新的匹配结果更新深度图和视角图，直到深度图和视角图收敛，或者达到预设的最大迭代次数；
21、s3.5、进行后处理：采用深度图滤波和融合方法，消除噪声和不一致性，生成最终的稠密点云。
22、进一步的，所述基于拉普拉斯平滑法重建三维网格，完成三维重建，包括：
23、s4.1、进行数据预处理：对稠密点云数据进行预处理，包括去除噪声、平滑处理；
24、s4.2、进行表面重建：采用贪婪投影三角化算法对预处理后的点云进行表面重建，生成初始的网格模型；
25、s4.3、进行网格优化：采用拉普拉斯平滑法对初始网格模型进行优化，通过计算每个顶点的邻域内顶点的平均位置，并将其移动到该位置，实现网格的平滑处理；
26、s4.4、进行后处理：对优化后的网格进行法线计算和纹理映射，生成最终的网格模型。
27、一种基于事件相机的非合作目标三维重建系统，包括：
28、第一模块，使用深度学习方法重建目标的强度图像；
29、第二模块，采用增量式运动恢复结构方法估计相机内外参数和稀疏点云；
30、第三模块，根据相机内外参数和稀疏点云，基于patchmatch方法重建稠密点云；
31、第四模块，基于拉普拉斯平滑法重建三维网格，完成三维重建。
32、本专利技术与现有技术相比的优点在于：
33、本专利技术提供基于事件相机针对空间非合作目标三维重建的方法，在光学暗室开展地面验证实验，实验结果表明提出的方法在高动态范围与高速运动的场景下，效果明显优于基于传统相机的三维稠密重建算法。
本文档来自技高网...【技术保护点】
1.一种基于事件相机的非合作目标三维重建方法，其特征在于，包括：
2.根据权利要求1所述的一种基于事件相机的非合作目标三维重建方法，其特征在于，所述根据深度学习方法重建目标的强度图像，包括：
3.根据权利要求1所述的一种基于事件相机的非合作目标三维重建方法，其特征在于，所述采用增量式运动恢复结构方法估计相机内外参数和稀疏点云，包括：
4.根据权利要求3所述的一种基于事件相机的非合作目标三维重建方法，其特征在于，所述根据相机内外参数和稀疏点云，基于PatchMatch方法重建稠密点云，包括：
5.根据权利要求4所述的一种基于事件相机的非合作目标三维重建方法，其特征在于，所述基于拉普拉斯平滑法重建三维网格，完成三维重建，包括：
6.一种基于事件相机的非合作目标三维重建系统，其特征在于，包括：
7.根据权利要求6所述的一种基于事件相机的非合作目标三维重建系统，其特征在于，所述根据深度学习方法重建目标的强度图像，包括：
8.根据权利要求6所述的一种基于事件相机的非合作目标三维重建系统，其特征在于，所述采用
9.根据权利要求8所述的一种基于事件相机的非合作目标三维重建系统，其特征在于，所述根据相机内外参数和稀疏点云，基于PatchMatch方法重建稠密点云，包括：
10.根据权利要求9所述的一种基于事件相机的非合作目标三维重建系统，其特征在于，所述基于拉普拉斯平滑法重建三维网格，完成三维重建，包括：
...【技术特征摘要】
1.一种基于事件相机的非合作目标三维重建方法，其特征在于，包括：
2.根据权利要求1所述的一种基于事件相机的非合作目标三维重建方法，其特征在于，所述根据深度学习方法重建目标的强度图像，包括：
3.根据权利要求1所述的一种基于事件相机的非合作目标三维重建方法，其特征在于，所述采用增量式运动恢复结构方法估计相机内外参数和稀疏点云，包括：
4.根据权利要求3所述的一种基于事件相机的非合作目标三维重建方法，其特征在于，所述根据相机内外参数和稀疏点云，基于patchmatch方法重建稠密点云，包括：
5.根据权利要求4所述的一种基于事件相机的非合作目标三维重建方法，其特征在于，所述基于拉普拉斯平滑法重建三维网格，完成三维重建，包括：
...【专利技术属性】
技术研发人员：肖昆，张群，南京宏，解永锋，张义超，张新宇，杨自鹏，贾贺，曹梦磊，李重远，张利宾，郑莉莉，韩冬，奚琳，文艺，高骥，朱博威，
申请(专利权)人：北京宇航系统工程研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。