三维重建的数据处理方法、装置、电子设备与存储介质制造方法及图纸

本发明专利技术提供了一种三维重建的数据处理、装置、电子设备与存储介质，所述的方法，包括：获取第一点云信息、第一图片集合、第二点云信息与第二图片集合，所述第一点云信息为三维场景在线重建时得到的，所述第一图片集合为所述三维场景在线重建时所使用的图片的集合；所述第二点云信息为所述三维场景离线重建时得到的，所述第二图片集合为所述三维场景离线重建时所使用的图片的集合；确定所述第一图片集合中K个第一目标图片与第二图片集合中K个第二目标图片；确定所述第一目标图片对应的第一位姿信息，以及所述第二目标图片对应的第二位姿信息；根据K个第一位姿信息与K个第二位姿信息，确定所述第一点云信息与所述第二点云信息的目标变换参数。

Data processing methods, devices, electronic devices and storage media for 3D reconstruction

【技术实现步骤摘要】
三维重建的数据处理方法、装置、电子设备与存储介质
本专利技术涉及三维重建领域，尤其涉及一种三维重建的数据处理方法、装置、电子设备与存储介质。
技术介绍
三维重建技术在机器人学和计算机视觉以及计算机图形学领域被广泛研究，目前广泛应用在增强现实(AR)、虚拟现实(VR)、移动机器人和自动驾驶等领域。由于高精度的三维重建计算量巨大，难以在线完成，但是在线的三维重建在增强现实、移动机器人等领域有着重要的现实意义，因此，在部分现有技术中，可在移动端进行较低精度的三维重建，得到在线重建的结果，从而满足部分需求(例如预览或导航)，在同时或事后，还可进行高精度的离线重建，得到高精度的离线重建的结果。进而，可将在线重建的结果与离线重建的结果相匹配，得到最终所需的三维重建结果。然而，针对于离线重建的结果与在线重建的结果，两者可能存在变化(例如位置、姿态、尺度等等)，故而，难以准确匹配。
技术实现思路
本专利技术提供一种三维重建的数据处理方法、装置、电子设备与存储介质，以解决离线重建的结果与在线重建的结果难以准确匹配的问题。根据本专利技术的第一方面，提供了一种三维重建的数据处理方法，包括：获取第一点云信息、第一图片集合、第二点云信息与第二图片集合，所述第一点云信息为三维场景在线重建时得到的，所述第一图片集合为所述三维场景在线重建时所使用的图片的集合；所述第二点云信息为所述三维场景离线重建时得到的，所述第二图片集合为所述三维场景离线重建时所使用的图片的集合；确定所述第一图片集合中的K个第一目标图片，以及所述第二图片集合中的K个第二目标图片；所述K个第一目标图片分别与所述第二图片集合中的K个第二目标图片相匹配；其中的K为大于或等于3的正整数；确定所述第一目标图片对应的第一位姿信息，以及所述第二目标图片对应的第二位姿信息；根据K个第一位姿信息与K个第二位姿信息，确定所述第一点云信息与所述第二点云信息的目标变换参数。可选的，根据K个第一位姿信息与K个第二位姿信息，确定所述第一点云信息与所述第二点云信息的目标变换参数，包括：根据所述第一位姿信息与所述第二位姿信息，确定所述K个第一目标图片与所述K个第二目标图片之间的初始变换参数；根据所述初始变换参数，确定所述目标变换参数。可选的，根据所述第一位姿信息与所述第二位姿信息，确定所述K个第一目标图片与所述K个第二目标图片之间的初始变换参数，包括：N次随机确定当前的位姿对集合，所述位姿对集合中包括L对位姿对，每对位姿对中包括呈对的第一位姿信息与第二位姿信息；每次确定当前的位姿对集合时，均计算所述当前的位姿对集合的匹配变换参数，并确定采用所述匹配变换参数变换所述当前的位姿对集合时的变换效果评估结果；确定变换效果评估结果最佳的位姿对集合为目标位姿对集合；根据所述目标位姿对集合的至少部分位姿对，确定所述初始变换参数。可选的，计算所述当前的位姿对集合的匹配变换参数，并确定采用所述匹配变换参数变换时所述当前的位姿对集合的变换效果评估结果，包括：将所述当前的位姿对集合中位姿对的第一位姿信息与第二位姿信息代入预设的第一目标函数E(t，R，c)，确定所述第一目标函数的函数值最小时的变换参数(t0，R0，c0)为所述匹配变换参数：其中：第一目标函数第二目标函数e(t，R，c)＝||yi-(cRxi+t)||2；t用于表征变换参数中的尺度参数；R用于表征变换参数中的旋转参数；c用于表征变换参数中的平移参数；xi用于表征第i个位姿对中第一位姿信息的平移部分；yi用于表征第i个位姿对中第二位姿信息的平移部分；针对于每一对位姿对，将所述匹配变换参数，以及该位姿对中的两个平移部分均代入所述第二目标函数，得到此时第二目标函数的函数值；若所得到的第二目标函数的函数值小于预设的阈值，则将该位姿对作为内点元素记录于对应的内点集合，以使得：所述变换效果评估结果能够通过所述内点集合中内点元素数量来表征；其中，变换效果评估结果最佳的位姿对集合为内点元素数量最多的内点集合所对应的位姿对集合。可选的，根据所述目标位姿对集合的至少部分位姿对，确定所述初始变换参数，包括：根据所述目标位姿对集合对应的内点集合，将其中的各位姿对的第一位姿信息与第二位姿信息代入所述第一目标函数，确定所述第一目标函数的函数值最小时的变换参数为所述初始变换参数。可选的，根据所述初始变换参数，确定所述目标变换参数，包括：利用迭代最近点的方式对所述初始变换参数进行求精，得到所述目标变换参数。可选的，所述目标变换参数中具有目标平移参数与目标旋转参数。可选的，所述目标变换参数还具有目标尺度参数。根据本专利技术的第二方面，提供了一种三维重建的数据处理装置，包括：获取模块，用于获取第一点云信息、第一图片集合、第二点云信息与第二图片集合，所述第一点云信息为三维场景在线重建时得到的，所述第一图片集合为所述三维场景在线重建时所使用的图片的集合；所述第二点云信息为所述三维场景离线重建时得到的，所述第二图片集合为所述三维场景离线重建时所使用的图片的集合；定位模块，用于确定所述第一图片集合中的K个第一目标图片，以及所述第二图片集合中的K个第二目标图片；所述K个第一目标图片分别与所述第二图片集合中的K个第二目标图片相匹配；其中的K为大于或等于3的正整数；位姿确定模块，用于确定所述第一目标图片对应的第一位姿信息，以及所述第二目标图片对应的第二位姿信息；目标变换参数确定模块，用于根据K个第一位姿信息与K个第二位姿信息，确定所述第一点云信息与所述第二点云信息的目标变换参数。可选的，所述目标变换参数确定模块，包括：初始变换参数确定子模块，用于根据所述第一位姿信息与所述第二位姿信息，确定所述K个第一目标图片与所述K个第二目标图片之间的初始变换参数；目标变换参数确定子模块，用于根据所述初始变换参数，确定所述目标变换参数。可选的，所述初始变换参数确定子模块，包括：随机单元，用于N次随机确定当前的位姿对集合，所述位姿对集合中包括L对位姿对，每对位姿对中包括呈对的第一位姿信息与第二位姿信息；计算评估单元，用于每次确定当前的位姿对集合时，均计算所述当前的位姿对集合的匹配变换参数，并确定采用所述匹配变换参数变换所述当前的位姿对集合时的变换效果评估结果；目标位姿对集合确定单元，用于确定变换效果评估结果最佳的位姿对集合为目标位姿对集合；初始变换参数确定单元，用于根据所述目标位姿对集合中的至少部分位姿对，确定所述初始变换参数。可选的，所述计算评估单元，包括：第一代入子单元，用于将所述当前的位姿对集合中位姿对的第一位姿信息与第二位姿信息代入预设的第一目标函数E(t，R，c)，确定所述第一目标函数值最小时的变换参数(t0，R0，c0)为所述匹配变换参数：其中：第一目本文档来自技高网...

【技术保护点】
1.一种三维重建的数据处理方法，其特征在于，包括：/n获取第一点云信息、第一图片集合、第二点云信息与第二图片集合，所述第一点云信息为三维场景在线重建时得到的，所述第一图片集合为所述三维场景在线重建时所使用的图片的集合；所述第二点云信息为所述三维场景离线重建时得到的，所述第二图片集合为所述三维场景离线重建时所使用的图片的集合；/n确定所述第一图片集合中的K个第一目标图片，以及所述第二图片集合中的K个第二目标图片；所述K个第一目标图片分别与所述第二图片集合中的K个第二目标图片相匹配；其中的K为大于或等于3的正整数；/n确定所述第一目标图片对应的第一位姿信息，以及所述第二目标图片对应的第二位姿信息；/n根据K个第一位姿信息与K个第二位姿信息，确定所述第一点云信息与所述第二点云信息的目标变换参数。/n

【技术特征摘要】
1.一种三维重建的数据处理方法，其特征在于，包括：
获取第一点云信息、第一图片集合、第二点云信息与第二图片集合，所述第一点云信息为三维场景在线重建时得到的，所述第一图片集合为所述三维场景在线重建时所使用的图片的集合；所述第二点云信息为所述三维场景离线重建时得到的，所述第二图片集合为所述三维场景离线重建时所使用的图片的集合；
确定所述第一图片集合中的K个第一目标图片，以及所述第二图片集合中的K个第二目标图片；所述K个第一目标图片分别与所述第二图片集合中的K个第二目标图片相匹配；其中的K为大于或等于3的正整数；
确定所述第一目标图片对应的第一位姿信息，以及所述第二目标图片对应的第二位姿信息；
根据K个第一位姿信息与K个第二位姿信息，确定所述第一点云信息与所述第二点云信息的目标变换参数。


2.根据权利要求1所述的方法，其特征在于，根据K个第一位姿信息与K个第二位姿信息，确定所述第一点云信息与所述第二点云信息的目标变换参数，包括：
根据所述第一位姿信息与所述第二位姿信息，确定所述K个第一目标图片与所述K个第二目标图片之间的初始变换参数；
根据所述初始变换参数，确定所述目标变换参数。


3.根据权利要求2所述的方法，其特征在于，根据所述第一位姿信息与所述第二位姿信息，确定所述K个第一目标图片与所述K个第二目标图片之间的初始变换参数，包括：
N次随机确定当前的位姿对集合，所述位姿对集合中包括L对位姿对，每对位姿对中包括呈对的第一位姿信息与第二位姿信息；
每次确定当前的位姿对集合时，均计算所述当前的位姿对集合的匹配变换参数，并确定采用所述匹配变换参数变换所述当前的位姿对集合时的变换效果评估结果；
确定变换效果评估结果最佳的位姿对集合为目标位姿对集合；
根据所述目标位姿对集合的至少部分位姿对，确定所述初始变换参数。


4.根据权利要求3所述的方法，其特征在于，计算所述当前的位姿对集合的匹配变换参数，并确定采用所述匹配变换参数变换时所述当前的位姿对集合的变换效果评估结果，包括：
将所述当前的位姿对集合中位姿对的第一位姿信息与第二位姿信息代入预设的第一目标函数E(t，R，c)，确定所述第一目标函数的函数值最小时的变换参数(t0，R0，c0)为所述匹配变换参数：
其中：
第一目标函数
第二目标函数e(t，R，c)＝||yi-(cRxi+t)||2；
t用于表征变换参数中的尺度参数；
R用于表征变换参数中的旋转参数；
c用于表征变换参数中的平移参数；
xi用于表征第i个位姿对中第一位姿信息的平移部分；
yi用于表征第i个位姿对中第二位姿信息的平移部分；
针对于每一对位姿对，将所述匹配变换参数，以及该位姿对中的两个平移部分均代入所述第二目标函数，得到此时第二目标函数的函数值；
若所得到的第二目标函数的函数值小于预设的阈值，则将该位姿对作为内点元素记录于对应的内点集合，以使得：所述变换效果评估结果能够通过所述内点集合中内点元素数量来表征；
其中，变换效果评估结果最佳的位姿对集合为内点元素数量最多的内点集合所对应的位姿对集合。


5.根据权利要求4所述的方法，其特征在于，根据所述目标位姿对集合的至少部分位姿对，确定所述初始变换参数，包括：
根据所述目标位姿对集合对应的内点集合，将其中的各位姿对的第一位姿信息与第二位姿信息代入所述第一目标函数，确定所述第一目标函数的函数值最小时的变换参数为所述初始变换参数。


6.根据权利要求2至5任一项所述的方法，其特征在于，根据所述初始变换参数，确定所述目标变换参数，包括：
利用迭代最近点的方式对所述初始变换参数进行求精，得到所述目标变换参数。


7.根据权利要求1至3任一项所述的方法，其特征在于，所述目标变换参数中具有目标平移参数与目标旋转参数。


8.根据权利要求7所述的方法，其特征在于，所述目标变换参数还具有目标尺度参数。


9.一种三维重建的数据处理装置，其特征在于，包括：
获取模块，用于获取第一点云信息、第一图片集合、第二点云信息与第二图片集合，所述第一点云信息为三维场景在线重建时得到的，所...

【专利技术属性】
技术研发人员：曾灿灿，张小军，
申请(专利权)人：视辰信息科技上海有限公司，
类型：发明
国别省市：上海;31