一种基于视觉感知的三维模型动态更新方法技术

本发明专利技术公开了基于视觉感知的三维模型动态更新方法，包括：通过RGB

【技术实现步骤摘要】
一种基于视觉感知的三维模型动态更新方法


[0001]本专利技术涉及三维建模
，尤其涉及的是一种基于视觉感知的三维模型动态更新方法。

技术介绍

[0002]随着通讯技术、计算机科学以及数据采集传感设备的不断发展，以位置服务为核心的应用市场规模迅猛增长。三维模型作为位置服务的基础数据，是发展实景三维、数字孪生，推动智慧城市建设的关键所在。相比传统的二维地图，三维模型不仅能够提供更全面的几何信息和高层次的视觉体验，同时具有丰富的场景语义以增强用户对位置场景的认知。
[0003]然而，在实际的三维模型应用过程中，随着时间的推移环境会发生变化，三维模型需要不断的更新以保持与场景的统一性。现有技术中为了实现局部更新往往通过重建三维场景的方式，造成对现有数据以及人工资源的浪费。所以，如何动态更新和处理三维模型，提升现有三维模型的使用周期和质量，是当前的迫切需求。
[0004]由上可见，现有技术仍无法实现针对局部三维模型的高效、低成本的更新建模，以提升现有三维模型的使用周期和质量。
[0005]因此，现有技术还有待改进和发展。

技术实现思路

[0006]本专利技术的主要目的在于提供一种基于视觉感知的三维模型动态更新方法，旨在解决现有技术中为了实现模型的局部更新，需通过重建三维场景的方式，造成现有数据以及人工资源的浪费的问题。
[0007]为了实现上述目的，本专利技术第一方面提供一种基于视觉感知的三维模型动态更新方法，上述方法包括：
[0008]通过设置在AR眼镜两侧的RGB
‑
I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组；
[0009]基于所述彩色图像组，提取两张及以上数量的彩色图像，将其中一张图像作为基准图像，通过将其他图像投影在三维模型上的投影点反投影到所述基准图像上，得到各图像与基准图像的像素差图像；
[0010]基于所述像素差图像，当判断三维模型发生变化时获取三维模型的变化区域，对所述变化区域的局部模型进行重建，并将三维模型和所述局部模型的重建过程在AR眼镜中进行显示；
[0011]当通过所述红外图像组检测到局部模型重建过程中存在激光点时，通过RGB
‑
I相机定位激光点，并进行三角化辅助局部模型的重建；
[0012]当检测到局部模型重建完成，将重建后的局部模型与三维模型进行融合，得到局部更新后的模型。
[0013]可选的，上述通过设置在AR眼镜两侧的RGB
‑
I相机拍摄场景帧图像，并将所述场景
帧图像分为彩色图像组以及红外图像组的步骤之前包括：
[0014]预先对相机内参以及相机外参进行标定；
[0015]所述相机内参包括RGB
‑
I相机镜头的焦点、主点、径向以及切向畸变；
[0016]所述相机外参包括通过旋转矩阵以及平移矩阵表示的两个RGB
‑
I相机之间的几何关系。
[0017]可选的，上述通过设置在AR眼镜两侧的RGB
‑
I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组的步骤包括：
[0018]根据AR眼镜围绕场景的移动和姿态变化，通过所述设置在AR眼镜两侧的RGB
‑
I相机拍摄捕捉关于场景的场景帧图像；
[0019]控制将获取的所述场景帧图像分为彩色图像组以及红外图像组。
[0020]可选的，上述通过设置在AR眼镜两侧的RGB
‑
I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组的步骤之后包括：
[0021]基于所述彩色图像组，通过结合视觉定位以及GPS定位数据的方式，跟踪获取RGB
‑
I相机的相机位置姿态，其中，所述相机位置姿态为相机在三维模型坐标中的位置以及朝向数据。
[0022]可选的，上述基于所述彩色图像组，提取两张及以上数量的彩色图像，将其中一张图像作为基准图像，通过将其他图像投影在三维模型上的投影点反投影到所述基准图像上，得到各图像与基准图像的像素差图像的步骤包括：
[0023]基于所述彩色图像组，提取两张及以上数量的彩色图像，并将其中一张图像作为基准图像；
[0024]通过预先标定的相机内参以及所述相机位置姿态，建立提取的各图像与三维模型的映射关系；
[0025]分别计算除基准图像外的其他图像从相机投影中心像素到三维世界的方向射线，并得到所述方向射线与三维模型的焦点，即图像点在三维模型上的投影点；
[0026]分别将各图像在三维模型上的投影点反投影到所述基准图像上，得到各图像与基准图像的反投影图像；
[0027]分别将各反投影图像与基准图像进行对比计算，得到各反投影图像与基准图像的像素差图像。
[0028]可选的，上述基于所述像素差图像，当判断三维模型发生变化时获取三维模型的变化区域，对所述变化区域的局部模型进行重建，并将三维模型和所述局部模型的重建过程在AR眼镜中进行显示的步骤包括：
[0029]当检测到各像素差图像中存在不等于零和/或不趋近于零的像素值时，判断三维模型发生变化；
[0030]通过将各像素差图像中的区域进行关联，确认各像素差图像中变化的区域；
[0031]基于各像素差图像中变化的区域，分别计算出各像素差图像中每一变化区域的平均位置，并在所述像素差图像中以协方差的形式分布；
[0032]通过各像素差图像中每个变化区域的平均位置，计算得到三维模型中的变化区域；
[0033]基于三维模型中的变化区域，对所述变化区域的局部模型进行重建；
[0034]同时将所述三维模型和局部模型的重建过程在AR眼镜中进行显示。
[0035]可选的，上述当通过所述红外图像组检测到局部模型重建过程中存在激光点时，通过RGB
‑
I相机定位激光点，并进行三角化辅助局部模型的重建的步骤包括：
[0036]通过所述红外图像组检测到所述局部模型重建过程中存在激光点；
[0037]通过两个RGB
‑
I相机跟踪所述激光点，并对分别拍摄到的红外图像中的二维激光点进行三角测量，得到激光点的相机坐标；
[0038]将所述激光点的相机坐标投射到三维模型的坐标中，辅助局部模型的重建。
[0039]本专利技术第二方面提供一种基于视觉感知的三维模型动态更新装置，其中，所述装置包括：
[0040]数据采集模块，由两个RGB
‑
I相机组成，用于实时拍摄采集图像数据并传输到数据处理单元；
[0041]数据处理单元，用于在后台将获取的图像数据进行计算和处理，并将三维模型变化区域检测和局部模型的更新过程实时传输到显示模块；
[0042]显示模块，用于实时显示三维模型数据和局部模型更新进程，以及显示激光点的绘制区域；
[0043]通讯模块，用于将数据采集模块、数据处理单元以及显示模块间的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉感知的三维模型动态更新方法，其特征在于，所述方法包括：通过设置在AR眼镜两侧的RGB
‑
I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组；基于所述彩色图像组，提取两张及以上数量的彩色图像，将其中一张图像作为基准图像，通过将其他图像投影在三维模型上的投影点反投影到所述基准图像上，得到各图像与基准图像的像素差图像；基于所述像素差图像，当判断三维模型发生变化时获取三维模型的变化区域，对所述变化区域的局部模型进行重建，并将三维模型和所述局部模型的重建过程在AR眼镜中进行显示；当通过所述红外图像组检测到局部模型重建过程中存在激光点时，通过RGB
‑
I相机定位激光点，并进行三角化辅助局部模型的重建；当检测到局部模型重建完成，将重建后的局部模型与三维模型进行融合，得到局部更新后的模型。2.根据权利要求1所述的一种基于视觉感知的三维模型动态更新方法，其特征在于，所述通过设置在AR眼镜两侧的RGB
‑
I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组的步骤之前包括：预先对相机内参以及相机外参进行标定；所述相机内参包括RGB
‑
I相机镜头的焦点、主点、径向以及切向畸变；所述相机外参包括通过旋转矩阵以及平移矩阵表示的两个RGB
‑
I相机之间的几何关系。3.根据权利要求1所述的一种基于视觉感知的三维模型动态更新方法，其特征在于，所述通过设置在AR眼镜两侧的RGB
‑
I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组的步骤包括：根据AR眼镜围绕场景的移动和姿态变化，通过所述设置在AR眼镜两侧的RGB
‑
I相机拍摄捕捉关于场景的场景帧图像；控制将获取的所述场景帧图像分为彩色图像组以及红外图像组。4.根据权利要求1所述的一种基于视觉感知的三维模型动态更新方法，其特征在于，所述通过设置在AR眼镜两侧的RGB
‑
I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组的步骤之后包括：基于所述彩色图像组，通过结合视觉定位以及GPS定位数据的方式，跟踪获取RGB
‑
I相机的相机位置姿态，其中，所述相机位置姿态为相机在三维模型坐标中的位置以及朝向数据。5.根据权利要求4所述的一种基于视觉感知的三维模型动态更新方法，其特征在于，所述基于所述彩色图像组，提取两张及以上数量的彩色图像，将其中一张图像作为基准图像，通过将其他图像投影在三维模型上的投影点反投影到所述基准图像上，得到各图像与基准图像的像素差图像的步骤包括：基于所述彩色图像组，提取两张及以上数量的彩色图像，并将其中一张图像作为基准图像；通过预先标定的相机内参以及所述相机位置姿态，建立提取的各图像与三维模型的映
射关系；分别计算除基准图像外的其他图像从相机投影中心像素到三...

【专利技术属性】
技术研发人员：马威，李清泉，周宝定，王冰，朱华晨，叶岑，
申请(专利权)人：深圳大学，
类型：发明
国别省市：