【技术实现步骤摘要】
本专利技术涉及图像识别，具体涉及的是基于混合现实的装配式梁柱构件检测控制技术。
技术介绍
1、近年来，混合现实(mixed reality，mr)技术的不断发展，其允许用户在现实世界中与虚拟对象互动，将虚拟信息叠加在现实世界中，为用户提供增强的感知和交互体验。混合现实hololens2设备具有内置的传感器、计算能力和头戴式显示器，能够实时跟踪用户的头部运动和环境，可以将虚拟信息叠加到现实世界中。这种设备的使用可以为建筑领域带来巨大的潜力，用于实时获取和处理建筑构件的信息。
2、随着建筑行业的不断发展和技术进步，与传统的现场施工相比，装配式建筑因其具有更高的效率、更低的成本和更好的质量控制，成为了一种受欢迎的建筑方式。在装配式建筑中，梁柱构件是构建建筑骨架的重要组成部分，其准确的识别定位和施工安装对于确保结构的稳定性和安全性至关重要。然而，传统的梁柱构件识别和施工方法面临着一系列挑战，包括复杂的测量和定位过程、高风险的工作环境以及依赖人工的操作，容易受到误差的影响。
技术实现思路
1、本专利技术的目的提出基于混合现实的装配式梁柱构件检测系统及施工控制方法。
2、本专利技术是基于混合现实的装配式梁柱构件检测系统及施工控制方法，基于混合现实技术的装配式梁柱构件检测系统，包括混合现实hololens2设备1、图像采集系统2、点位标记系统3、计算机pc4、图像处理系统5、虚实叠加系统6；图像采集系统2由rgb相机2-1、传感器单元2-2、内存储单元2-3和数据传输模块
3、采用上述的基于混合现实的装配式梁柱构件检测系统的施工控制方法，用户界面ui6-1利用unity和c#编程语言制作，添加捕捉、上传、校准操作按钮；根据图像采集和施工要求选择对应的按钮进行操作；装配引导动画6-2，包括构件组装顺序、连接方式、固定方法、安全注意事项和质量要求；将建筑信息可视化呈现，减少人工干预和提供实时施工指导，降低施工现场的安全风险；空间坐标锚定6-3使用坐标反向变换处理世界坐标信息，转换为hololens2设备1空间坐标系信息。
4、本专利技术的相对于现有技术具有以下优点：本专利技术利用混合现实技术，实现了实时、非接触的装配式梁柱构件识别和施工指导。与传统的人工测量和标记方法相比，混合现实hololens2设备和图像识别算法可以在高精度下识别和定位构件，有助于确保构件的正确对接和安装，提高建筑质量和施工效率，减少人力和时间成本和人为误差的风险。本专利技术采用深度学习faster r-cnn检测算法识别装配式梁柱构件，通过特征识别模块和坐标转换模块，能够高效精确识别提取构件信息并实时传输到云端数据库。通过将装配式建筑施工图构建为bim模型，与实际施工过程相结合有助于实现数字化施工管理。通过云端数据库存储梁柱构件的信息和位置数据，为施工过程提供了完整的记录和追踪功能。本专利技术利用混合现实hololens2设备和unity制作的引导动画实时显示施工指导信息，在提高建筑施工的效率、质量和可持续性方面具有显著的潜力，有助于推动装配式建筑施工领域的技术进步和创新。
本文档来自技高网...【技术保护点】
1.基于混合现实技术的装配式梁柱构件检测系统，其特征在于：该系统包括混合现实Hololens2设备(1)、图像采集系统(2)、点位标记系统(3)、计算机PC(4)、图像处理系统(5)、虚实叠加系统(6)；图像采集系统(2)由RGB相机(2-1)、传感器单元(2-2)、内存储单元(2-3)和数据传输模块(2-4)组成，各模块集中搭载于混合现实Hololens2设备(1)；点位标记系统(3)由无标记模块(3-1)和二维码标记模块(3-2)组成；图像处理系统(5)由特征识别模块(5-1)、坐标转换模块(5-2)、图像重建模块(5-3)、数据存储模块(5-4)和数据比对模块(5-5)组成；虚实叠加系统(6)由用户界面UI(6-1)、装配引导动画(6-2)和空间坐标锚定(6-3)组成；所述的图像采集系统(2)通过融合比例放缩因子的HoloLens2设备(1)，搭载高质量RGB相机(2-1)和传感器单元(2-2)进行图像的采集工作，拍摄施工环境中所需的照片或视频；其中，比例放缩因子用于增大采集图像范围，避免采集信息无法使用；内置的深度传感器和IMU传感器用于采集像素点深度值和姿态角；在拍摄完
2.根据权利要求1所述的基于混合现实的装配式梁柱构件检测系统，其特征在于：所述的点位标记系统(3)包括无标记模块(3-1)和二维码标记模块(3-2)，可人工选择测点进行信息采集；无标记模块(3-1)适用于一般情况下的数据采集，可人为选择测点特征值较好的特征点；二维码标记模块(3-2)使用包含装配式结构构件附加信息的二维码作为标记点。
3.根据权利要求1所述的基于混合现实的装配式梁柱构件检测系统，其特征在于：所述的图像处理系统(5)包括特征识别模块(5-1)、坐标转换模块(5-2)、图像重建模块(5-3)、数据存储模块(5-4)和数据比对模块(5-5)；特征识别模块(5-1)内含识别算法，实时处理图像信息，检测和识别图像特征点或标记点，并提取构件点位信息；对于特征点标记采用深度学习Faster R-CNN（Faster Region-based Convolutional Neural Network）检测算法，算法用以提取重要的特征信息；针对二维码标记点，算法配合使用ZXing库，提取图像中二维码的数据内容。
4.根据权利要求1所述的基于混合现实的装配式梁柱构件检测系统，其特征在于：虚实叠加系统(6)使用C#编程语言和Unity制作装配式结构构件信息面板，并制作施工装配引导动画；基于混合现实工具包（MRTK）和OpenXR，创建交互式的用户界面UI(6-1)，添加操作按钮，并设计施工装配引导动画(6-2)；实时调取云端数据存储模块(5-4)，将Unity制作的MR模型打包发送到Visual Studio，再部署到混合现实HoloLens2设备(1)的应用程序上；同时，使用反向坐标变换算法处理世界坐标信息，转换为HoloLens2设备(1)空间坐标系信息；然后传输到HoloLens2设备(1)，完成设备上虚拟的构件信息的显示；通过空间坐标锚定(6-3)将MR模型近似等比例叠加到实际梁柱构件的装配位置，实现空间映射，虚实叠加，并利用引导动画指导工程装配施工。
5.根据权利要求1所述的基于混合现实的装配式梁柱构件检测系统，其特征在于：坐标转换模块(5-2)读取HoloLens2设备(1)传输过来的数据流，在计算机PC(4)上将原始坐标信息转换为世界坐标信息；通过计算HoloLens2设备(1)装配的传感器单元(2-2)的数据，将原始坐标映射到世界坐标系统中。
6.根据权利要求1所述的基于混合现实的装配式梁柱构件检测系统，其特征在于：利用图像重建模块(5-3)导入装配式建筑施工图纸至Revit软件，根据实际要求调整和优化图纸，构建可视化BIM模型；添加装配式建筑的构件模板和施工流程等相关信息到BIM模型中；再将上述信息上传到数据存储模块(5-4)，将相关数据导入并进行适当的数据结构和表格设计，并调用数据比对模块(5-5)进行数据库构件信息比对，以判别构件类型。
7.权利要求1所述的基于混合现实的装配式梁柱构件检测系统的施工控制方法，其特征在于：用户界面UI(6-1)利用Unity和C#编程语言制作，添加捕捉、上传、校准操作按钮；根...
【技术特征摘要】
1.基于混合现实技术的装配式梁柱构件检测系统，其特征在于：该系统包括混合现实hololens2设备(1)、图像采集系统(2)、点位标记系统(3)、计算机pc(4)、图像处理系统(5)、虚实叠加系统(6)；图像采集系统(2)由rgb相机(2-1)、传感器单元(2-2)、内存储单元(2-3)和数据传输模块(2-4)组成，各模块集中搭载于混合现实hololens2设备(1)；点位标记系统(3)由无标记模块(3-1)和二维码标记模块(3-2)组成；图像处理系统(5)由特征识别模块(5-1)、坐标转换模块(5-2)、图像重建模块(5-3)、数据存储模块(5-4)和数据比对模块(5-5)组成；虚实叠加系统(6)由用户界面ui(6-1)、装配引导动画(6-2)和空间坐标锚定(6-3)组成；所述的图像采集系统(2)通过融合比例放缩因子的hololens2设备(1)，搭载高质量rgb相机(2-1)和传感器单元(2-2)进行图像的采集工作，拍摄施工环境中所需的照片或视频；其中，比例放缩因子用于增大采集图像范围，避免采集信息无法使用；内置的深度传感器和imu传感器用于采集像素点深度值和姿态角；在拍摄完成后，将照片或视频保存到hololens2设备(1)的内部存储空间(2-3)中，生成相应的数据文件；利用数据传输模块(2-4)tcp/ip网络传输协议实时通信，传输采集的数据到计算机pc(4)；数据采集时，从多个角度、不同方向、复杂背景、环境光照等条件人工选择测点，增加数据集数量；采集过程启用hololens2设备(1)的研究者模式，用于访问各传感器数据。
2.根据权利要求1所述的基于混合现实的装配式梁柱构件检测系统，其特征在于：所述的点位标记系统(3)包括无标记模块(3-1)和二维码标记模块(3-2)，可人工选择测点进行信息采集；无标记模块(3-1)适用于一般情况下的数据采集，可人为选择测点特征值较好的特征点；二维码标记模块(3-2)使用包含装配式结构构件附加信息的二维码作为标记点。
3.根据权利要求1所述的基于混合现实的装配式梁柱构件检测系统，其特征在于：所述的图像处理系统(5)包括特征识别模块(5-1)、坐标转换模块(5-2)、图像重建模块(5-3)、数据存储模块(5-4)和数据比对模块(5-5)；特征识别模块(5-1)内含识别算法，实时处理图像信息，检测和识别图像特征点或标记点，并提取构件点位信息；对于特征点标记采用深度学习faster r-cnn（faster region-based convolutional neural network）检测算法，算法用以提取重要的特征信息；针对二维码标记点，算法配合使用zxing库，提取图像中二维码的数据内容。
4.根据权利要求1所述的基于混合现实的装配式梁...
【专利技术属性】
技术研发人员：李万润，夏浩，郭艺博，赵文海，范博源，王怡宁，戚伟博，邵鑫杰，王希玮，姚建兵，杜永峰，
申请(专利权)人：兰州理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。