一种基于数字孪生的铆接质量图像检测方法技术

本发明专利技术公开了一种基于数字孪生的铆接质量图像检测方法，包含以下步骤：(1)设计铆接质量图像检测孪生系统的总体方案，建立铆接质量图像检测系统的三维模型；(2)建立双向数据传输通道，实现机械臂三维模型与实体的联动；(3)结合铆接位置布局与机械臂参数对机械臂进行位姿控制、轨迹规划；(4)对采集的图像进行处理；(5)使用卷积神经对图片进行训练与测试。本发明专利技术通过建立铆接质量图像检测系统的三维模型结合双向数据传输通道，实现对机械臂实体的远程控制，通过对其进行的位姿控制与轨迹规划，实现对铆接头的图像采集，对其通过卷积神经网络进行训练与测试最终实现铆接质量检测。经网络进行训练与测试最终实现铆接质量检测。经网络进行训练与测试最终实现铆接质量检测。

【技术实现步骤摘要】
一种基于数字孪生的铆接质量图像检测方法


[0001]本专利技术属于视觉检测领域，特别涉及一种基于数字孪生的铆接质量图像检测方法。

技术介绍

[0002]在飞机装配过程中，壁板组件装配是至关重要的环节之一。由蒙皮、长桁铆接形成的壁板组件作为一种典型的薄壳结构，在机身、机翼等飞机结构中应用广泛。壁板组件既是主要的承力构件，也是构成飞机气动外形的重要组成部分，其装配精度直接影响后续不见装配及总装的质量和效率，而铆钉连接作为其装配的重要连接方式，铆接质量将很大程度影响到装配精度。而且，飞机的各种故障中，机体损伤的故障数量占总故障数量的30％以上，而机体损伤的故障中有75％～80％都是机体结构的连接部位发生疲劳破坏引起的，因此，保证机体的铆接质量对于提高飞机装配质量、延长飞机寿命尤为重要。
[0003]现阶段的专利公开以及文献资料显示：1)一种飞机气动铆接质量在线检测装置及检测方法(CN201710122247.4)，其检测装置包括底座、顶铁、夹紧螺栓、传感器系统、铆接板、铆钉、数据处理系统。通过调整丝杆螺栓实现仿真板夹紧和放松，利用传感器对于铆本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数字孪生的铆接质量图像检测方法，其特征在于，包括以下步骤：(1)设计铆接质量图像检测孪生系统的总体方案，建立铆接质量图像检测系统的数字孪生模型；(2)建立双向数据传输通道，机械臂的位姿数据通过该通道实时同步至其数字孪生模型，而在电脑端对数字孪生模型的运动控制指令通过该通道下达至机械臂实体，从而实现机械臂数字孪生模型与实体的实时联动；(3)根据铆接位置布局与机械臂参数，对机械臂进行位姿控制、轨迹规划，使机械臂带动工业相机运动到适当位置，从而实现铆接头图像的采集；(4)对采集的图像进行图像处理，突出被测铆接头特征信息，以便卷积神经网络进行训练与测试；(5)将处理后的图片集导入卷积神经网络进行训练与测试。2.根据权利要求1所述的一种基于数字孪生的铆接质量图像检测方法，其特征在于，铆接图像检测孪生系统包括被测样件、工业相机、机械臂、电脑、工作台。3.根据权利要求1所述的一种基于数字孪生的铆接质量图像检测方法，其特征在于，通过在Hierarchy面板中拖拽各关节节点，生成模型树，从而建立关节间父子关系，采用3
×
3旋转矩阵来表示机械臂末端姿态，并基于刚体的移动与转动推导出机械臂位姿的齐次坐标变换矩阵，从而在ros平台下对机械臂的各个关节进行python脚本程序编写，实现输入指定位姿点就可以计算出各关节位置信息，并通过双向数据传输通道传至电脑端，从而实现数字孪生模型的实时更新。4.根据权利要求1所述的一种基于数字孪生的铆接质量图像检测方法，其特征在于，为保证机械臂实体与孪生模型间的...

【专利技术属性】
技术研发人员：郝博，郭嵩，王明阳，闫俊伟，王杰，尹兴超，
申请(专利权)人：东北大学，
类型：发明
国别省市：