紧固件安装状态检测方法、装置、电子设备及介质制造方法及图纸

本申请实施例公开了一种紧固件安装状态检测方法、装置、电子设备及介质。该方法包括：通过位于至少三个方位的图像采集器对紧固件所在的设备表面区域进行图像采集，得到至少三个采集图像；基于多目视觉定位算法，根据所述至少三个采集图像，确定所述紧固件的实际三维坐标；根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态。上述方案能够基于机器视觉确定紧固件安装的三维信息，从而精确地确定紧固件的安装位置，并通过与预先建立模型中紧固件位置的比对，从而快速、准确地确定紧固件是否存在移位、错装和漏装等问题，实现高精度、高稳定性的紧固件安装状态检测。稳定性的紧固件安装状态检测。稳定性的紧固件安装状态检测。

【技术实现步骤摘要】
紧固件安装状态检测方法、装置、电子设备及介质


[0001]本申请实施例涉及零件检测
，尤其涉及一种紧固件安装状态检测方法、装置、电子设备及介质。

技术介绍

[0002]飞机装配过程中，存在大量的制孔与紧固件安装工作。由于飞机外形复杂，很多制孔和紧固件安装的工作需要人手工完成。通常要在部件装配和验收等环节对紧固件的安装进行检测，一架客机上紧固件多达几十万组，且飞机的结构尺寸又非常大，使得检测工作量非常大。
[0003]紧固件检测的传统方法是由人工完成的，检测效率低、精度不易控制，尤其对于大批量检测更为费时费力，难以适应现代飞机装配的发展需求。并且受检测人员个人经验、精神状态和疲劳程度等因素影响，检测结果缺乏稳定性与客观性，易发生漏检、误检等问题。基于传统二维图像的工业检测方法可以满足一般缺陷检测的需求，但是由于缺少三维信息，无法做到与空间位置关系的紧密关联。

技术实现思路

[0004]本专利技术实施例提供一种紧固件安装状态检测方法、装置、电子设备及介质，以提高紧固件安装状态的检测效率和精确性。
[0005]在一个实施例中，本申请实施例提供了一种紧固件安装状态检测方法，该方法包括：
[0006]通过位于至少三个方位的图像采集器对紧固件所在的设备表面区域进行图像采集，得到至少三个采集图像；
[0007]基于多目视觉定位算法，根据所述至少三个采集图像，确定所述紧固件的实际三维坐标；
[0008]根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态。
[0009]在另一个实施例中，本申请实施例还提供了一种紧固件安装状态检测装置，该装置包括：
[0010]采集图像获取模块，用于通过位于至少三个方位的图像采集器对紧固件所在的设备表面区域进行图像采集，得到至少三个采集图像；
[0011]实际三维坐标确定模块，用于基于多目视觉定位算法，根据所述至少三个采集图像，确定所述紧固件的实际三维坐标；
[0012]安装状态确定模块，用于根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态。
[0013]在又一个实施例中，本申请实施例还提供了一种电子设备，包括：一个或多个处理器；
[0014]存储器，用于存储一个或多个程序；
[0015]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请实施例任一项所述的紧固件安装状态检测方法。
[0016]在再一个实施例中，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例中任一项所述的紧固件安装状态检测方法。
[0017]本申请实施例中，通过位于至少三个方位的图像采集器对紧固件所在的设备表面区域进行图像采集，得到至少三个采集图像；基于多目视觉定位算法，根据所述至少三个采集图像，确定所述紧固件的实际三维坐标，从而精确地确定紧固件在设备表面的三维坐标位置，根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态，从而快速高效地确定紧固件的安装状态，能够自动化且精确地检测紧固件的安装是否存在错位、错装、漏装等问题。
附图说明
[0018]图1为本专利技术一种实施例提供的紧固件安装状态检测方法的流程图；
[0019]图2为本专利技术另一实施例提供的紧固件安装状态检测方法的流程图；
[0020]图3为本专利技术提供的三角相机监测流程图；
[0021]图4为本专利技术提供的算法流程图；
[0022]图5为本专利技术提供的原始图像示意图；
[0023]图6为本专利技术提供的阈值二值化处理后的图像示意图；
[0024]图7为本专利技术提供的过滤后的图像示意图；
[0025]图8为本专利技术提供的最终检测图像示意图；
[0026]图9为本专利技术提供的动态3D坐标示意图；
[0027]图10为本专利技术提供的相机移动示意图；
[0028]图11为本专利技术提供的相邻两帧坐标示意图；
[0029]图12为本专利技术提供的去重前的数模文件示意图；
[0030]图13为本专利技术提供的去重后的数模文件示意图；
[0031]图14为本专利技术提供的标准数模文件示意图；
[0032]图15为本专利技术一种实施例提供的紧固件安装状态检测装置的结构示意图；
[0033]图16为本专利技术一种实施例提供的电子设备的结构示意图。
具体实施方式
[0034]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0035]图1为本专利技术一种实施例提供的紧固件安装状态检测方法的流程图。本实施例提供的紧固件安装状态检测方法可适用于对紧固件的安装状态进行检测的情况。典型的，该方法可以适用于对飞机蒙皮表面上安装的紧固件进行检测的情况。该方法具体可以由紧固件安装状态检测装置执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在能
够实现本申请实施例提供的紧固件安装状态检测方法的电子设备中。本申请实施例中提供的紧固件安装状态监测方法可以适用于对任何设备表面的紧固件的检测，本申请实施例中为了便于直观地描述，针对飞机表面紧固件安装状态检测的情况进行说明。参见图1，本申请实施例的方法具体包括：
[0036]S110、通过位于至少三个方位的图像采集器对紧固件所在的设备表面区域进行图像采集，得到至少三个采集图像。
[0037]在本申请实施例中，设备表面可以是飞机蒙皮表面。飞机蒙皮表面开设有用于插入紧固件的孔，紧固件应安装于孔内。至少三个方位的图像采集器所采集的设备表面区域为同一个区域。通过至少三个方位的图像采集器采集紧固件所在设备表面区域的图像，从而能够获取紧固件所在设备表面区域多方位的信息，以更加精准地确定紧固件的位置。
[0038]在本申请实施例中，可以通过至少三个方位的图像采集器对紧固件所在的设备表面区域进行图像采集，得到一组采集图像。也可以令至少三个方位的图像采集器对飞机蒙皮表面进行遍历图像采集，获得多组采集图像，以对整个飞机蒙皮表面的紧固件安装状态进行检测分析。
[0039]S120、基于多目视觉定位算法，根据所述至少三个采集图像，确定所述紧固件的实际三维坐标。
[0040]示例性的，至少三个采集图像是从三个方位进行采集的，可以通过不同方位的图像确定紧固件的深度信息，进而根据紧固件在至少三个采集图像中的坐标以及深度信息，确定紧固件的实际三维坐标。
[0041]具体的，可以将至少三个采集图像进行两两匹配，确定匹配关系，再基于多目视觉定位算法，根据匹配关系和几何约束条件，确定紧固件在图像采集系统中的实际三维坐标。
[0042]S130、根据所述紧固件的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种紧固件安装状态检测方法，其特征在于，所述方法包括：通过位于至少三个方位的图像采集器对紧固件所在的设备表面区域进行图像采集，得到至少三个采集图像；基于多目视觉定位算法，根据所述至少三个采集图像，确定所述紧固件的实际三维坐标；根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态。2.根据权利要求1所述的方法，其特征在于，基于多目视觉定位算法，根据所述至少三个采集图像，确定所述紧固件的实际三维坐标，包括：对至少三个采集图像进行特征提取和识别，确定所述紧固件在至少三个采集图像中的二维坐标；根据所述紧固件在至少三个采集图像中的二维坐标、匹配关系以及至少三个采集图像的采集视角，确定所述紧固件的实际三维坐标。3.根据权利要求2所述的方法，其特征在于，所述匹配关系的确定过程包括：基于视觉分析算法，根据至少三个图像采集器的内参、外参、至少三个图像采集器之间的对极几何约束以及紧固件的二维坐标，确定至少三个采集图像中紧固件的匹配关系。4.根据权利要求1所述的方法，其特征在于，根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态之前，所述方法还包括：对针对不同设备表面区域进行图像采集得到的采集图像进行拼接，并对设备表面进行三维重建，得到实际三维结构；相应地，根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态，包括：根据所述实际三维结构中紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态。5.根据权利要求1所述的方法，其特征在于，所述紧固件的实际三维坐标为在图像采集器坐标系中的坐标；相应地，根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态之前，所述方法还包括：通过图像采集器对紧固件所在设备表面上的特征点进行检测，确定所述特征点在图像采集器坐标系中的坐标...

【专利技术属性】
技术研发人员：汪顺利，左正新，王飞亚，卢丹，王诗源，沈珉杰，王云霞，
申请(专利权)人：上海飞机制造有限公司，
类型：发明
国别省市：