本发明专利技术公开了基于改进LoFTR算法的丝饼缺陷检测方法，针对多相机采集丝饼图像拼接问题，提出了基于改进LoFTR算法的多相机采集丝饼图像无缝融合方法，解决了现有关键点提取算法针对弱纹理图像提取能力不足，对于丝饼这种尺寸较大单相机无法采集完整、多相机采集图像区域重叠导致缺陷重复统计，以及所需时间较长的问题，增强了关键点提取能力，提升了拼接融合速度。合速度。合速度。
【技术实现步骤摘要】
基于改进LoFTR算法的丝饼缺陷检测方法
[0001]本专利技术属于丝饼图像检测
，尤其涉及基于改进LoFTR算法的丝饼缺陷检测方法。
技术介绍
[0002]丝饼是为了方便纺织长丝的运输、存放和包装，将其有规律地缠绕在纸管上，形成饼状物。在丝饼的制备过程中，由于机器缠绕的速度过高、张力不均匀等原因会形成各种各样的缺陷，缺陷的存在严重影响丝饼的质量、外观以及使用价值。目前丝饼表面缺陷检测有人工检测和视觉检测两种。由人工进行检测，这种方式效率较低，且对检测工人要求较高，也比较累；此外也有一些大型生产厂家使用机器视觉来进行检测。但由于丝饼有多个表面且单个表面较大，使用单个工业相机进行采集时难以采集完整，故使用多相机同步的方式对丝饼各表面进行采集。
[0003]丝饼表面质量的评级标准与表面缺陷类型和数量有关，而当使用多相机进行采集时，会出现各相机采集的图像有重复区域，导致该部分缺陷被重复检测，这会对丝饼的质量评级产生影响。故需对多相机采集的图像进行拼接融合，消除重复区域后再传至上位机中进行检测。
[0004]在丝饼的实际检测过程中，有缺陷丝饼占比较少，对每次采集图像都进行拼接耗时较大，故先判断该丝饼是否有缺陷后再考虑是否对其图像进行拼接，减少耗时，并能够正确对丝饼表面质量进行评级。
[0005]目前关于丝饼表面这种弱纹理图像的拼接方法研究较少，一些传统方法如SIFT,SURF和ORB算法对于弱纹理表面的特征点提取能力较弱且提取速度较慢，以至于两图像间的最优单应性变换矩阵有时难以求解，导致图像拼接效果差，且无法满足实时性的要求，无法应用到丝饼表面缺陷图像拼接上。
[0006]公开号为CN116152073A的专利公开了一种改进的基于Loftr算法的多尺度眼底图像拼接方法，将采集的眼底图像输入原始Loftr算法中完成特征点提取和特征点匹配，再利用所得特征点对求解单应性矩阵实现图像拼接。该方法虽然相较于传统特征点提取算法提取能力更强，但对于一些弱纹理图像提取能力可能仍然不足，影响后续的拼接效果。
[0007]公开号为CN115526781A的专利公开了一种基于图像重叠区域的拼接方法，该方法通过SURF算法对图像进行特征点提取以及特征点描述子的生成，FLANN算法进行粗匹配获得粗匹配点对组，距离筛选法对获得粗匹配点对组进行筛选获得精匹配点对组，通过精匹配点对组，使用RANSAC算法建立变换矩阵模型，并进行图像拼接；采用加权融合法对拼接图像缝隙进行优化，消除拼接缝合线，完成图像的融合。该方法在图像拼接时间上较长，SURF算法对弱纹理图像特征点提取能力不够。
技术实现思路
[0008]针对现有技术存在的问题，本申请实施例的目的是提供一种基于改进LoFTR算法
的丝饼缺陷检测方法，在较短时间内对采集到的具有重复区域的丝饼图像完成拼接，较现有算法，在提取特征点的能力和图像拼接融合的速度上，具有较大优势。
[0009]根据本申请实施例的第一方面，提供一种基于改进LoFTR算法的丝饼缺陷检测方法，包括：
[0010](1)基于标准圆点标定板依次对各个相机进行标定，得到各个相机的内参矩阵、外参矩阵和畸变系数，从而进行各相机的畸变矫正；
[0011](2)获取畸变矫正后的多相机采集的丝饼各表面多张丝饼图像，得到若干具有重复区域的待拼接图像对；
[0012](3)对所述丝饼图像进行缺陷检测，若丝饼表面有毛丝、毛羽、断线、圈丝即为有缺陷，无缺陷则完成本次检测，有缺陷则继续下一步骤；
[0013](4)根据相机参数对所述待拼接图像对的重叠区域进行预估计，得到所述重叠区域占图像的比例；
[0014](5)对所述待拼接图像对进行像素调整及曝光补偿，以便于进行拼接融合；
[0015](6)按照重叠区域占图像的比例，分别使用相应比例的掩膜提取出步骤(5)中处理后的待拼接图像对的重叠区域，使用改进后的基于Transformer的LoFTR算法对所述重叠区域进行特征点提取，并根据特征点对的置信度剔除错误匹配的特征点对，得到有效匹配的特征点对；
[0016](7)基于所述有效匹配的特征点对，使用PROSAC算法进行随机采样，进而求解步骤(5)处理得到的所述待拼接图像对的单应性矩阵；
[0017](8)使用所得单应性矩阵对步骤(5)处理得到的所述待拼接图像对中的右待拼接图像进行透视变换，将其中的左待拼接图像拷贝到透视变换后的右待拼接图像上；
[0018](9)使用加权平均的图像融合算法对步骤(8)得到的直接拼接图像的重叠区域进行融合，消除拼接缝，得到丝饼表面完整无重复区域的图像；
[0019](10)对各表面完整无重复区域的图像进行缺陷检测，确定缺陷的类型、位置与数目，从而对丝饼质量进行评级。
[0020]进一步地，用于采集丝饼图像的多相机采集装置包括丝饼支撑座、圆周面采集相机、上端面采集相机以及下端面采集相机，所述上端面采集相机以及下端面采集相机各为两个，圆周面采集相机为4个相。
[0021]进一步地，步骤(4)中，
[0022]丝饼端面图像之间的重复区域满足：
[0023][0024]其中fov为相机的视场角，l为两相机间的距离，h为相机到丝饼表面的距离，φ为丝饼端面图像重叠区域占原图面积的比例；
[0025]丝饼圆周面图像之间的重复区域满足：
[0026][0027]其中λ为丝饼圆周面图像重叠区域所占比例，fov为相机的视场角，β为两相机间的
夹角大小。
[0028]进一步地，步骤(5)中，所述像素调整为使用值为0的像素点对多相机采集的图像进行边缘填充；
[0029]所述曝光补偿使用增益曝光的方式进行补偿，其中增益系数通过误差函数e来进行实现：
[0030][0031]其中
[0032][0033]g
i
和g
j
为图像i和j的增益系数，R(i,j)为两图像的重叠部分，R、G、B为图像各通道分量的强度值，N
ij
为重叠部分的像素数量，σ
N
和σ
g
分别为误差和增益的标准差，通常σ
N
＝10、σ
g
＝0.1，I
ij
为重叠部分图像强度的平均值，n1和n2分别为重叠部分宽高上的像素个数。
[0034]进一步地，步骤(6)中，所述改进后的基于Transformer的LoFTR算法通过局部特征CNN提取模块、特征转换模块、粗粒度匹配模块、精细度匹配模块实现，其中：
[0035]所述局部特征CNN提取模块使用ResNetFPN网络对输入的两张丝饼图像进行三次下采样至图像大小的1/2、1/4、1/8级别，对1/8级别的粗粒度图像特征图采用双线性插值方更有式进行两次上采样,依次得到1/4和1/2的特征图，并与高层的特征信息进行融合,输出1/8级别的粗粒度图像特征图以及1/2的细粒度图像特征图其中每层下采样前均添加有s本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于改进LoFTR算法的丝饼缺陷检测方法，其特征在于，包括：(1)基于标准圆点标定板依次对各个相机进行标定，得到各个相机的内参矩阵、外参矩阵和畸变系数，从而进行各相机的畸变矫正；(2)获取畸变矫正后的多相机采集的丝饼各表面多张丝饼图像，得到若干具有重复区域的待拼接图像对；(3)对所述丝饼图像进行缺陷检测，若丝饼表面有毛丝、毛羽、断线、圈丝即为有缺陷，无缺陷则完成本次检测，有缺陷则继续下一步骤；(4)根据相机参数对所述待拼接图像对的重叠区域进行预估计，得到所述重叠区域占图像的比例；(5)对所述待拼接图像对进行像素调整及曝光补偿，以便于进行拼接融合；(6)按照重叠区域占图像的比例，分别使用相应比例的掩膜提取出步骤(5)中处理后的待拼接图像对的重叠区域，使用改进后的基于Transformer的LoFTR算法对所述重叠区域进行特征点提取，并根据特征点对的置信度剔除错误匹配的特征点对，得到有效匹配的特征点对；(7)基于所述有效匹配的特征点对，使用PROSAC算法进行随机采样，进而求解步骤(5)处理得到的所述待拼接图像对的单应性矩阵；(8)使用所得单应性矩阵对步骤(5)处理得到的所述待拼接图像对中的右待拼接图像进行透视变换，将其中的左待拼接图像拷贝到透视变换后的右待拼接图像上；(9)使用加权平均的图像融合算法对步骤(8)得到的直接拼接图像的重叠区域进行融合，消除拼接缝，得到丝饼表面完整无重复区域的图像；(10)对各表面完整无重复区域的图像进行缺陷检测，确定缺陷的类型、位置与数目，从而对丝饼质量进行评级。2.根据权利要求1所述的方法，其特征在于，用于采集丝饼图像的多相机采集装置包括丝饼支撑座、圆周面采集相机、上端面采集相机以及下端面采集相机，所述上端面采集相机以及下端面采集相机各为两个，圆周面采集相机为4个相。3.根据权利要求1所述的方法，其特征在于，步骤(4)中，丝饼端面图像之间的重复区域满足：其中fov为相机的视场角，l为两相机间的距离，h为相机到丝饼表面的距离，φ为丝饼端面图像重叠区域占原图面积的比例；丝饼圆周面图像之间的重复区域满足：其中λ为丝饼圆周面图像重叠区域所占比例，fov为相机的视场角，β为两相机间的夹角大小。4.根据权利要求1所述的方法，其特征在于，步骤(5)中，所述像素调整为使用值为0的像素点对多相机采集的图像进行边缘填充；
所述曝光补偿使用增益曝光的方式进行补偿，其中增益系数通过误差函数e来进行实现：其中g
i
和g
j
为图像i和j的增益系数，R(i,j)为两图像的重叠部分，R、G、B为图像各通道分量的强度值，N
ij
为重叠部分的像素数量，σ
N
和σ
g
分别为误差和增益的标准差，通常σ
N
＝10、σ
g
＝0.1，I
ij
为重叠部分图像强度的平均值，n1和n2分别...
【专利技术属性】
技术研发人员：孙毅，李坚，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。