一种基于视频的车用附件缺口测量系统及方法技术方案

本发明专利技术公开了一种基于视频的车用附件缺口测量方法，如下：调用系统准备模块，确保传送带上无附件；获取当前视频流的一帧图像，调用背景建模模块；获取当前视频流的一帧图像，调用附件识别模块；调用背景建模模块；调用附件跟踪模块，获取当前图像中各个附件的具体位置；将每个附件的位置坐标参数输入对应的缺口测量模块；将每个附件的位置坐标参数输入对应的基于斜率的缺口测量模块；将同一目标前后多帧的结果输入基于多帧图像的融合测量模块，得到当前附件的最终结果；直至视频流中止。该方法利用传统图像处理算法和视频流多帧融合跟踪对某车用附件的缺口进行了在线测量，解决了现有算法适用范围窄和易受环境影响等技术问题。题。题。

【技术实现步骤摘要】
一种基于视频的车用附件缺口测量系统及方法


[0001]本专利技术涉及一种基于视频的流水线车用附件缺口测量技术，属于工业自动测量


技术介绍

[0002]随着自动化技术在工业生产中的应用不断增多，智能制造业飞速发展，同时极大地促进了国民经济的快速增长。目前工业生产领域中的智能制造系统大多数由智能机器和人类专家共同组成，它为制造自动化的概念注入了更加智能化和高度智能化的新鲜血液。汽车工业的发展，同样离不开其生产设计需要的种类繁多各式齐全的车用附件，这些附件的形状正朝着更加多样化和复杂化的方向发展。传统的测量技术一般利用X射线、量规、卡尺等测量手段，虽然这些测量技术在以往的工业生产中发挥着巨大的作用，但是这些传统检测手段越来越暴露出测量精度较低、测量数据较少、测量速度较慢、测量效率较低的问题，在快速运转的工业生产线前显得越来越力不从心。落后的传统测量技术同汽车工业发展下日益膨胀的附件测量需求之间出现了难以调和的矛盾。
[0003]行业急需新兴的测量技术在既满足高精度、高效率要求的同时又保留传统的测量技术简单、快速的特点。在这样的需求背本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频的车用附件缺口测量系统，其特征在于，包括以下模块：系统准备模块，用于搭建和标定双目视觉系统，分别获取传送带上车用附件的图像并合成为全局图像；附件识别模块，用于判断当前图像中是否有车用附件，若有则输出每个附件区域块矩形框的位置坐标；背景建模模块，用于在传送带上没有附件时对背景进行建模，获得的背景图像用于附件识别模块；附件跟踪模块，用于跟踪每个附件区域块的轨迹，并更新位置坐标；缺口测量模块包含三个子模块，及基于斜率的测量模块、基于最小四边形包围的测量模块和基于多帧图像的融合测量模块；缺口测量模块根据附件跟踪模块获得的附件的位置坐标对原始图像进行裁减，分别输入基于斜率的缺口测量模块和基于最小四边形包围的缺口测量模块，二者输出结果再输入基于多帧图像的融合测量模块，得到当前附件缺口最终尺寸；不同的附件会有单独的缺口测量模块，且这些缺口测量模块是在不同进程内单独进行的。2.一种基于视频的车用附件缺口测量方法，其特征在于，采用权利要求1所述的一种基于视频的车用附件缺口测量系统，包括以下步骤：步骤1、调用系统准备模块，确保传送带上无附件；步骤2、获取当前视频流的一帧图像，调用背景建模模块；步骤3、获取当前视频流的一帧图像，调用附件识别模块，若检测到有附件，则执行步骤5，否则执行步骤4；步骤4、调用背景建模模块，跳至步骤3；步骤5、调用附件跟踪模块，获取当前图像中各个附件的具体位置；步骤6、将每个附件的位置坐标参数输入对应的基于最小四边形包围的缺口测量模块；步骤7、将每个附件的位置坐标参数输入对应的基于斜率的缺口测量模块；步骤8、将同一目标前后多帧的步骤6和7结果输入基于多帧图像的融合测量模块，得到当前附件的最终结果；步骤9、执行步骤3，直至视频流中止。3.根据权利要求2所述的一种基于视频的车用附件缺口测量方法，其特征在于，步骤1包括：步骤1
‑
1、固定左右摄像头的空间位置，在摄像头周围布置环形光带，准备好两个相同大小的标定板放置在传送带上，标定板之间距离Δy，确保每个摄像头视野内能完全拍摄到一块标定板；步骤1
‑
2、通过张正友标定法获取两个标定板角点在三维空间坐标(X
w
,Y
w
,Z
w
)和图像中的位置坐标(u,v)，获取两个摄像头的畸变参数，根据公式计算出左右摄像头的单应性矩阵P
L
和P
R
；步骤1
‑
3、利用畸变参数对图像进行畸变矫正，将左右摄像头矫正后图像分别通过各自单应性矩阵得到Z
w
＝0的空间位置坐标(X
wl
，Y
wl
，0)和(X
wr
，Y
wr
，0)；其中，左摄像头标定板的右上角坐标为(X
wl1
，Y
wl1
，0)，右摄像头标定板的左上角坐标为(X
wr0
，Y
wr0
，0)，标定板的实际
长度为l
act
，像素长度为l
pix
，记步骤1
‑
4、计算右摄像头图像平移向量为(X
wl1
‑
X
wr0
，Y
wl1
‑
Y
wr0
+Δy
·
η，0)；步骤1
‑
5、将左右摄像头进行拼接，得到全局图像。4.根据权利要求2所述的一种基于视频的车用附件缺口测量方法，其特征在于，步骤2包括：步骤2
‑
1、在全局空间建立图像队列，队列长度为N
cap
，队列中已有帧数N
fra
(N
fra
≤N
cap
)，队列中第i帧记为F
i
(x，y)(1≤i≤N
fra
)，为队列头部，用于存放最新的背景帧；步骤2
‑
2、为N
fra
个帧产生对应权重，第i帧的权重步骤2
‑
3、生成当前背景帧5.根据权利要求2所述的一种基于视频的车用附件缺口测量方法，其特征在于，步骤3包括：步骤3
‑
1、将当前图像与背景图像进行灰度化处理，分别得到IG(x，y)和BG(x，y)；步骤3
‑
2、将两幅灰度化后的图像相减并设定阈值σ1，得到帧差图像DF(x，y)：步骤3
‑
3、对帧差图像DF(x，y)进行全局二值化处理，进一步去除杂乱噪声信号，得到二值化后的数字图像I
bin
(x，y)：其中I
bin
(x，y)为二值化后的新值，σ2为设定的阈值，V1、V2是设定的值，取值为255或0；步骤3
‑
4、将二值图像I
bin
(x，y)的前景像素点按照位置关系组合成区域块，按一定的面积、长宽比例对区域块进行筛选，若有车用附件区域块则将其筛选出并将它们编号存储。6.根据权利要求2所述的一种基于视频的车用附件缺口测量方法，其特征在于，步骤5包括：步骤5
‑
1、记第k个区域块矩形框第t帧的位置坐标为(x
k
，y
k
，h
k
，w
k
)，其中x
k
为第k个区域块矩形框左上角点的横坐标，y
k
为第k个区域块矩形框左上角点的纵坐标，h
k
为第k个区域块矩形框的像素高度，w
k
为第k个区域块矩形框的像素宽度，若为第一帧则执行步骤5
‑
2，否则执行步骤5
‑
3；步骤5
‑
2、由于传送带带动附件近似做匀速直线运动，因此对每个附件区域块创建一个线性滤波器——卡尔曼滤波器，设置第k个区域块出现的第1帧观测变量y
k1
为为状态变量状态变量的选取包含观测变量，后验估计协方差为P
k1
，状态转移矩阵A，控制转移矩阵B，观测矩阵C，测量噪声的协方差矩阵R，过程激励噪声的协方差矩阵Q，等待下一帧；步骤5
‑
3、根据第t
‑
1帧的状态，利用公式对第k个附件区域块当前第t帧的状态进行预测：
其中，u
kt
为第t帧对系统的控制增益，为第t帧系统状态的预测，为第t帧先验估计协方差，t为第k个附件区域块累计出现的帧数；从状态变量中可以提取出观测变量，进而得到预测的第t帧第k个区域块矩形框的位置坐标；步骤5
‑
4、步骤5
‑
1检测得到的区域块矩形框与步骤5
‑
3预测得到的区域块矩形框，两两计算交并比，得到...

【专利技术属性】
技术研发人员：张侃健，陶健成，方仕雄，葛健，魏海坤，
申请(专利权)人：东南大学，
类型：发明
国别省市：