基于同步子区搜索的立体视觉三维位移测量方法技术

基于同步子区搜索的立体视觉三维位移测量方法，本发明专利技术涉及立体视觉三维位移测量方法，为解决时序匹配过程中未同步进行子区搜索，使测量计算效率低的问题。具体过程为：一、标定立体视觉系统，得到内外参数矩阵，采集图像，得到图像序列；二、提取左图像上各测点图像坐标，自动生成DIC匹配模板，计算搜索子区尺寸；三、得到右图像上对应测点的图像坐标；四、判断右图像上各测点DIC匹配结果是否满足极线约束关系，不满足则对DIC匹配结果进行修正；五、对左右图像序列上各测点同步进行DIC子区搜索，得到左右图像序列各测点对应匹配结果；六、得到各测点各时刻的三维坐标和三维位移。本发明专利技术用于结构三维位移测量领域。

【技术实现步骤摘要】
基于同步子区搜索的立体视觉三维位移测量方法
本专利技术涉及一种结构测量方法，特别是涉及一种三维位移测量方法。
技术介绍
在土木工程领域，数字图像相关方法(DIC)是一种区域匹配算法，于上世纪八十年代由日本学者Yamaguchi与美国教授Peters、Sutton等人同时提出，近年来，随着DIC方法的不断发展，DIC方法在立体匹配中的优势越来越明显。1983年，Sutton利用DIC对简单刚体运动进行了研究。1989年，H.A.Bruck利用Newton-Raphson方法解决亚像素搜索问题，为变形体的位移测量问题提供了解决方法。1998年，Vendroux，Smith对散斑相关精度影响的因素进行总结，随后提出了通过近似求解Hessian矩阵降低计算量。2009年，齐良育对几种亚像素搜索方法进行比较，为亚像素搜索策略的选择提供依据。同年，LanderVASSEUR，StijnMATTHYS等采用3D-DIC方法对CFRP加固的混凝土梁进行试验，为CFRP加固引起的裂缝发展情况分析提供了参考。2013年，MohammadKashfuddoja，M.Ramji使用3D-DIC方法对带孔洞的CFRP板进行试验，试验包括一侧加固，两侧加固两种情况。同年，梁晋，胡浩等针对板料大变形情况下难以测量的问题，提出了大变形分步匹配算法。2014年，刘聪应用3D-DIC方法测量了FRP包裹混凝土柱抗压试验，立体匹配选择二阶形函数。通过比较分析可以发现，上述DIC方法进行时序匹配过程中大多选用单点全区搜索算法或单点子区搜索算法，没有采用同步子区搜索算法，测量过程计算效率低下。本专利技术为解决此问题，提出基于同步子区搜索的立体视觉三维位移测量方法。对左右图像序列上各测点同步进行DIC子区搜索，提高三维位移测量方法的计算效率。
技术实现思路
本专利技术的目的是为了解决时序匹配过程中没有同步进行子区搜索，导致测量过程计算效率低下的问题，而提出的一种同步子区搜索的立体视觉三维位移测量方法。同步子区搜索的立体视觉三维位移测量方法具体过程为：步骤一、采用相机标定方法对立体视觉系统进行标定，得到立体视觉系统的内参数矩阵和外参数矩阵，对各测点采集图像，得到各测点左右图像序列；所述内参数矩阵为左相机的内参数矩阵Al和右相机的内参数矩阵Ar；所述左相机为立体视觉系统左侧相机，右相机为立体视觉系统右侧相机；所述外参数矩阵为由左相机坐标系到右相机坐标系的旋转矩阵R和平移向量T；所述测点为粘贴在被测对象表面的圆形靶标圆心；步骤二、提取初始时刻左图像上各测点的图像坐标，自动生成各测点的DIC匹配模板，并计算各测点的DIC搜索子区尺寸；所述左图像为左相机采集的图像；所述DIC方法为数字图像相关方法；步骤三、使用DIC方法对初始时刻左图像上各测点进行立体匹配，得到右图像上各对应测点的图像坐标；所述右图像为右相机采集的图像；步骤四、判断初始时刻右图像上各测点的DIC立体匹配结果是否满足极线约束关系，如果立体匹配满足极线约束关系，执行步骤五；如果立体匹配不满足极线约束关系，对不满足极线约束关系的立体匹配结果进行修正，得到右极线上距离DIC立体匹配结果最近的点，将该点作为极线修正后匹配点；步骤五、对左右图像序列上各测点同步进行DIC子区搜索，得到左右图像序列的各测点的对应匹配结果；所述同步指的是依次完成一张图像上各测点的DIC子区搜索后，依次进行另一张图像上对应各测点的DIC子区搜索；步骤六、根据立体视觉原理，对步骤五得到的左右图像序列的匹配结果进行计算，得到各测点在各时刻的三维坐标和三维位移。本专利技术的有益效果为：在土木工程领域，广泛使用的数字图像相关方法(DIC)是一种区域匹配算法。现有DIC在时序匹配过程中没有同步进行子区搜索，导致测量过程计算效率低下。本专利技术为解决此问题，提出基于同步子区搜索的立体视觉三维位移测量方法。该方法将对左右图像序列上各测点同步进行DIC子区搜索，提高三维位移测量方法的计算效率。通过五层框架地震振动台三维位测量试验数据对基于同步子区搜索的立体视觉三维位移测量方法进行验算。试验结果表明位移计和基于同步子区搜索的立体视觉三维位移测量方法测得的三条曲线具有相同的趋势，证明基于同步子区搜索的立体视觉三维位移测量方法的有效性和可靠性；使用本专利技术测量方法的同步子区搜索算法的运算所需时间是单点全区搜索算法的9.3％，是单点子区搜索算法的87.3％，计算效率得到提高。证明基于同步子区搜索的立体视觉三维位移测量方法的计算效率更高。附图说明图1为双目立体视觉系统；图2为确定初始图像上各测点的图像坐标、匹配模板、搜索子区尺寸示意图；图3为右初始图像上极线约束修正DIC立体匹配示意图；图4为初始时刻多测点同步进行DIC子区搜索匹配及修正示意图；图5为初始时刻左右图像同步进行DIC子区搜索示意图；图6为双目立体视觉模型；图7为基于同步子区搜索的立体视觉三维位移测量方法的流程图；图8为实施例一所用五层框架模型示意图；图9为实施例一工况1测点1的x方向位移图；图10为实施例一工况1测点1的y方向位移图；图11为实施例一工况1测点1的z方向位移图；具体实施方式具体实施方式一：基于同步子区搜索的立体视觉三维位移测量方法具体过程为：步骤一、采用相机标定方法对立体视觉系统进行标定，得到立体视觉系统的内参数矩阵和外参数矩阵，对各测点采集图像，得到各测点左右图像序列；所述内参数矩阵为左相机的内参数矩阵Al和右相机的内参数矩阵Ar；所述左相机为立体视觉系统左侧相机，右相机为立体视觉系统右侧相机；所述外参数矩阵为由左相机坐标系到右相机坐标系的旋转矩阵R和平移向量T；所述测点为粘贴在被测对象表面的圆形靶标圆心；步骤二、提取初始时刻左图像上各测点的图像坐标，自动生成各测点的DIC匹配模板，并计算各测点的DIC搜索子区尺寸；所述左图像为左相机采集的图像；所述DIC方法为数字图像相关方法；步骤三、使用DIC方法对初始时刻左图像上各测点进行立体匹配，得到右图像上各对应测点的图像坐标；所述右图像为右相机采集的图像；步骤四、判断初始时刻右图像上各测点的DIC立体匹配结果是否满足极线约束关系，如果立体匹配满足极线约束关系，执行步骤五；如果立体匹配不满足极线约束关系，对不满足极线约束关系的立体匹配结果进行修正，得到右极线上距离DIC立体匹配结果最近的点，将该点作为极线修正后匹配点；步骤五、对左右图像序列上各测点同步进行DIC子区搜索，得到左右图像序列的各测点的对应匹配结果；所述同步指的是依次完成一张图像上各测点的DIC子区搜索后，依次进行另一张图像上对应各测点的DIC子区搜索；步骤六、根据立体视觉原理，对步骤五得到的左右图像序列的匹配结果进行计算，得到各测点在各时刻的三维坐标和三维位移。具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中采用相机标定方法对立体视觉系统进行标定，得到立体视觉系统的内参数矩阵和外参数矩阵，对各测点采集图像，得到各测点左右图像序列；所述内参数矩阵为左相机的内参数矩阵Al和右相机的内参数矩阵Ar；所述左相机为三维位移测量系统左侧相机，右相机为三维位移测量系统右侧相机；所述外参数矩阵为由左相机到右相机坐标系的旋转矩阵R和平移向量T；所述测点为圆形靶标圆心的具体过本文档来自技高网...

【技术保护点】
1.基于同步子区搜索的立体视觉三维位移测量方法，其特征在于：所述方法具体过程如下：步骤一、采用相机标定方法对立体视觉系统进行标定，得到立体视觉系统的内参数矩阵和外参数矩阵，对各测点采集图像，得到各测点左右图像序列；所述内参数矩阵为左相机的内参数矩阵Al和右相机的内参数矩阵Ar；所述左相机为立体视觉系统左侧相机，右相机为立体视觉系统右侧相机；所述外参数矩阵为由左相机坐标系到右相机坐标系的旋转矩阵R和平移向量T；所述测点为粘贴在被测对象表面的圆形靶标圆心；步骤二、提取初始时刻左图像上各测点的图像坐标，自动生成各测点的DIC匹配模板，并计算各测点的DIC搜索子区尺寸；所述左图像为左相机采集的图像；所述DIC方法为数字图像相关方法；步骤三、使用DIC方法对初始时刻左图像上各测点进行立体匹配，得到右图像上各对应测点的图像坐标；所述右图像为右相机采集的图像；步骤四、判断初始时刻右图像上各测点的DIC立体匹配结果是否满足极线约束关系，如果立体匹配满足极线约束关系，执行步骤五；如果立体匹配不满足极线约束关系，对不满足极线约束关系的立体匹配结果进行修正，得到右极线上距离DIC立体匹配结果最近的点，将该点作为极线修正后匹配点；步骤五、对左右图像序列上各测点同步进行DIC子区搜索，得到左右图像序列的各测点的对应匹配结果；所述同步指的是依次完成一张图像上各测点的DIC子区搜索后，依次进行另一张图像上对应各测点的DIC子区搜索；步骤六、根据立体视觉原理，对步骤五得到的左右图像序列的匹配结果进行计算，得到各测点在各时刻的三维坐标和三维位移。...

【技术特征摘要】
1.基于同步子区搜索的立体视觉三维位移测量方法，其特征在于：所述方法具体过程如下：步骤一、采用相机标定方法对立体视觉系统进行标定，得到立体视觉系统的内参数矩阵和外参数矩阵，对各测点采集图像，得到各测点左右图像序列；所述内参数矩阵为左相机的内参数矩阵Al和右相机的内参数矩阵Ar；所述左相机为立体视觉系统左侧相机，右相机为立体视觉系统右侧相机；所述外参数矩阵为由左相机坐标系到右相机坐标系的旋转矩阵R和平移向量T；所述测点为粘贴在被测对象表面的圆形靶标圆心；步骤二、提取初始时刻左图像上各测点的图像坐标，自动生成各测点的DIC匹配模板，并计算各测点的DIC搜索子区尺寸；所述左图像为左相机采集的图像；所述DIC方法为数字图像相关方法；步骤三、使用DIC方法对初始时刻左图像上各测点进行立体匹配，得到右图像上各对应测点的图像坐标；所述右图像为右相机采集的图像；步骤四、判断初始时刻右图像上各测点的DIC立体匹配结果是否满足极线约束关系，如果立体匹配满足极线约束关系，执行步骤五；如果立体匹配不满足极线约束关系，对不满足极线约束关系的立体匹配结果进行修正，得到右极线上距离DIC立体匹配结果最近的点，将该点作为极线修正后匹配点；步骤五、对左右图像序列上各测点同步进行DIC子区搜索，得到左右图像序列的各测点的对应匹配结果；所述同步指的是依次完成一张图像上各测点的DIC子区搜索后，依次进行另一张图像上对应各测点的DIC子区搜索；步骤六、根据立体视觉原理，对步骤五得到的左右图像序列的匹配结果进行计算，得到各测点在各时刻的三维坐标和三维位移。2.根据权利要求1所述基于同步子区搜索的立体视觉三维位移测量方法，其特征在于：所述步骤一中采用相机标定方法对立体视觉系统进行标定，得到立体视觉系统的内参数矩阵和外参数矩阵，对各测点采集图像，得到各测点左右图像序列的具体过程为：采用张正友标定方法对立体视觉系统进行标定，以不同的姿态在空间测点所在平面摆放棋盘格标定板，采集大于等于5张标定图片进行分析，得到标定结果和立体视觉系统的内参数矩阵和外参数矩阵，使用立体视觉系统对各测点采集图像，得到各测点左右图像序列；所述不同的姿态为标定板取不同的角度和不同的位置。3.根据权利要求2所述基于同步子区搜索的立体视觉三维位移测量方法，其特征在于：所述步骤二中提取初始时刻左图像上各测点的图像坐标，自动生成各测点的DIC匹配模板，并计算各测点的DIC搜索子区尺寸的具体过程为：步骤二一、粗定位左图像上各测点的DIC匹配模板区域：在初始时刻的左相机图像上，先采取SUSAN滤波的方法对图像进行滤波去噪；再使用MATLAB自带函数，在左图像上待测靶标周围选择矩形区域，使矩形区域内只包含待测的圆形靶标；步骤二二、提取左图像上各测点的图像坐标，并自动生成各测点的DIC匹配模板：对步骤二一得到的图像进行二值化处理，通过对各矩形区域的形状参数进行计算，设定形状阈值，过滤掉非靶标区域；采用Canny算法粗略的提取靶标边界，将提取出来的靶标边界连接在一起，剔除不符合要求的非靶标边界；采用矩和曲率保持定位方法确定椭圆亚像素边缘；采用椭圆拟合方法确定椭圆圆心坐标，即左图像上各测点的图像坐标；求取椭圆各点的拟合误差，去掉误差大于5％的点，可以确定椭圆的长短轴；根据定位出圆形靶标的圆心坐标和长短轴，确定出匹配模板的大小和位置，椭圆中心坐标即为矩形模板中心的位置，椭圆的长短轴即为矩形模板的两个边长；所述椭圆指的是由于相机镜头的畸变效应，圆形靶标呈现在图像上的不是圆，是一个椭圆；步骤二三、确定各测点在初始时刻的DIC的搜索子区尺寸：确定所有测点在左相机图像中的最大运动范围，在右图像中相应地匹配出各测点的搜索范围，获得所有测点在左右图像中的搜索子区，搜索子区尺寸的计算公式如公式(1)所示：其中f为标定所用的棋盘格标定板上方格的实际尺寸，单位为mm；s为测点在左相机坐标系x方向或y方向模拟出的实际运动最大值，单位为mm；I为棋盘格标定板上方格在图像坐标系中X方向或Y方向的像素尺寸，单位为pixel；h为测点在图像坐标系中X方向或Y方向的最大运动范围，单位为pixel。4.根据权利要求3所述基于同步子区搜索的立体视觉三维位移测量方法，其特征在于：所述步骤三使用DIC方法对初始时刻左图像上各测点进行立体匹配，得到右图像上各对应测点的图像坐标的具体过程为：步骤三一：选择DIC方法的...

【专利技术属性】
技术研发人员：单宝华，吕大刚，薛志林，白志霖，王皓，于晓辉，乔雨蒙，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23