一种立体视觉结构三维变形全场测量方法技术

一种立体视觉结构三维变形全场测量方法，本发明专利技术涉及立体视觉结构三维变形全场测量方法。本发明专利技术的目的是为了解决现有N‑R方法计算量大，耗时长，精度低，鲁棒性差，以及最小二乘方法计算初值选取不当会导致结果产生较大误差的问题。过程为：一、采集土木实验试件图像，得到所有网格节点初始三维坐标；二、对所有网格节点进行分块匹配，如果分块匹配出现误匹配，执行三；如果分块匹配正确，得到匹配后网格节点的坐标；三、对出现误匹配的节点进行大变形下图像匹配，得到匹配后网格节点的坐标；四、构造形函数，得到位移场；五、采用格林应变张量对四得到的位移场进行计算得到应变场，将位移场和应变场输出。本发明专利技术用于结构测量领域。

Three dimensional deformation full field measurement method for stereo vision structure

The invention discloses a stereoscopic vision structure three-dimensional deformation full field measuring method, and relates to a three-dimensional deformation field measurement method of stereoscopic vision structure. The purpose of the invention is to solve the existing N R method calculation, time-consuming, low accuracy, poor robustness, initial value will lead to the results have a greater error of the improper calculation and least square method. The process is: first, the acquisition of civil experimental specimen images, all grid nodes initial 3D coordinates; two, all grid nodes are divided into blocks, and if the block matching error matching, the implementation of the three; if the block matching, coordinate grid node matching; node three, the false matching large deformation image matching, coordinate grid node matching; four, the shape function is constructed, the displacement field is obtained; five, the calculated strain field Green strain tensor on the displacement four field, the displacement field and strain field output. The invention is used in the field of structural measurement.

【技术实现步骤摘要】
一种立体视觉结构三维变形全场测量方法
本专利技术涉及立体视觉结构三维变形全场测量方法。
技术介绍
在整个三维变形场测量过程中，需要以测区未变形时刻的三维坐标为参照系，所以初始时刻左右图像的立体匹配是整个测量过程的第一步。由于要求解测区多点的三维坐标，因此采用全局搜索方法会加大计算量。针对该问题，许多学者提出了相应的解决方法。Helm等提出了逆向投影的方法进行搜索匹配，但该方法模型复杂，实现起来比较繁琐。陈华采用外极线约束与子区灰度相关相结合的方式进行匹配，但需要求解基础矩阵，与相机内外参数有关，因此，相机内外参数的偏差会引起匹配误差。经过初始时刻测区立体匹配后，测区中所有网格节点的三维坐标便确定下来。为确定变形过程中任意时刻的左右图像序列中的匹配点，需要对所有测点进行时序匹配。常用的方法为：通过相关函数计算出图1所示虚拟网格测点1的位移模式参数，以此为基础，在网格横纵两个方向以扫描方式进行位移传递，求得所有网格测点的位移模式，将其作为初值采用N-R方法进行迭代，得到匹配点，但该方法会因某一点匹配失败而影响相邻点的初始值获取。为解决该问题，叶南提出了区域生长初始匹配方法，利用设定的步长向周围4个方向或8个方向进行搜索，但该方法需要经过反复的入栈与出栈操作，过程复杂。但某些情况下，为了解构件的受力性能或材料的特性，有必要进行更为详细的位移场测量。常用的位移场求解方法为：在选定的位移模式基础上采用N-R，最小二乘方法迭代求解。其中，N-R计算量大，耗时长，精度低，鲁棒性差，需要计算Hessian矩阵，并且需要通过插值的方式获得亚像素位置灰度值与灰度梯度；最小二乘方法较N-R相对简单，且计算精度也较高，但计算初值选取不当会导致结果产生较大误差。
技术实现思路
本专利技术的目的是为了解决现有N-R方法计算量大，耗时长，精度低，鲁棒性差，以及最小二乘方法计算初值选取不当会导致结果产生较大误差的问题，而提出一种立体视觉结构三维变形全场测量方法。一种立体视觉结构三维变形全场测量方法具体过程为：步骤一、采集土木实验试件(钢筋混凝土梁、钢筋混凝土柱)图像，采用实心圆靶标三步法对图像进行标定，初始测区的立体匹配，得到所有网格节点初始三维坐标；步骤二、对步骤一得到的所有网格节点进行分块匹配，通过相关函数阈值判断匹配是否失效，如果分块匹配出现误匹配，执行步骤三；如果分块匹配正确，得到匹配后网格节点的坐标；步骤三、对步骤二得到的出现误匹配的节点进行大变形下图像匹配，得到匹配后网格节点的坐标；步骤四、构造形函数，利用形函数对步骤二和步骤三得到的匹配后网格节点进行拟合，得到位移场；步骤五、采用格林应变张量对步骤四得到的位移场进行计算得到应变场，将位移场和应变场输出。本专利技术的有益效果为：本专利技术针对多点测量过程中计算耗时长的问题，提出了分块匹配算法。为了克服大变形下误匹配问题,在分段位移传递法的基础上，引入相关函数阈值。为了提高结构位移场计算的精度和鲁棒性，借鉴成熟的有限元思想，进行位移场的建立。最终提供一种立体视觉结构三维变形全场测量方法，降低了计算量，缩短耗时，提高了精度和鲁棒性以及不会出现初值选取不当导致结果产生较大误差的问题。本专利技术提供一种立体视觉结构三维变形全场测量方法及软件，包括：首先在初始时刻左右图像中，通过选点和设定步长在测量区域形成虚拟网格，根据数字图像相关方法对所有网格节点进行立体匹配，求解测区内所有网格节点初始三维坐标。然后将左、右测量区域分为9个区格，根据网格节点所在区格的位置进行局部搜索，对所有测点进行时序匹配。对于大变形的匹配问题，通过相关系数阈值判断匹配是否失效，进而对参考图像进行更新。时序匹配完成后求得离散点三维位移，通过滑动平均方法对位移做平滑处理并采用拉格朗日插值多项式构造形函数求解位移场，将得到的位移场带入格林应变张量完成应变场的求解。使用MATLAB编译立体视觉结构三维变形全场测量软件。立体视觉结构三维变形全场测量软件可完成结构三维位移场、应变场计算与结果的可视化输出。通过拉伸试件位移测量试验可以发现使用立体视觉方法测得的位移与引伸计测的数据吻合较好，立体视觉方法测量误差均值小于0.04mm：表明该方法具有较高的测量精度；通过对拉伸试件应变测量试验中试件在拉伸过程中，由于应变片量程仅为20000με，因此仅测到了较短加载时间内的应变数据，而立体视觉方法却完成了整个加载过程的应变测量任务，所测应变数据接近87000με，体现了本专利技术用于全过程应变测量的优势。附图说明图1为生成的网格图；图2为测量区域与虚拟网格图；图3为网格区域分块；图4为大变形下匹配搜索示意图；图5为16节点单元示意图；图6为立体视觉结构三维变形全场测量算法流程图；图7为标定模式示意图；图8为计算分析模式示意图；图9为结果输出模式示意图；图10为试件位移场测量区域；图11为t＝20s试件拉伸横向位移场；图12试件应变场测量区域；图13为t＝100s试件拉伸方向应变场。具体实施方式具体实施方式一：本实施方式的一种立体视觉结构三维变形全场测量方法具体过程为：本专利技术提供一种立体视觉结构三维变形全场测量方法及软件，包括：首先选取初始时刻左右图像作为初始时刻参考图像，通过选点和设定步长在初始时刻参考图像中生成测量区域并形成虚拟网格，根据数字图像相关方法对所有网格节点进行立体匹配，求解测区内所有网格节点初始三维坐标。然后将左、右测量区域分为9个区格，根据网格节点所在区格的位置进行局部搜索，对所有测点进行时序匹配。对于大变形的匹配问题，通过相关系数阈值判断匹配是否失效，进而对参考图像进行更新。时序匹配完成后求得离散点三维位移，通过滑动平均方法对位移做平滑处理并采用拉格朗日插值多项式构造形函数求解位移场，将得到的位移场带入格林应变张量完成应变场的求解。使用MATLAB编译立体视觉结构三维变形全场测量软件。立体视觉结构三维变形全场测量软件可完成结构三维位移场、应变场计算与结果的可视化输出。包括以下步骤：步骤一、采集土木实验试件(如钢筋混凝土梁、钢筋混凝土柱)图像，采用实心圆靶标三步法对图像进行标定，初始测区的立体匹配，得到所有网格节点初始三维坐标；步骤二、对步骤一得到的所有网格节点进行分块匹配，通过相关函数阈值判断匹配是否失效，如果分块匹配出现误匹配，执行步骤三；如果分块匹配正确，得到匹配后网格节点的坐标；步骤三、对步骤二得到的出现误匹配的节点进行大变形下图像匹配，得到匹配后网格节点的坐标；通过自己设定相关函数的阈值，进行时序匹配时，任意时刻的左/右图像与左/右参考图像计算所得到的相关系数与设计的相关函数阈值比较，认为大于相关函数阈值的为小变形，小于相关函数阈值的为大变形；步骤四、构造形函数，利用形函数对步骤二和步骤三得到的匹配后网格节点进行拟合，得到位移场；步骤五、采用格林应变张量对步骤四得到的位移场进行计算得到应变场，将位移场和应变场输出。具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中采集土木实验试件(如钢筋混凝土梁、钢筋混凝土柱)图像，采用实心圆靶标三步法对图像进行标定，初始测区的立体匹配，得到所有网格节点初始三维坐标；具体过程为：在整个三维变形场测量过程中，需要以测区未变形时刻的三维坐标为参照系，所以初始时刻左右图像的立体本文档来自技高网...

【技术保护点】
一种立体视觉结构三维变形全场测量方法，其特征在于：所述方法具体过程为：步骤一、采集土木实验试件图像，采用实心圆靶标三步法对图像进行标定，初始测区的立体匹配，得到所有网格节点初始三维坐标；步骤二、对步骤一得到的所有网格节点进行分块匹配，通过相关函数阈值判断匹配是否失效，如果分块匹配出现误匹配，执行步骤三；如果分块匹配正确，得到匹配后网格节点的坐标；步骤三、对步骤二得到的出现误匹配的节点进行大变形下图像匹配，得到匹配后网格节点的坐标；步骤四、构造形函数，利用形函数对步骤二和步骤三得到的匹配后网格节点进行拟合，得到位移场；步骤五、采用格林应变张量对步骤四得到的位移场进行计算得到应变场，将位移场和应变场输出。

【技术特征摘要】
1.一种立体视觉结构三维变形全场测量方法，其特征在于：所述方法具体过程为：步骤一、采集土木实验试件图像，采用实心圆靶标三步法对图像进行标定，初始测区的立体匹配，得到所有网格节点初始三维坐标；步骤二、对步骤一得到的所有网格节点进行分块匹配，通过相关函数阈值判断匹配是否失效，如果分块匹配出现误匹配，执行步骤三；如果分块匹配正确，得到匹配后网格节点的坐标；步骤三、对步骤二得到的出现误匹配的节点进行大变形下图像匹配，得到匹配后网格节点的坐标；步骤四、构造形函数，利用形函数对步骤二和步骤三得到的匹配后网格节点进行拟合，得到位移场；步骤五、采用格林应变张量对步骤四得到的位移场进行计算得到应变场，将位移场和应变场输出。2.根据权利要求1所述一种立体视觉结构三维变形全场测量方法，其特征在于：所述步骤一中采集土木实验试件图像，采用实心圆靶标三步法对图像进行标定，初始测区的立体匹配，得到所有网格节点初始三维坐标；具体过程为：步骤一一、获取左测量区域和右测量区域：双目立体视觉系统对土木实验试件图像进行采集，在初始时刻左参考图像中任意取两点，以任意取的两点为矩形中对角点形成一个矩形区域，该矩形区域定义为左测量区域；然后在初始时刻右参考图像中匹配出对应于左图像上的矩形测量区域，定义为右测量区域；步骤一二、在初始时刻左参考图像中形成虚拟网格，过程为：在形成的左测量区域中任意取两点，设定两个方向的步长，生成网格图；步骤一三、右图像网格节点搜索匹配，过程为：对于网格图中初始时刻左参考图像的左测量区域中任意初始测点1，在右测量区域搜索，当找到初始测点1的匹配点后，针对于初始时刻左参考图像中的测点1的相邻测点，在右测量区域以找到的初始测点1的匹配点为中心进行区域搜索，找到测点1的相邻测点的匹配点；直至在初始时刻右参考图像中找到与初始时刻左参考图像中所有任意初始测点相匹配的网格节点；步骤一四、基于步骤一三得到的网格节点匹配结果求解左测量区域所有网格节点图像坐标右测量区域所有网格节点图像坐标得到的初始时刻的网格节点的实际三维坐标(X0,Y0,Z0)。3.根据权利要求2所述一种立体视觉结构三维变形全场测量方法，其特征在于：所述步骤二中对步骤一得到的所有网格节点进行分块匹配，通过相关函数阈值判断匹配是否失效，如果分块匹配出现误匹配，执行步骤三；如果分块匹配正确，得到匹配后网格节点的坐标；具体过程为：步骤二一、确定每个网格节点所在区域，过程为：将所有网格节点区域分为9个等面积的部分，分别编号为1、2、3、4、5、6、7、8、9，依次设测点1坐标为(x1,y1)，测点9坐标为(x9,y9)；步骤二二、设定搜索范围长度为L，判断初始时刻左参考图像中任意节点的图像坐标(xl,yl)所在区格位置，并分以下几种情况讨论：若且即节点位于区格1，则节点在待匹配下一时刻图中的搜索区域为：x1≤xl*≤xl+L，y1≤yl*≤yl+L；其中，(xl*,yl*)为待匹配的下一时刻左图像中节点位置坐标；若且即节点位于区格2，则节点在待匹配下一时刻图中的搜索区域为：x1-L≤xl*≤xl+L，y1≤yl*≤yl+L；若且即节点位于区格3，则节点在待匹配下一时刻图中的搜索区域为：xl-L≤xl*≤x9，y1≤yl*≤yl+L；若且即节点位于区格4，则节点在待匹配下一时刻图中的搜索区域为：x1≤xl*≤xl+L，yl-L≤yl*≤yl+L；若且即节点位于区格5，则节点在待匹配下一时刻图中的搜索区域为：xl-L≤xl*≤xl+L，yl-L≤yl*≤yl+L；若且即节点位于区格6，则节点在待匹配下一时刻图中的搜索区域为：xl-L≤xl*≤x9，yl-L≤yl*≤yl+L；若且即节点位于区格7，则节点在待匹配下一时刻图中的搜索区域为：x1≤xl*≤xl+L，yl-L≤yl*≤y9；若且即节点位于区格8，则节点在待匹配下一时刻图中的搜索区域为：xl-L≤xl*≤xl+L，yl-L≤yl*≤y9；若且即节点位于区格9，则节点在待匹配下一时刻图中的搜索区域为：xl-L≤xl*≤x9，yl-L≤yl*≤y9；设定搜索范围长度为L，判断初始时刻右参考图像中任意节点的图像坐标(xr,yr)所在区格位置，并分以下几种情况讨论：若且即节点位于区格1，则节点在待匹配下一时刻图中的搜索区域为：其中，为待匹配的下一时刻右图像中节点位置坐标；若且即节点位于区格2，则节点在待匹配下一时刻图中的搜索区域为：若且即节点位于区格3，则节点在待匹配下一时刻图中的搜索区域为：若且即节点位于区格4，则节点在待匹配下一时刻图中的搜索区域为：若且即节点位于区格5，则节点在待匹配下一时刻图中的搜索区域为：若且即节点位于区格6，则节点在待匹配下一时刻图中的搜索区域为：若且即节点位于区格7，则节点在待匹配下一时刻图中的搜索区域为：若且即节点位于区格8，则节点在待匹配下一时刻图中的搜索区域为：若且即节点位于区格9，则节点在待匹配下一时刻图中的搜索区域为：确定初始时刻左右参考图像节点位置所在区格之后，将每一帧的左图像与初始时刻左参考图像进行匹配，并将匹配得到的相关系数CZNCC与设定的相关函数阈值C相比较；将每一帧的右图像与初始时刻右参考图像进行匹配，并将匹配得到的相关系数CZNCC与设定的相关函数阈值C相比较；若ti时刻左图像与初始时刻左参考图像匹配得到的相关系数大于等于设定的相关函数阈值C，则说明ti时刻左图像处在小变形阶段，匹配正确，得到匹配后ti时刻左图像网格节点图像坐标反之则说明ti时刻左图像处在大变形阶段，匹配失效，则执行步骤三；若ti时刻右图像与初始时刻右参考图像匹配得到的相关系数大于等于设定的相关函数阈值C，则说明ti时刻右图像处在小变形阶段，匹配正确，得到匹配后ti时刻右图像网格节点图像坐标反之则说明ti时刻右图像处在大变形阶段，匹配失效，则执行步骤三。根据双目立体视觉模型原理，得到小变形阶段网格节点在ti时刻的实际三维坐标(Xi,Yi,Zi)。4.根据权利要求3所述一种立体视觉结构三维变形全场测量方法，其特征在于：所述步骤三中对步骤二得到的出现误匹配的节点进行大变形下图像匹配，得到匹配后网格节点的坐标；具体过程为：若tk时刻左图像与初始时刻左参考图像的相关系数小于设定的相关函数阈值C，则说明有大变形出现，此时初始时刻左参考图像更新为tk-1时刻左图像；左图像中tk及以后时刻的图像与更新的左参考图像做匹配，进行相关函数阈值的比较，直到所有图像匹配完毕；若tk时刻右图像与初始时刻右参考图像的相关系数小于设定的相关函数阈值C，则说明有大变形出现，此时初始时刻右参考图像更新为tk-1时刻右图像；右图像中tk及以后时刻的图像与更新的右参考图像做匹配，进行相关函数阈值的比较，直到所有图像匹配完毕；更新的过程中左右图像同时进行；得到大变形阶段tk时刻的左图像网格节点图像坐标tk时刻的右图像网格节点图像坐标最后，由时序匹配结果可以得到各阶段立体匹配结果；根据双目立体视觉模型原理得到tk时刻的网格节点的实际三维坐标(Xk,Yk,Zk)，由此获得tk时刻网格节点的空间位置，即匹配后网格节点坐标。5.根据权利要求4所述一种立体视觉结构三维变形全场测量方法，其特征在于：所述步骤四中构造形函数，利用形函数对步骤二和步骤三得到的匹配后网格节点进行拟合，得到位移场；具体过程为：步骤四一、构建形函数；过程为：(1)构建一维拉格朗日多项式：在ξ方向，一维拉格朗日多项式为：

【专利技术属性】
技术研发人员：单宝华，袁文厅，王皓，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23