【技术实现步骤摘要】
基于距离估计和姿态参数的机器视觉图像配准方法和系统
[0001]本专利技术涉及摄影测量和数字图像处理
，尤其涉及一种基于距离估计和姿态参数的机器视觉图像配准方法和系统
。
技术介绍
[0002]随着科学技术的发展，在农业生产或其他行业中，机器视觉测量对象有可能不具有特殊的图像角点和纹理特征，或者其具有的图像角点和纹理特征点不足以进行三维测量
。
[0003]当前，许多现有图像配准技术依赖特定的图像纹理特征点和角点，只能获取图像中某些具有特定纹理特征的像点的配准同名像点，所获同名像点的数量和位置无法满足图像中各目标的配准要求，从而无法有效针对配准目标图像
(
如植物叶片
)
中的测量对象的任意配准目标像点在待配准图像中得到精确配准点
。
机器视觉技术的广泛应用迫切需要一种不拘泥于某种图像角点和特定纹理特征点的测量对象像点的“无差别”的精确配准方法，以便达到精准的测量待测目标的效果
。
技术实现思路
[0004]本专利技术提供一...
【技术保护点】
【技术特征摘要】
1.
一种基于距离估计和姿态参数的机器视觉图像配准方法，其特征在于，具体包括：选取符合设备条件的待配准图像和配准目标像点的方法：待配准图像的选取方法包括视差门限值的设置和图像的选取方法；配准目标图像中的配准目标像点的选取方法包括灰度波动门限值的算法和配准目标像点的选取方法；待配准图像中包括配准目标图像；获取距离估计值的方法，包括以下两种方法中的至少一种：第一种方法为光学测量方法，包括建立相机坐标系和机器视觉测量系统的基于机器人或固定载体的本体的测量坐标系，获取各坐标系之间的姿态转换关系参数；利用通用图像纹理特征点配准算法，从各待配准图像中任意获取多组具有相同纹理特征的初步同名像点，将其转换成测量坐标系坐标，并用前方交会法测量各初步同名像点组对应的各距离参照物点在机器视觉测量系统的测量坐标系中的坐标；利用2自由度载体
、3
及以上自由度载体和固定安装载体的三种不同光学矢量算法中的至少一种，将各距离参照物点在机器视觉测量系统的测量坐标系中的坐标转换成各实时相机坐标系的坐标；第二种方法为直接用主动式测距装置测量待测物点到各位姿的相机拍摄的待配准目标图像主点的距离作为距离估计值；映射近似同名像点的方法，包括：对配准目标图像中的任意指定的符合设备要求的配准目标像点，利用距离估计值
、
相机姿态参数
、
机器视觉测量系统的结构参数和光学矢量算法，对配准目标像点对应待测物点在配准目标图像的相机坐标系中的坐标进行估计；通过测量坐标系与相机坐标系之间的映射转换，获得所述待测物点在待配准图像的实时相机坐标系中的估计坐标值，并估算所述待测物点在实时相机坐标系中所映射的近似同名像点的坐标；映射近似同名像点的方法包括顺序更替映射方法和中心映射方法中的至少一种；配准同名像点的方法，包括图像归一化算法和像素中心区域配准算法：图像归一化算法是将所有待配准图像的灰度进行归一化处理，生成图像归一化灰度数据集；像素中心区域配准算法通过建立以配准目标像素为中心的像素模板和近似同名像点为中心的搜索区域，利用搜索区域中的各像素为中心的像素模板与配准目标像素为中心的像素模板之间的对应关系，在两种像素模板区域的对应位置像素的归一化灰度的差的平方和值或归一化灰度的差的和值中，选择最小值作为所述像素与配准目标像素精确配准的依据，以及作为所述像素成为的同名像点的依据；同名像点的精确配准根据近似同名像点的映射顺序，包括顺序精确配准和中心精确配准中的至少一种；输出近似同名像点配准后的精确同名像点
。2.
根据权利要求1所述的基于距离估计和姿态参数的机器视觉图像配准方法，其特征在于，选取待配准图像的方法的步骤包括视差门限值的设置和待配准图像间的视差比较，配准目标图像中的配准目标像点的选取方法的步骤包括配准目标像点的灰度波动值计算方法和灰度波动最小门限的设置；选取符合设备条件的待配准图像和配准目标像点的步骤具体包括：获取相机拍摄的原始图像，并对原始图像进行归一化处理；设置视差门限值：设置一个各待配准图像间的主光轴夹角最大值，各待配准图像的相机主光轴间的夹角的最大值为视差门限值
θ
Max
，使得各待配准图像中的同名像点可以有足够的相似度；配准目标图像和待配准图像的选择，要求配准目标图像及待配准图像各图像间的任意主光轴夹角必须小于设备的视差最大门限值，公式如下
:
其中，是编号为
j
的配准目标图像的主光轴与编号为
j+r
的待配准图像的主光轴之间的夹角，
r
＝
1,2,
…
,m
‑1；
m
为待配准图像的数量，
θ
Max
为视差最大门限值，视差最大门限值为各个待配准图像的相机主光轴间的夹角的最大值；灰度波动门限值的算法：设置一个最小的灰度波动值
E
Min
作为门限值，使得配准目标图像中的以某一配准目标像点为中心的
n
×
n
的像素区域中的像素有足够的灰度差别度；灰度波动值的计算方法为：在配准目标图像中，选择某一配准目标像点为中心建立一个
n
×
n
的像素区域，所述灰度波动值为所述像素区域内所有像素的最大归一化灰度值和最小归一化灰度值之差，公式如下
:
其中，
E
为灰度波动值，在编号为
g
的配准目标图像中，为归一化处理后的
n
×
n
的像素区域中，所有像素坐标
(i,j)
中的归一化灰度最大值；为归一化处理后的
n
×
n
的像素区域中，所有像素坐标
(i,j)
中的归一化灰度最小值；配准目标像点的选取方法：在以某一像点为中心的
n
×
n
大小像素区域内的灰度波动值
E
大于预设的灰度波动门限值
E
Min
的情况下，将所述像点作为配准目标图像中的配准目标像点，以使配准目标图像中的以任一配准目标像点为中心的预设大小的区域中的像素有足够的灰度差别度，公式如下
:E>E
Min
输出待配准图像和配准目标像点
。3.
根据权利要求2所述的基于距离估计和姿态参数的机器视觉图像配准方法，其特征在于，获取距离估计值的方法包括基于光学测量的距离估计方法和基于主动式测距装置的距离估计方法；基于光学测量的距离估计方法包括四个步骤：步骤一，建立相机坐标系和基于机器视觉测量系统的载体的测量坐标系：在相机载体为机器视觉测量系统中的二自由度或多自由度的机器人载体的情况下，将惯性模块安装在相机所安装的机器人载体的某一独立运动部件上，在机器人载体的一个固定部件端建立基于机器视觉测量系统的测量坐标系
O
M
；相机坐标系建立方法包括以下两种方法中的至少一种：在像平面上以主点为原点建立相机坐标系或者以摄影中心
F
j
为原点建立相机坐标系；利用机器视觉测量系统的结构参数
、
相机焦距参数
f
和主点的像素坐标
(u0,v0)
，在机器视觉测量系统的测量坐标系
O
M
中表达相机摄影中心
F
j
和主点在任意拍摄姿态的点矢量；利用惯性模块获取机器视觉测量系统的机器人载体中与视觉测量相关的各独立运动部件在预设位时相对于测量坐标系
O
M
的转换关系以及获取各待配准图像对应的相机坐标系与测量坐标系
O
M
的转换关系并获取各配准图像的相机坐标系间
的转换关系转换关系和均由机器人载体的各独立运动部件上的惯性模块的监测数值计算得到；机器视觉测量系统的结构参数包括交切距
d
z
和主光轴旋转半径
ρ0，其中交切距
d
z
是相机摄影中心点
F
m
至主光轴旋转半径
ρ0所在切球上的切点
P
m
间的距离；其中是相机与相机对应的载体部件一起在预设位时相机坐标系原点的标识；在相机载体为双目或多目相机机器视觉测量系统中的固定载体的情况下，利用标靶标定各个相机的相机坐标系间的转换关系，并根据各个相机的固定安装位置，将其中一个相机的相机坐标系作为测量坐标系；步骤二，从待配准图像中任意获取
l
组具有相同纹理特征的初步同名像点，并转换为测量坐标系的坐标：在任意稳定入射光条件下，在相机以不同实时姿态拍摄的待测量目标点
B
i
的图像中，选取
m
幅符合视差门限条件的图像，作为待配准图像
I
m
；利用通用的纹理特征点配准算法对所有待配准图像
I
m
进行运算，获得待配准图像中任意的
l
组具有相同纹理特征的初步同名像点的图像坐标，将这
l
组初步同名像点的坐标进行非参数化的图像像差校正；每一组初步同名像点对应一个距离参照物点
A
i
，
l
组初步同名像点组对应
l
个距离参照物点
A
l
；在相机载体为机器视觉测量系统中的二自由度或者多自由度机器人载体的情况下，将所有初步同名像点的图像坐标利用机器视觉测量系统的结构参数
、
相机焦距参数和光学矢量算法表达成测量坐标系中的矢量；在相机载体为双目或多目相机机器视觉测量系统中的固定载体的情况下，利用相机焦距参数和光学矢量算法将所有初步同名像点的图像坐标转换成测量坐标系中的点矢量；对应机器视觉测量系统的三种不同载体，光学矢量的算法不同：第一种是在机器视觉测量系统安装在2自由度的机器人载体上的情况下，将初步同名像点的像素坐标转换成测量坐标系
O
M
中距离参照物点的像点矢量的光学矢量算法：设初步同名像点的像素坐标为对于矢量三角形在测量坐标系中表达这三个矢量关系，有光学矢量式其中：为摄影中心点
F
j
在测量坐标系
O
M
中的坐标矢量，是初步同名像点在测量坐标系
O
M
中的坐标矢量，是测量坐标系
O
M
中摄影中心点
F
j
到初步同名像点间的矢量；
为已知量，表达为为已知量，表达为其中，为初步同名像点的像素坐标，
(u0,v0)
为图像主点的像素坐标，
p
x
和
p
y
为图像坐标系中
x
和
y
方向一个像素的物理尺寸；则则所以得到：其中，当相机在预设位
p
时，矢量在测量坐标系中表达为
[0,
‑
ρ0,d
z
+f]
T
；相机预设位时相机坐标系各轴与测量坐标系各轴平行，从测量坐标系
O
M
到预设位的相机坐标系间的转换矩阵为从预设位的相机坐标系到实时位
j
的相机坐标系的转换矩阵和均由机器人各独立运动部件上的惯性模块的监测数值计算而得，为已知；输出初步同名像点的测量坐标系坐标矢量第二种是在机器视觉测量系统安装在3及以上自由度的机器人载体上的情况下，将初步同名像点的像素坐标转换成测量坐标系中距离参照物点的像点矢量的光学矢量算法如下：设初步同名像点的像素坐标为距离参照物点
A
i
在任意待配准图像
I
j
中的像点在测量坐标系中的光学矢量为：
其中：其中：其中：所以所以又其中又其中又其中所以所以其中
,
为已知量，所以得到：
其中，其中，表示独立运动部件
L
k
的矢量从测量坐标系到相机坐标系的旋转矩阵的逆；表示相机位于实际位置
j
时的标识；表示机器人载体中安装有相机的独立运动部件
L
k
的位于预设位
p
的标识，
F
p
表示相机摄影中心点
F
在相机所在独立运动部件在预设位
p
时的标识；
k
表示机器人载体中与相机运动相关联的独立运动载体的数量和序号；
L
k
表示机器人载体中第
k
个安装有相机的独立运动部件，
l
k
表示机器人载体的第
k
个独立运动部件的臂长；是独立运动部件
L
k
的矢量从测量坐标系到相机坐标系的旋转矩阵的逆，是在某个非独立运动部件
L
k
的运动单元
m
内，独立运动部件
L
k
的所有
n
次运动的旋转矩阵的乘积；将除安装有相机的独立运动部件以外的所有与相机运动相关联的各独立运动部件以独立运动次序排序，
m
表示独立运动单元的次序号，排序函数为
k(m)
，
m
同时表示安装有相机的独立运动部件
L
k
以外的其他所有独立运动部件的运动单元数或第
m
个运动单元；每个运动单元对应安装有相机的独立运动部件
L
k
的
n
次运动；安装有相机的独立运动部件的
n
次运动中的每一次运动或者其他各相关独立运动部件的第
m
个运动单元
L
k
的每次运动中，任何一次运动对应一个独立运动部件旋转端的运动，
n
表示安装有相机的独立运动部件
L
k
在其他独立运动部件
L
(k
‑
i)(m)
的第
m
个运动单元里的关联运动次数，在不同的运动单元内
n
值不同；第
k
个独立运动部件
L
k
的部件端固定有相机，相对于其他独立运动部件，第
k
个独立运动部件与机器人载体的载体本体之间的视觉测量相关的独立运动部件数最多；机器人载体每一次运动对应一个独立运动部件旋转端的运动；表示除安装有相机的独立运动部件外的其他独立运动部件在第
m
个运动单元后的姿态时相对于
(m
‑
1)
个运动单元后的姿态之间的旋转矩阵；表示安装有相机的独立运动部件
L
k
在任一运动单元内第
n
‑1次运动后的实际位到第
n
次运动后的实际位之间的姿态坐标系转换矩阵；表示第
k
个安装有相机的独立运动部件
L
k
位于预设位时，测量坐标系
O
M
到安装有相机的独立运动部件
L
k
对应的预设位的姿态坐标系之间的旋转变换矩阵；转换矩阵
和均由机器人载体的各独立运动部件上的惯性模块的监测数值计算而得，均为已知；第三种是在机器视觉测量系统为安装于固定载体上的双目或多目相机的情况下，将初步同名像点的像素坐标转换成测量坐标系中距离参照物点的像点矢量的光学矢量算法：设的像素坐标为距离参照物点
A
i
在待配准图像
I
j
中的像点在测量坐标系
O
M
中的矢量为：距离参照物点
A
i
在待配准图像
I
j
中的像点在测量坐标系
O
M
中的矢量为：中的矢量为：中的矢量为：其中：和为标定已知量，据此获得所有
m
个待配准图像中参照点
A
i
的所有像点在测量坐标系中的坐标；由各固定的相机依据靶标标定计算而得，为已知；步骤三，获得测量坐标系的距离参照物点：将像差校正后所获得的
l
组每组
m
个初步同名像点的测量坐标系坐标，分别与对应的实时相机拍摄位置姿态时的光学中心点
F
m
的测量坐标系坐标构成共线方程；选一组初步同名像点利用共线方程进行前方交会运算，获得距离参照物点
A
i
的测量坐标系坐标选取每组初步同名像点并进行前方交会运算，获取
l
组初步同名像点对应的
l
个距离参照物点
A
l
的测量坐标系坐标；步骤四，获取待测点的距离估计值对于配准目标图像中任意指定的符合设备灰度波动门限要求的配准目标像点获取配准目标像点对应的待测点
B
i
在配准目标图像以及其他各待配准图像
I
j
中的近似配准像点所对应的估计待测物点所获取的各估计待测物点在各实时拍摄位姿的相机坐标系中的距离估计值用代入；对于某一待测量目标
B
i
，将实时相机位置姿态时拍摄的符合视差门限条件的
m
幅包含待测量目标
B
i
的像点的图像
I
j
作为待配准图像，将其中一幅待配准图像选作配准目标图像；
在配准目标图像中，从
l
个距离参照物点中，选取与待测量目标
B
i
的配准目标像点图像距离接近的距离参照物点的像点将对应的参照点
A
i
作为配准目标图像点对应待测物点
B
i
的距离参照物点；距离参照物点
A
i
的坐标在各相机坐标系中表达为将所选距离参照物点
A
i
在测量坐标系中的坐标值转换成各待配准图像所对应的已知实时拍摄姿态的相机坐标系中的坐标值并将相机坐标系中的坐标值作为待测物点
B
i
在实时相机坐标系中的
z
坐标距离估计值对应机器视觉测量系统的不同载体，将距离参照物点
A
i
在测量坐标系中的坐标值转换成各待配准图像所对应的已知实时拍摄姿态的相机坐标系中的坐标值采用对应的光学矢量算法：第一种是在机器视觉测量系统安装在2自由度的机器人载体上的情况下，对应的距离参照物点
A
i
在各相机坐标系中的光学矢量算法为：其中：其中：为测量坐标系中已知的距离参照物点
A
i
的矢量的矢量的矢量所以可得：所以可得：输出第二种是在机器视觉测量系统安装在3及以上自由度的机器人载体上的情况下，对应的距离参照物点
A
i
在任意待配准图像
I
j
所在的相机坐标系中的光学矢量的算法为：其中，其中，为测量坐标系中已知的距离参照物点
A
i
的矢量；
则，又有其中，其中，其中，则
所以得到
:
输出其中，表示安装有相机的独立运动部件
L
k
所在的相机坐标系相对于任一与视觉测量关联的独立运动部件
L
k(m)
所在坐标系的旋转矩阵，
L
k(m)
的臂长是
l
k(m)
，，第三种是在机器视觉测量系统为安装于固定载体的双目或多目相机的情况下，对应的距离参照物点
A
i
在任意待配准图像
I
j
所在的相机坐标系
O
j
中的光学矢量算法：其中旋转矩阵和为标定值，输出基于主动式测距装置的距离估计方法包括：在某一待配准图像所对应的相机姿态时，利用主动式测距装置通过能量发射和反射接
收方式近似测量待测物点与相机在各拍摄位姿时的相机光学中心的距离，输出作为各个相机坐标系中的对应待测物点的距离参照，代入估计待测物点的坐标
4.
根据权利要求3所述的基于距离估计和姿态参数的机器视觉图像配准方法，近似同名像点映射包括顺序更替映射和中心映射这两种方法中的至少一种，其特征在于，顺序更替的近似同名像点映射方法是通过顺序更替的映射转换，获得待测物点在...
【专利技术属性】
技术研发人员：王建仑，邓黄天赐，黄盛，胡宝月，陈虎圣，肖思荣，
申请(专利权)人：中国农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。