基于多通道显微视觉引导的微装配定位加速方法及系统技术方案

本发明专利技术公开了一种基于多通道显微视觉引导的微装配定位加速方法及系统，包括：构建多通道显微视觉定位目标函数；通过克罗内克积和列向量转换，对算法空间复杂度进行降维；在迭代求解过程中，将组合矩阵转换为常量矩阵，减少迭代过程中中间变量的计算量

【技术实现步骤摘要】
基于多通道显微视觉引导的微装配定位加速方法及系统


[0001]本专利技术属于微装配与微操作系统定位
，本专利技术涉及一种基于多通道显微视觉引导的微装配定位加速方法及系统
。

技术介绍

[0002]微装配与微操作技术的主要特点是其操作对象微小，因而要求微装配与微操作设备具有高的定位精度
、
较多的操作功能和自由度
。
如果用手工操作只能借助适当的观察和操作辅助手段，而且要花费很多的时间，并对操作者提出很高的要求，才能完成微机械的装配
。
目前，微装配与微操作技术仍然处于发展阶段
。
现有的微操作系统主要依靠操作员的技巧，然而受操作人员本身的限制，不能处理微小器件和工具
。
如果给微系统增加视觉定位功能，那么可以为操作提供引导信息，这样会大大提升操作的准确度与效率
。
[0003]基于目标函数的位姿信息解算是常用的视觉定位算法，在微装配领域得到很好的发展与应用
。
虽然当前视觉定位技术发展到一个较高的水平，但是对于算法的执行效率以及联合多通道的视觉定位加速技术仍需进一步完善
。
首先算法的复杂度可以进一步降低，减少迭代过程中中间变量的计算量，有利于从软件层面提升速度
。
另一方面，计算机视觉和图像处理算法属于密集型计算，图像的分辨率日趋变大，需要强大的硬件系统实时处理这些大图像
。GPU
有许多并行处理单元，这些核心由流多处理器的网格体构成
。
而
CUDA
架构程序是作为一系列并行运行的多线程来执行的
。
当前，
CUDA
架构仅支持
NVIDIA GPU
，可以将
GPU
看作多个块的组合，每个块可以执行多个线程，每个块绑定到
GPU
上的不同流多处理器
。
因此基于
GPU
的
CUDA
架构能够很好的实现视觉定位方法的硬件加速
。
硬件加速主要在于提升算法的数学运算效率，即数学运算操作和访存操作的比率
。
但不是通过最大化每个线程的运算量和最小化访存时间就可以取得最好的数学运算效率
、
提升性能
。
常见的内核执行有三个瓶颈：卡在计算瓶颈上，卡在访存上和卡在延迟掩盖上
。
对于特定的内核，如果卡在计算上，则应当考虑将一些计算等效地转换成访存，例如一些运算可以尝试转换成存储器查表；而卡在访存上，则可以将一些访存转换成对应的计算，例如一些数据不是重新载入，而是直接计算出来
。

技术实现思路

[0004]本专利技术的目的在于提供一种基于多通道显微视觉引导的微装配定位加速方法及系统，利用多个相机实现多通道的图像采集，并对面向显微视觉引导的微装配实时定位进行算法优化和硬件并行加速
。
首先在视觉定位算法层面进行改进，减小算法的空间复杂度；然后通过
GPU
显卡的
CUDA
架构实现程序的并行计算，进一步提升微装配实时定位方法的运行效率
。
[0005]实现本专利技术目的的技术解决方案为：一种基于多通道显微视觉引导的微装配定位加速方法，包括以下步骤：
S01
：构建多通道显微视觉定位目标函数；
S02
：通过克罗内克积和列向量转换，对算法空间复杂度进行降维；
S03
：在迭代求解过程中，将组合矩阵转换为常量矩阵，减少迭代过程中中间变量的计算量
。
[0006]优选的技术方案中，所述步骤
S03
之后还包括硬件加速，包括：设计主函数，通过
CUDA
动态内存分配函数在设备端分配计算数据的内存；设计
GPU
内核函数，实现算法的并行计算，内核函数的数据从设备的内存复制到主机的内存中，由
CUDA
内存拷贝函数完成；对设备端
CUDA
环境参数进行初始化，设置线程块以及对应线程的数量，把用于定位的空间点数据导入到
GPU
端，完成数据的配置；启动设计的内核函数进行多通道计算，硬件加速设备端和算法主机端存在数据的互联互通，待解算完成后设备端进行内存释放，并结束所有线程
。
[0007]优选的技术方案中，所述步骤
S01
构建多通道显微视觉定位目标函数包括：引入了仿射矩阵，对圆形标志点投影后的椭圆不确定性进行描述，目标函数为：
[0008]其中，表示相机的编号，，是视觉系统的通道数；，分别是旋转矩阵和平移向量；是单位矩阵；是视线方向投影矩阵，作用于物方点；是空间点在第个相机中的归一化坐标
。
[0009]优选的技术方案中，所述步骤
S02
中通过克罗内克积和列向量转换的方法包括：根据矩阵的向量化运算法则，并通过克罗内克积进行转换，对目标函数进行等价变换：
[0010]其中，符号表示：；符号是克罗内克积的运算符；表示把多维矩阵转换成列向量的运算；进一步转换成：
[0011]其中，，是一个常数
。
[0012]优选的技术方案中，所述步骤
S03
中将组合矩阵转换为常量矩阵包括：在迭代求解过程中，将平移向量看做一个中间量，不需要每次迭代都输出的值，根据目标函数，有下式成立：
[0013]根据克罗内克积的性质，得到：
[0014]由于在开始迭代之前，所有空间点的质心坐标和为0，由此消除单位矩阵，得到关于的加速表达式为：
[0015]基于引入扰动仿射项，得到沿着视线的投影点坐标的平均值：
[0016]其中，表示迭代的次数；为了采用绝对定向进行迭代求最优解，需要计算中间矩阵：
[0017]进一步改进算法结构，令，即中间矩阵的向量化表示形式，则进一步表示为：
[0018]此时，通过奇异值分解得到，，是正交矩阵，是对角矩阵；然后通过迭代算法更新，式子中的组合矩阵表示成：
[0019]由于，所以有：
[0020]从上式中得到矩阵是一个常量矩阵
。
[0021]本专利技术公开了一种基于多通道显微视觉引导的微装配定位加速系统，包括：目标函数构建模块，构建多通道显微视觉定位目标函数；降维模块，通过克罗内克积和列向量转换，对算法空间复杂度进行降维；迭代计算模块，在迭代求解过程中，将组合矩阵转换为常量矩阵，减少迭代过程中中间变量的计算量
。
[0022]优选的技术方案中，还包括硬件加速模块，硬件加速方法包括：设计主函数，通过
CUDA
动态内存分配函数在设备端分配计算数据的内存；设计
GPU
内核函数，实现算法的并行计算，内核函数的数据从设备的内存复制到主机的内存中，由
CUDA
内存拷贝函数完成；对设备本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多通道显微视觉引导的微装配定位加速方法，其特征在于，包括以下步骤：
S01
：构建多通道显微视觉定位目标函数；
S02
：通过克罗内克积和列向量转换，对算法空间复杂度进行降维；
S03
：在迭代求解过程中，将组合矩阵转换为常量矩阵，减少迭代过程中中间变量的计算量
。2.
根据权利要求1所述的基于多通道显微视觉引导的微装配定位加速方法，其特征在于，所述步骤
S03
之后还包括硬件加速，包括：设计主函数，通过
CUDA
动态内存分配函数在设备端分配计算数据的内存；设计
GPU
内核函数，实现算法的并行计算，内核函数的数据从设备的内存复制到主机的内存中，由
CUDA
内存拷贝函数完成；对设备端
CUDA
环境参数进行初始化，设置线程块以及对应线程的数量，把用于定位的空间点数据导入到
GPU
端，完成数据的配置；启动设计的内核函数进行多通道计算，硬件加速设备端和算法主机端存在数据的互联互通，待解算完成后设备端进行内存释放，并结束所有线程
。3.
根据权利要求1所述的基于多通道显微视觉引导的微装配定位加速方法，其特征在于，所述步骤
S01
构建多通道显微视觉定位目标函数包括：引入了仿射矩阵，对圆形标志点投影后的椭圆不确定性进行描述，目标函数为：，其中，表示相机的编号，，是视觉系统的通道数；，分别是旋转矩阵和平移向量；是单位矩阵；是视线方向投影矩阵，作用于物方点；是空间点在第个相机中的归一化坐标
。4.
根据权利要求3所述的基于多通道显微视觉引导的微装配定位加速方法，其特征在于，所述步骤
S02
中通过克罗内克积和列向量转换的方法包括：根据矩阵的向量化运算法则，并通过克罗内克积进行转换，对目标函数进行等价变换：，其中，符号表示：；符号是克罗内克积的运算符；表示把多维矩阵转换成列向量的运算；进一步转换成：
，其中，，是一个常数
。5.
根据权利要求4所述的基于多通道显微视觉引导的微装配定位加速方法，其特征在于，所述步骤
S03
中将组合矩阵转换为常量矩阵包括：在迭代求解过程中，将平移向量看做一个中间量，不需要每次迭代都输出的值，根据目标函数，有下式成立：，根据克罗内克积的性质，得到：，由于在开始迭代之前，所有空间点的质心坐标和为0，由此消除单位矩阵，得到关于的加速表达式为：，基于引入扰动仿射...

【专利技术属性】
技术研发人员：张贵阳，郑雷，杨兰玉，吴健，满增光，周旭，殷海洋，祝正兵，
申请(专利权)人：常熟理工学院，
类型：发明
国别省市：