一种基于盲文的图像配准方法技术

本发明专利技术公开了一种基于盲文的图像配准方法，所述方法包括：在光学元器件表面印制盲文，采集两张待配准的光学元器件的拍摄图像，一张为在线低分辨率图像，一张为离线高分辨率图像；识别盲文基础块；使用kNN寻找包含盲文基础块最多的3个盲文簇；利用卷积神经网络对盲文进行分类，将盲文的位置作为参考点，通过透射变换实现低分辨率图像与高分辨率图像的初步配准，最后利用局部平移距离的回归实现精细化配准；本发明专利技术实现了在图像信息极少情况下的图像配准，并结合图像中光学元器件损伤点细节信息，进一步实现精细化配准。

An Image Registration Method Based on Braille

【技术实现步骤摘要】
一种基于盲文的图像配准方法
本专利技术涉及图像识别领域，具体地，涉及一种基于盲文的图像配准方法。
技术介绍
图像配准是图像处理研究领域中的一个典型问题和技术难点，其目的在于比较或融合同一对象在不同条件下获取的图像，例如来自不同采集设备，取自不同时间，不同拍摄视角的图像。具体地说，将描述同一对象的两张图像，通过空间变换把一张图像映射到另一张图像，使得两张图像同一空间位置的点一一对应起来，实现信息融合。图像配准的方法大致分为三类：一类是基于灰度和模板的匹配方法，这类方法直接通过相关运算等方式计算相关值寻求最佳匹配位置，比如模板匹配是在目标图像中寻找与模板图像相似的子图像，而基于灰度的匹配算法是通过空间二维滑动模板进行匹配，不同匹配算法主要体现在相关准则选择不同。第二类是基于特征的匹配方法，先提取图像的特征，生成特征描述子，再根据描述子的相似程度匹配两张图像的特征。图像的特征主要分为点、线(边缘)、区域(面)等特征，也可以分为局部特征和全局特征。区域(面)特征提取比较麻烦、耗时，因此主要用点特征和边缘特征。第三类是基于域变换的匹配方法，如傅里叶变换，沃尔什变换，小波变换等。这些传统的图像配准方法仅适用于图像信息较多的情况，一旦图像信息较少，如光学元器件图、星图，则相应的特征较少，这些方法将难以根据少量的、难表达的特征完成图像配准。
技术实现思路
本专利技术提出一种传统方法与深度学习结合的图像配准方法，可以在图像信息极少的情况下实现图像配准，结合图像中光学元器件损伤点细节信息，进一步实现精细化配准。为实现上述专利技术目的，本专利技术提供了一种基于盲文的图像配准方法，所述方法包括：在光学元器件表面印制盲文，采集两张待配准的光学元器件的拍摄图像，一张为低分辨率的在线图像A；一张为高分辨率的离线图像B；识别图像A和图像B中的盲文基础块；根据盲文基础块的识别结果，分别获得图像A和图像B的盲文块；构建并训练盲文块分类模型；从图像A所有盲文中选择若干个盲文特征点作为候选点，与图像B进行匹配，获得图像A的盲文特征点与图像B的盲文特征点的对应关系；首先根据图像A与图像B的盲文特征点的对应关系，透射变换图像A与图像B，完成初步配准；然后根据图像A与图像B的局部特征实现精细化配准，获得图像A与图像B的对应关系，完成图像精细化配准。进一步的，所述识别图像A和图像B的盲文基础块，具体包括：将盲文基础块图像模板在目标图像上滑动并逐一对比识别盲文基础块。进一步的，根据盲文基础块的识别结果，获得图像的盲文块，具体包括：基于识别到的若干盲文基础块，将相邻两个盲文基础块之间的间距小于阈值的多个盲文基础块划为同一簇，获得若干个盲文基础块簇，将若干个盲文基础块簇中盲文基础块数量排名前3的盲文基础块簇记为A-C，因为透射变换只需要3组最准确的对应特征点，取A-C这3组盲文基础块簇中所有盲文基础块坐标的均值作为簇中心，将以簇中心为中心的正方形提取出的盲文块作为检测到的盲文块A-C。进一步的，构建和训练盲文块分类模型，具体包括：基于光学元器件表面印制的盲文，获取盲文基础块之间的相对位置分布信息，即从图像B的盲文块中提取若干盲文基础块，随机选择提取的若干盲文基础块放入盲文基础块之间的相对位置分布中，形成一个完整的盲文；对形成的每个盲文均进行旋转处理，每个盲文旋转生成多个对应旋转后的盲文，旋转后的盲文形成盲文数据集；构建卷积神经网络，利用盲文数据集训练卷积神经网络；输入卷积神经网络对盲文中心位置信息进行回归并对盲文分类。进一步的，对形成的盲文数据集进行阈值分割和孔洞填充,阈值分割用于去除明显的杂散光噪声，孔洞填充用于增大特征点分布面积，方便后续寻找特征对应点。进一步的，所述方法还包括对盲文数据集进行尺寸缩小，用于消除高分辨率盲文和低分辨率盲文的差异。进一步的，所述方法在透射变换图像A与图像B后还包括：局部校准图像的特征点区域：对图像进行预设操作，生成二值化图像，将二值化的的图像B切分为小块，进行分块校准；将切分后的图像B的图像块在二值化的图像A中做一定范围的移动，每次移动中做“与”操作后求和，并计算“与”操作后图像特征点区域的面积大小；value＝sum(logical_and(图像B的特征点区域，尺寸符合预设要求的图像A的特征点区域))*“与”操作后特征点区域个数；其中value为特征点区域重合权重；将value值最大的位置作为最佳偏移位置，因为特征点区域重合权重越大，越说明两个图像之前对应得越好；对于图像中较小特征点区域，可能出现特征点区域重合权重为0的情况，则将较小特征点区域附近20个最大特征点区域的平均偏移位置作为该区域的偏移位置。进一步的，对图像做阈值分割、膨胀操作，生成二值化图像。本专利技术提供的一个或多个技术方案，至少具有如下技术效果或优点：本方法使用神经网络识别盲文，使用k-means算法找到盲文基础块最大簇从而识别盲文，本方法对图像小块用回归方式进行拟合。本方法通过将传统方法和深度学习相结合，可以在图像信息极少的情况下，配准两张具有盲文的图像，并结合光学元器件损伤点的信息，进一步实现精细化配准。本方法能够实现在线图像尺寸远小于离线图像的配准；本方法能够实现在线图像中存在诸多噪音点、且噪音点和损伤点没有明显区别的图像配准，如杂散光、重影；本方法能够实现虽然在线图像和离线图像拍摄自同一元器件，但每个像素点之间的对应关系未知的图像配准；本方法的离线图像是经过诸多小的高分辨率图像拼接而成，拼接造成离线与在线图像不再是简单的缩放平移翻转关系，利用本方法依然能够实现两者的配准；本方法能够实现可供分析与建模的数据量少情况下的图像配准。附图说明此处所说明的附图用来提供对本专利技术实施例的进一步理解，构成本专利技术的一部分，并不构成对本专利技术实施例的限定；图1是本专利技术中一种基于盲文的图像配准方法的流程示意图；图2是本专利技术中24类盲文示意图；图3是本专利技术中缩小后的盲文示意图。具体实施方式为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本专利技术的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本专利技术的保护范围并不受下面公开的具体实施例的限制。请参考图1，本专利技术重点针对信息较少的图像提出了一种有效的图像配准方法，在光学元器件表面印制盲文，采集两张待配准的光学元器件的拍摄图像，一张为在线低分辨率图像，一张为离线高分辨率图像。利用卷积神经网络检测盲文，将盲文的位置作为参考点，完成低分辨率与高分辨率图像的初步配准，最后利用局部平移距离的回归实现精细化配准。本专利技术结合传统方法和深度学习的优点，可以在图像信息量非常少的情况下，通过对图像的盲文检测、透射变换和玻璃损伤点的回归拟合，实现高分辨率图像与低分辨率图像的较好配准。本专利技术中镜头上的损伤点十分稀疏，特征贫乏，高分辨率和低分辨率图像的破损点稠密程度不同，因此尺度不变特征变换(SIFT)、加速稳健特征(SURF)检测效果不佳。对于待匹配图像的旋转角度较大时，SURF算法提取图像匹配特征点能力严重下降。本专利技术中高、低分辨率光学元器件的四个角落已本文档来自技高网...

【技术保护点】
1.一种基于盲文的图像配准方法，其特征在于，所述方法包括：在光学元器件表面印制盲文，采集两张待配准的光学元器件的拍摄图像，一张为低分辨率的在线图像A；一张为高分辨率的离线图像B；识别图像A和图像B中的盲文基础块；根据盲文基础块的识别结果，分别获得图像A和图像B中的盲文块；构建并训练盲文块分类模型，基于盲文块分类模型对获取的盲文块进行分类；从图像A的所有盲文中选择若干个盲文特征点作为候选点，与图像B进行匹配，获得图像A的盲文特征点与图像B的盲文特征点的对应关系；根据图像A与图像B的盲文特征点的对应关系，透射变换图像A与图像B，完成初步配准；根据图像A与图像B的局部特征进行配准，获得图像A与图像B的对应关系，完成图像A与图像B的配准。

【技术特征摘要】
1.一种基于盲文的图像配准方法，其特征在于，所述方法包括：在光学元器件表面印制盲文，采集两张待配准的光学元器件的拍摄图像，一张为低分辨率的在线图像A；一张为高分辨率的离线图像B；识别图像A和图像B中的盲文基础块；根据盲文基础块的识别结果，分别获得图像A和图像B中的盲文块；构建并训练盲文块分类模型，基于盲文块分类模型对获取的盲文块进行分类；从图像A的所有盲文中选择若干个盲文特征点作为候选点，与图像B进行匹配，获得图像A的盲文特征点与图像B的盲文特征点的对应关系；根据图像A与图像B的盲文特征点的对应关系，透射变换图像A与图像B，完成初步配准；根据图像A与图像B的局部特征进行配准，获得图像A与图像B的对应关系，完成图像A与图像B的配准。2.根据权利要求1所述的一种基于盲文的图像配准方法，其特征在于，所述识别图像A和图像B中的盲文基础块，具体包括：将盲文基础块图像模板在目标图像上滑动并逐一对比识别盲文基础块。3.根据权利要求1所述的一种基于盲文的图像配准方法，其特征在于，根据盲文基础块的识别结果，获得图像的盲文块，具体包括：基于识别到的若干盲文基础块，将相邻两个盲文基础块之间的间距小于阈值的多个盲文基础块划为同一簇，获得若干个盲文基础块簇，将若干个盲文基础块簇中盲文基础块数量排名前3的盲文基础块簇记为A-C，取A-C这3组盲文基础块簇中所有盲文基础块坐标的均值作为簇中心，将以簇中心为中心的正方形提取出的盲文块作为检测到的盲文块A-C。4.根据权利要求1所述的一种基于盲文的图像配准方法，其特征在于，构建和训练盲文块分类模型，具体包括：基于光学元器件表面印制的盲文，获取盲文基础块之间的相对位置分布信息，即从图像B的盲文块中提取若干盲文基础块，随机选择提取的若干盲文基础块放入盲文基础块之间的相对位置分布中，形成一个完整的盲文；对形成的每个盲文...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：成都数之联科技有限公司，
类型：发明
国别省市：四川,51