基于深度学习的标记识别方法和训练方法及其系统和电子设备技术方案

一种基于深度学习的标记识别方法和训练方法及其系统和电子设备。该基于深度学习的标记识别方法包括步骤：获取一原始标记图像，其中该原始标记图像是经由图像采集设备拍摄标记而获得的图像；和将该原始标记图像输入至预先训练好的且基于多任务级联卷积网络构建的标记识别模型中进行标记识别，以输出该标记的边框和关键点在该原始标记图像上的位置，从而实现该标记的识别。实现该标记的识别。实现该标记的识别。

【技术实现步骤摘要】
基于深度学习的标记识别方法和训练方法及其系统和电子设备


[0001]本专利技术涉及标记识别
，尤其是涉及基于深度学习的标记识别方法和训练方法及其系统和电子设备。

技术介绍

[0002]标记(Marker)作为一种特定样式的平面图案，通常采用图像处理等算法从视觉场景中被识别出来，以确定该标记的4个顶点和中心点的坐标。由于标记通常是预设的，其尺寸参数也是已知的，因此根据标记坐标系与相机坐标系之间的对应关系，就能够求解该相机的内外参数，并且该标记也能够被作为相对于相机的世界坐标系的标记，因而标记识别常常被应用于相机标定、机器人导航以及增强现实(AR)等领域。
[0003]现有的标记识别方法通常是基于传统的图像处理技术，利用标记的边缘信息、几何信息以及色度信息进行识别。具体地，现有的标识识别方法先通过灰度化和阈值分割处理技术将标记图像转化成二值图像，再利用腐蚀、边框提取以及霍夫(Hough)变换等技术获得标记的包围框，最后经过种子填充和几何限制等手段取得该标记上的特征点集合。
[0004]然而，由于现有的标记识别方法利用的是标记的边缘信息、几何信息以及色度信息，因此该现有的标记识别方法的识别精度将受到标记图像质量的直接影响，对光照均匀性和抖动等因素极为敏感。例如，当因应用场景中的光照不均匀而导致获取的标记图像上的部分区域过暗、部分区域又过亮，或者因AR设备的抖动而导致获取的标记图像产生模糊时，将较大程度地提高有效信息的噪声，甚至导致有效信息的丢失，最终无法准确地识别该标记。特别地，对于AR设备而言，AR设备所处的应用场景中的光照条件较差，并且AR设备在用户佩戴时会随着用户的肢体动作而发生抖动，造成该现有的标记识别方法难以被应用到AR领域中去；也就是说，通过该现有的标记识别方法获得的标记识别结果无法在AR设备的SLAM定位中使用。

技术实现思路

[0005]本专利技术的一优势在于提供一基于深度学习的标记识别方法和训练方法及其系统和电子设备，其能够提高对不均匀光照和相机抖动的鲁棒性，以便在光照条件差或抖动的应用场景中获得精确的标记识别结果。
[0006]本专利技术的另一优势在于提供一基于深度学习的标记识别方法和训练方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于深度学习的标记识别方法采用端对端的深度学习技术，仅通过输入标记图像就能够直接输出标记的边框和关键点坐标，有助于降低标记识别的难度，提高识别精度。
[0007]本专利技术的另一优势在于提供一基于深度学习的标记识别方法和训练方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于深度学习的标记识别方法能够避免像现有的标记识别方法那样，仅利用标记的边缘信息、几何信息以及色度信息，以解决对光
照不均匀和图像模糊较为敏感的问题。
[0008]本专利技术的另一优势在于提供一基于深度学习的标记识别方法和训练方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于深度学习的标记识别方法能够通过采用较多的模糊或光照不均匀的标记图像样本来参与模型训练，以便适应各种抖动或光照条件较差的应用场景，并能够实现更加稳定的标记识别。
[0009]本专利技术的另一优势在于提供一基于深度学习的标记识别方法和训练方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于深度学习的标记识别方法不需要大量的标注样本，能够通过图像融合的方式对标记图案进行图像增强处理以生成大量的标记样本，有助于降低模型训练的成本。
[0010]本专利技术的另一优势在于提供一基于深度学习的标记识别方法和训练方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于深度学习的标记识别方法具有识别速度快、识别精度高以及漏检率低等特点，能够将标记识别的时间开销控制在合理范围内，以满足实际应用场景的要求。
[0011]本专利技术的另一优势在于提供一基于深度学习的标记识别方法和训练方法及其系统和电子设备，其中为了达到上述优势，在本专利技术中不需要采用复杂的结构和庞大的计算量，对软硬件要求低。因此，本专利技术成功和有效地提供一解决方案，不只提供一基于深度学习的标记识别方法和训练方法及其系统和电子设备，同时还增加了所述基于深度学习的标记识别方法和训练方法及其系统和电子设备的实用性和可靠性。
[0012]为了实现上述至少一优势或其他优势和目的，本专利技术提供了基于深度学习的标记识别方法，包括步骤：
[0013]获取一原始标记图像，其中该原始标记图像是经由图像采集设备拍摄标记而获得的图像；和
[0014]将该原始标记图像输入至预先训练好的且基于多任务级联卷积网络构建的标记识别模型中进行标记识别，以输出该标记的边框和关键点在该原始标记图像上的位置，从而实现该标记的识别。
[0015]在本专利技术的一实施例中，所述获取一原始标记图像，其中该原始标记图像是经由图像采集设备拍摄标记而获得的图像的步骤，包括步骤：
[0016]预处理该原始标记图像，以生成图像金字塔，其中该图像金字塔包括不同尺寸的预处理图像；
[0017]将该图像金字塔中的该预处理图像逐个输入至该标记识别模型的推荐网络，以生成该标记的该边框在该原始标记图像上的多个候选区域；
[0018]将该候选区域和该原始标记图像输入至该标记识别模型的优化网络，以生成该标记的该边框在该原始标记图像上的优化区域；以及
[0019]将该优选区域和该原始标记图像输入至该标记识别模型的输出网络，以输出该标记的边框坐标和关键点坐标。
[0020]在本专利技术的一实施例中，所述将该候选区域和该原始标记图像输入至该标记识别模型的优化网络，以生成该标记的该边框在该原始标记图像上的优化区域的步骤，包括步骤：
[0021]根据该候选区域，对该原始标记图像进行裁剪并调整至第一预定尺寸，以得到相
应的候选图像；和
[0022]通过该优化网络，对该候选图像进行优化处理，以在过滤并调整该候选区域后，获得该优化区域。
[0023]在本专利技术的一实施例中，所述将该优选区域和该原始标记图像输入至该标记识别模型的输出网络，以输出该标记的边框坐标和关键点坐标的步骤，包括步骤：
[0024]根据该优化区域，对该原始标记图像进行裁剪并调整至第二预定尺寸，以得到相应的优化图像；和
[0025]通过该优化网络，对该优化图像进行边框回归和关键点定位处理，以确定该标记的该边框和该关键点分别在该原始标记图像上的真实位置。
[0026]在本专利技术的一实施例中，所述第一预定尺寸为24*24；并且所述第二预定尺寸为48*48。
[0027]在本专利技术的一实施例中，该图像采集设备是选自相机、机器视觉设备以及AR设备中的一种。
[0028]根据本专利技术的另一方面，本专利技术还提供了标记识别模型的训练方法，包括步骤：
[0029]获取多个标记图像的标注样本；和
[0030]基于该标记图像的标注样本，训练一标记识别模型中的推荐网络、优化网络以及输出网络。
[0031]在本专利技术的一实施例中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的标记识别方法，其特征在于，包括步骤：获取一原始标记图像，其中该原始标记图像是经由图像采集设备拍摄标记而获得的图像；和将该原始标记图像输入至预先训练好的且基于多任务级联卷积网络构建的标记识别模型中进行标记识别，以输出该标记的边框和关键点在该原始标记图像上的位置，从而实现该标记的识别。2.如权利要求1所述的基于深度学习的标记识别方法，其中，所述获取一原始标记图像，其中该原始标记图像是经由图像采集设备拍摄标记而获得的图像的步骤，包括步骤：预处理该原始标记图像，以生成图像金字塔，其中该图像金字塔包括不同尺寸的预处理图像；将该图像金字塔中的该预处理图像逐个输入至该标记识别模型的推荐网络，以生成该标记的该边框在该原始标记图像上的多个候选区域；将该候选区域和该原始标记图像输入至该标记识别模型的优化网络，以生成该标记的该边框在该原始标记图像上的优化区域；以及将该优选区域和该原始标记图像输入至该标记识别模型的输出网络，以输出该标记的边框坐标和关键点坐标。3.如权利要求2所述的基于深度学习的标记识别方法，其中，所述将该候选区域和该原始标记图像输入至该标记识别模型的优化网络，以生成该标记的该边框在该原始标记图像上的优化区域的步骤，包括步骤：根据该候选区域，对该原始标记图像进行裁剪并调整至第一预定尺寸，以得到相应的候选图像；和通过该优化网络，对该候选图像进行优化处理，以在过滤并调整该候选区域后，获得该优化区域。4.如权利要求3所述的基于深度学习的标记识别方法，其中，所述将该优选区域和该原始标记图像输入至该标记识别模型的输出网络，以输出该标记的边框坐标和关键点坐标的步骤，包括步骤：根据该优化区域，对该原始标记图像进行裁剪并调整至第二预定尺寸，以得到相应的优化图像；和通过该优化网络，对该优化图像进行边框回归和关键点定位处理，以确定该标记的该边框和该关键点分别在该原始标记图像上的真实位置。5.如权利要求4所述的基于深度学习的标记识别方法，其中，所述第一预定尺寸为24*24；并且所述第二预定尺寸为48*48。6.如权利要求1至5中任一所述的基于深度学习的标记识别方法，其中，该图像采集设备是选自相机、机器视觉设备以及AR设备中的一种。7.标记识别模型的训练方法，其特征在于，包括步骤：获取多个标记图像的标注样本；和基于该标记图像的标注样本，训练一标记识别模型中的推荐网络、优化网络以及输出网络。8.如权利要求7所述的标记识别模型的训练方法，其中，所述基于该标记图像的标注样
本，训练一标记识别模型中的推荐网络、优化网络以及输出网络的步骤，包括步骤：对原始标记图像进行图像增强处理，以得到多个该标记...

【专利技术属性】
技术研发人员：孙俊，蒋坤君，胡增新，
申请(专利权)人：舜宇光学浙江研究院有限公司，
类型：发明
国别省市：