自动化样本关键点标注方法、装置及系统制造方法及图纸

本申请提供一种自动化样本关键点标注方法、装置及系统，所述方法包括如下步骤：接收实时画面，并提取所述实时画面的SIFT特征；根据目标模板图像的SIFT特征与所述实时画面的SIFT特征，计算匹配点；根据所述匹配点计算目标模板图像到所述实时画面的透射变换矩阵；根据透射变换矩阵，计算目标模板图像中的关键点位置在实时画面中的位置；将实时画面与对应的关键点位置保存为样本数据。本发明专利技术利用现有模板匹配技术，实时匹配不同背景下目标与对应的关键点，批量采集高质量的图像‑关键点样本对。相较于传统手工标注样本，该方法能效率更高，且泛用性更好。

Key point marking method, device and system of automatic sample

【技术实现步骤摘要】
自动化样本关键点标注方法、装置及系统
本申请涉及计算机
，具体涉及一种自动化样本关键点标注方法、装置及系统。
技术介绍
当前深度学习技术极大的提升了工业界目标检测分类水平。目前主流的深度学习技术需要大量带有标注的样本训练，样本标注需要人工标注。特别是在关键点检测、语义分割领域，人工标注效率低下，且费用昂贵。并且在实际生产应用中，对特定物体的关键点检测有极大需求，但由于标注样本较少，导致现有的深度网络不能很好的训练，无法达到预期的目标。目前深度神经网络在大量训练数据下，能达到和人类相媲美的精度，但深度神经网络的训练依赖大量的带有标签的训练样本。而在生产应用中，目标的种类往往根据生产任务发生变化，没办法采集大量的带有标签的样本数据。
技术实现思路
本专利技术提出一种自动化关键点标注技术，事先在目标模板上标注关键点，通过特征点匹配方法，将相机画面中，不同背景下的目标图片自动叠加标注，产生大量图像-标签对，可以有效解决深度神经网络模型训练样本不足的问题。本申请的目的是提供一种自动化样本关键点标注方法及装置、系统。本申请第一方面提供一种自动化样本关键点标注方法，包括如下步骤：接收实时画面，并提取所述实时画面的SIFT特征；根据目标模板图像的SIFT特征与所述实时画面的SIFT特征，计算匹配点；根据所述匹配点计算目标模板图像到所述实时画面的透射变换矩阵；根据透射变换矩阵，计算目标模板图像中的关键点位置在实时画面中的位置；将实时画面与对应的关键点位置保存为样本数据。在本专利技术的一些实施例中，所述计算匹配点的方法采用RANSAC算法，根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据。在本专利技术的一些实施例中，所述实时画面为通过相机拍摄的目标物体在背景生成装置上的图像。在本专利技术的一些实施例中，所述背景生成装置是一个水平放置的背景显示装置，用于生成多种背景图像，使得所述目标物体叠加在不同背景中。在本专利技术的一些实施例中，在相机接收实时画面，并提取所述实时画面的SIFT特征之前，进一步包括：打开背景生成装置，使得背景生成装置显示空白背景，在空白背景中采集目标物体的图像，作为目标模板图像，在目标模板图像上标注出关键点位置，并计算目标模板图像的SIFT特征。在本专利技术的一些实施例中，所述SIFT特征计算包括以下步骤：尺度空间极值检测，搜索所有尺度上的图像位置，通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点；关键点定位，在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度；方向确定，基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向；关键点描述，在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。在本专利技术的一些实施例中，所述背景生成装置随机投放不同背景图像。本申请第二方面提供一种自动化样本关键点标注装置，包括：SIFT特征提取模块，用于接收实时画面，并提取所述实时画面的SIFT特征；匹配点计算模块，用于根据目标模板图像的SIFT特征与所述实时画面的SIFT特征，计算匹配点；矩阵计算模块，用于根据所述匹配点计算目标模板图像到所述实时画面的透射变换矩阵；对应位置计算模块，用于根据透射变换矩阵，计算目标模板图像中的关键点位置在实时画面中的位置；数据保存模块，用于将实时画面与对应的关键点位置保存为样本数据。本申请第三方面提供一种自动化样本关键点标注系统，包括：上述第二方面中的自动化样本关键点标注装置；背景生成装置；目标物体，放置于所述背景生成装置上；相机，位置不固定，用于拍摄所述背景生成装置和目标物体的实时图像。与现有技术相比，本专利技术公开的一种自动化样本关键点标注方法，具有如下有益效果：利用现有模板匹配技术，实时匹配不同背景下目标与对应的关键点，批量采集高质量的图像-关键点样本对。相较于传统手工标注样本，该方法能效率更高，且泛用性更好。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了本申请的一些实施方式所提供的一种自动化样本关键点标注系统结构图；图2示出了本申请的一些实施方式所提供的一种自动化样本关键点标注方法流程图。图3示出了本申请的一些实施方式所提供的一种自动化样本关键点标注装置结构图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。另外，术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请实施例提供一种自动化样本关键点标注方法及装置、一种自动化样本关键点标注系统，下面结合附图进行说明。如图1所示，本专利技术公开的一种自动化样本关键点标注系统，包括：背景生成装置：用于给目标物体叠加在不同背景中，增加样本多样性，背景生成装置可以使用高分辨率，高刷新频率屏幕，从而生成多种背景图像。例如，背景生成装置可以是一个水平放置的背景显示装置，用于显示不同背景画面。目标物体放置在背景生成装置上，相机部署在目标物体上方或斜上方，可以正常观看到目标物体和背景生成装置即可。部署完毕后，首先打开背景生成装置，使得背景生成装置显示空白背景。在空白背景中采集目标物体的图像，作为目标模板图像，并在目标模板图像上标注出关键点数据，并计算目标模板图像的SIFT特征。计算目标模板图像的SIFT特征时，例如可以通过SIFT算子提取目标模板图像的特征。SIFT，即尺度不变特征变换(Scale-invariantfeaturetransform，SIFT)，是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。SIFT特征计算主要包括以下4个基本步骤：1.尺度空间极值检测：搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。2.关键点定位在每个候选的位置上，本文档来自技高网...

【技术保护点】
1.一种自动化样本关键点标注方法，其特征在于，包括如下步骤：/n接收实时画面，并提取所述实时画面的SIFT特征；/n根据目标模板图像的SIFT特征与所述实时画面的SIFT特征，计算匹配点；/n根据所述匹配点计算目标模板图像到所述实时画面的透射变换矩阵；/n根据透射变换矩阵，计算目标模板图像中的关键点位置在实时画面中的位置；/n将实时画面与对应的关键点位置保存为样本数据。/n

【技术特征摘要】
1.一种自动化样本关键点标注方法，其特征在于，包括如下步骤：
接收实时画面，并提取所述实时画面的SIFT特征；
根据目标模板图像的SIFT特征与所述实时画面的SIFT特征，计算匹配点；
根据所述匹配点计算目标模板图像到所述实时画面的透射变换矩阵；
根据透射变换矩阵，计算目标模板图像中的关键点位置在实时画面中的位置；
将实时画面与对应的关键点位置保存为样本数据。


2.根据权利要求1所述的方法，其特征在于，
所述计算匹配点的方法采用RANSAC算法，根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据。


3.根据权利要求1所述的方法，其特征在于，
所述实时画面为通过相机拍摄的目标物体在背景生成装置上的图像。


4.根据权利要求3所述的方法，其特征在于，
所述背景生成装置是一个水平放置的背景显示装置，用于生成多种背景图像，使得所述目标物体叠加在不同背景中。


5.根据权利要求3或4所述的方法，其特征在于，
在相机接收实时画面，并提取所述实时画面的SIFT特征之前，进一步包括：
打开背景生成装置，使得背景生成装置显示空白背景，在空白背景中采集目标物体的图像，作为目标模板图像，在目标模板图像上标注出关键点位置，并计算目标模板图像的SIFT特征。


6.根据权利要求5所述的方法，其特...

【专利技术属性】
技术研发人员：林志敏，李明昊，张高瀚，王韬，
申请(专利权)人：浙江省北大信息技术高等研究院，杭州未名信科科技有限公司，
类型：发明
国别省市：浙江;33