一种关键点检测方法、装置、设备、存储介质及产品制造方法及图纸

本公开提供了一种关键点检测方法、装置、设备、存储介质及产品，可以对包括待识别目标物品的待识别图像进行多级特征提取处理，从而按照预设的两种融合方式，对多级特征提取分别对应的特征数据进行数据融合，分别得到第一特征融合数据和第二特征融合数据，进而通过第一特征融合数据和第二特征融合数据所分别确定的目标关键特征点在待识别图像中的关键点位置和关键点热力图来确定目标关键特征点在待识别图像中的目标位置。这样，通过对提取的多级特征数据的数据融合，可以充分融合数据特征，进而综合利用关键点位置和关键点热力图来得到目标位置，可以有效提升关键点检测的准确率和目标位置的精度，有效降低其他背景因素等特征的干扰。特征的干扰。特征的干扰。

【技术实现步骤摘要】
一种关键点检测方法、装置、设备、存储介质及产品


[0001]本公开涉及计算机
，具体而言，涉及一种关键点检测方法、装置、设备、存储介质及产品。

技术介绍

[0002]随着科技的发展和时代的进步，光学字符识别(Optical Character Recognition，OCR)技术在多个领域得到了越来越广泛的用途，特别是证件文字识别，用户信息上传审核等方面，利用OCR技术可以快速提取证件中的文字等信息，无需人工输入，效率高，速度快。针对证件文字识别，首先需要检测出证件的关键点，以对证件进行定位，进而从证件中识别并提取出需要的信息。
[0003]目前的证件识别，大多需要用户自行拍摄并上传证件图片，上传的证件图片的图像效果和图像质量难以保证，可能存在证件堆叠、角点缺失等情况，使得识别的过程中易出现难以进行关键点检测、关键点检测不准确、检测结果精度低等问题，导致无法有效对证件上的信息进行有效和准确地识别。

技术实现思路

[0004]本公开实施例至少提供一种关键点检测方法、装置、设备、存储介质及产品。
[0005]本公开实施例提供了一种关键点检测方法，所述方法包括：
[0006]对待识别图像进行多级特征提取处理，得到每一级特征提取处理对应的特征数据，所述待识别图像包括待识别的目标物品；
[0007]按照预设的两种融合方式，对多级特征提取分别对应的特征数据进行数据融合，分别得到所述待识别图像的第一特征融合数据和第二特征融合数据，所述第一特征融合数据指示的特征图像和所述第二特征融合数据指示的特征图像的图像尺寸不同；
[0008]基于所述第一特征融合数据，确定所述目标物品的目标关键特征点在所述待识别图像中的关键点位置；
[0009]基于所述第二特征融合数据，确定所述目标关键特征点在所述待识别图像中的关键点热力图；
[0010]基于所述关键点位置和所述关键点热力图，确定所述目标关键特征点在所述待识别图像中的目标位置。
[0011]一种可选的实施方式中，所述按照预设的两种融合方式，对多级特征提取分别对应的特征数据进行数据融合，分别得到所述待识别图像的第一特征融合数据和第二特征融合数据，包括：
[0012]针对每级特征提取得到的每级特征数据，基于该级特征数据和相邻一级特征数据，生成该级特征提取对应的中间特征数据；
[0013]按照预设的两种融合方式，对得到的、多级特征提取分别对应的中间特征数据进行数据融合，分别得到所述待识别图像的第一特征融合数据和第二特征融合数据。
[0014]一种可选的实施方式中，所述针对每级特征提取得到的每级特征数据，基于该级特征数据和相邻一级特征数据，生成该级特征提取对应的中间特征数据，包括：
[0015]针对特征提取为最后一级，基于最后一级特征提取得到的最后一级特征数据，生成与最后一级特征提取对应的中间特征数据；
[0016]针对特征提取为非最后一级，将本级特征提取得到的本级特征数据和下一级特征提取得到的下一级特征数据对应的中间特征数据进行数据融合，得到本级特征提取对应的中间特征数据。
[0017]一种可选的实施方式中，所述针对特征提取为非最后一级，将本级特征提取得到的本级特征数据和下一级特征提取得到的下一级特征数据对应的中间特征数据进行数据融合，得到本级特征提取对应的中间特征数据，包括：
[0018]针对特征提取为非最后一级，确定本级特征数据和下一级特征数据对应的中间特征数据；
[0019]对所述下一级特征数据对应的中间特征数据进行上采样处理；
[0020]将所述本级特征数据和经过上采样处理后的所述下一级特征数据对应的中间特征数据进行融合处理，得到本级特征提取对应的中间特征数据。
[0021]一种可选的实施方式中，所述预设的两种融合方式包括预先为所述待识别图像配置的两组自适应融合参数；
[0022]所述按照预设的两种融合方式，对得到的、多级特征提取分别对应的中间特征数据进行数据融合，分别得到所述待识别图像的第一特征融合数据和第二特征融合数据，包括：
[0023]根据所述两组自适应融合参数，分别对多级特征提取分别对应的中间特征数据进行数据融合，得到所述待识别图像的第一特征融合数据和第二特征融合数据。
[0024]一种可选的实施方式中，所述基于所述关键点位置和所述关键点热力图，确定所述目标关键特征点在所述待识别图像中的目标位置，包括：
[0025]将所述关键点位置转换为转换热力图；
[0026]将所述转换热力图和所述关键点热力图进行像素融合，生成所述目标关键特征点在所述待识别图像中的融合热力图；
[0027]基于所述融合热力图，确定所述目标关键特征点在所述待识别图像中的目标位置。
[0028]一种可选的实施方式中，所述基于所述融合热力图，确定所述目标关键特征点在所述待识别图像中的目标位置，包括：
[0029]基于所述融合热力图，确定所述融合热力图中激活值大于预设阈值的多个激活位置；
[0030]针对所述多个激活位置，确定各激活位置之间的间距；
[0031]基于预设距离，针对所述间距小于所述预设距离的至少一个激活位置，构建至少一个目标区域；
[0032]针对每个所述目标区域，确定所述目标区域的中心点位置；
[0033]基于所述中心点位置，确定所述目标区域所对应的所述目标关键特征点在所述待识别图像中的目标位置。
[0034]一种可选的实施方式中，所述关键点检测方法应用于预先训练好的关键点检测模型中，所述关键点检测模型包括多级特征提取网络、数据融合网络和位置确定网络；所述多级特征提取网络用于提取得到每一级特征提取处理对应的特征数据；所述数据融合网络用于融合得到所述待识别图像的第一特征融合数据和第二特征融合数据；所述位置确定网络用于得到所述目标关键特征点在所述待识别图像中的目标位置。
[0035]一种可选的实施方式中，所述关键点检测模型为根据以下步骤训练得到的：
[0036]获取样本图像；
[0037]利用所述样本图像对预先构建好的神经网络进行训练，得到训练好的关键点检测模型。
[0038]本公开实施例还提供一种关键点检测装置，所述装置包括：
[0039]特征提取模块，用于对待识别图像进行多级特征提取处理，得到每一级特征提取处理对应的特征数据，所述待识别图像包括待识别的目标物品；
[0040]数据融合模块，用于按照预设的两种融合方式，对多级特征提取分别对应的特征数据进行数据融合，分别得到所述待识别图像的第一特征融合数据和第二特征融合数据，所述第一特征融合数据指示的特征图像和所述第二特征融合数据指示的特征图像的图像尺寸不同；
[0041]位置确定模块，用于基于所述第一特征融合数据，确定所述目标物品的目标关键特征点在所述待识别图像中的关键点位置；
[0042]热力图确定模块，用于基于所述第二特征融合数据，确定所述目标关键特征点在所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关键点检测方法，其特征在于，所述方法包括：对待识别图像进行多级特征提取处理，得到每一级特征提取处理对应的特征数据，所述待识别图像包括待识别的目标物品；按照预设的两种融合方式，对多级特征提取分别对应的特征数据进行数据融合，分别得到所述待识别图像的第一特征融合数据和第二特征融合数据，所述第一特征融合数据指示的特征图像和所述第二特征融合数据指示的特征图像的图像尺寸不同；基于所述第一特征融合数据，确定所述目标物品的目标关键特征点在所述待识别图像中的关键点位置；基于所述第二特征融合数据，确定所述目标关键特征点在所述待识别图像中的关键点热力图；基于所述关键点位置和所述关键点热力图，确定所述目标关键特征点在所述待识别图像中的目标位置。2.根据权利要求1所述的方法，其特征在于，所述按照预设的两种融合方式，对多级特征提取分别对应的特征数据进行数据融合，分别得到所述待识别图像的第一特征融合数据和第二特征融合数据，包括：针对每级特征提取得到的每级特征数据，基于该级特征数据和相邻一级特征数据，生成该级特征提取对应的中间特征数据；按照预设的两种融合方式，对得到的、多级特征提取分别对应的中间特征数据进行数据融合，分别得到所述待识别图像的第一特征融合数据和第二特征融合数据。3.根据权利要求2所述的方法，其特征在于，所述针对每级特征提取得到的每级特征数据，基于该级特征数据和相邻一级特征数据，生成该级特征提取对应的中间特征数据，包括：针对特征提取为最后一级，基于最后一级特征提取得到的最后一级特征数据，生成与最后一级特征提取对应的中间特征数据；针对特征提取为非最后一级，将本级特征提取得到的本级特征数据和下一级特征提取得到的下一级特征数据对应的中间特征数据进行数据融合，得到本级特征提取对应的中间特征数据。4.根据权利要求3所述的方法，其特征在于，所述针对特征提取为非最后一级，将本级特征提取得到的本级特征数据和下一级特征提取得到的下一级特征数据对应的中间特征数据进行数据融合，得到本级特征提取对应的中间特征数据，包括：针对特征提取为非最后一级，确定本级特征数据和下一级特征数据对应的中间特征数据；对所述下一级特征数据对应的中间特征数据进行上采样处理；将所述本级特征数据和经过上采样处理后的所述下一级特征数据对应的中间特征数据进行融合处理，得到本级特征提取对应的中间特征数据。5.根据权利要求2所述的方法，其特征在于，所述预设的两种融合方式包括预先为所述待识别图像配置的两组自适应融合参数；所述按照预设的两种融合方式，对得到的、多级特征提取分别对应的中间特征数据进行数据融合，分别得到所述待识别图像的第一特征融合数据和第二特征融合数据，包括：
根据所述两组自适应融合参数，分别对多级特征提取分别对应的中间特征数据进行数据融合，得到所述待识别图像的第一特征融合数据和第二特征融合数据。6.根据权利要求1所述的方法，其特征在于，所述基于所述关键点位置和所述关键点热力图，确定所述目标关键特征点在所述待识别图像中的目标位置，包括：将所述关键点位置转换为...

【专利技术属性】
技术研发人员：王雅丽，王智恒，张天明，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：