一种基于号码牌识别和人脸识别的运动员照片分拣方法技术

一种基于号码牌识别和人脸识别的运动员照片分拣方法，包括如下步骤：1)对比赛过程中运动员的照片集进行预处理；2)采用人脸识别算法对照片集进行分拣，每人一个文件夹Si，其中，i＝1,2,3,…,N，N为照片集可人脸分拣的运动员数量，对于无法以人脸进行分拣的照片放入文件夹Sort_F中；3)分别对步骤2)得到的文件夹Si中的照片进行号码牌识别，综合多个识别结果，将对应文件夹重命名为对应号码；4)对步骤2)中文件夹Sort_F中的照片进行号码牌识别，将识别出来的照片放入对应号码的文件夹中。本发明专利技术提供了一种识别效率高、鲁棒性强、识别率高的基于号码牌识别和人脸识别的运动员照片分拣方法。

An athlete's photo sorting method based on number card recognition and face recognition

A player photo number identification and sorting method based on face recognition, which comprises the following steps: 1) to preprocess the athletes in the process of photo collection; 2) using face recognition algorithm for sorting of photos, each a folder Si, where I = 1,2,3,... N, N, photo set number of players can face sorting, not for sorting with face photos in a folder Sort_F; 3) respectively in step 2) the Si folder in the photo number recognition, multi recognition results, the corresponding folder rename the corresponding number; 4) in the step 2) in the Sort_F folder in the photo number recognition, will recognize the photos into a corresponding number of folders. The invention provides an athlete photo sorting method based on number card recognition and face recognition with high recognition efficiency, strong robustness and high recognition rate.

【技术实现步骤摘要】
一种基于号码牌识别和人脸识别的运动员照片分拣方法
本专利技术涉及深度学习、图像处理、模式识别、目标识别等
，尤其是一种针对拍摄到的大量运动员照片，实现人脸识别与号码牌识别相结合的图像分拣方法，该方法适用于各类大小赛事，例如运动会、马拉松等。
技术介绍
随着生活质量的提高，国民更加注重体质健康问题，全民健身文化得到了广泛传播。马拉松作为一个城市性的体育活动，可以全民参加，同时马拉松赛事的举办有助于城市宣传。因此，近年来，马拉松比赛得到了全面推广，参赛人数也逐年递增。参赛选手对于比赛过程中拍摄到的个人照片极为关注，然而赛事主办方普遍存在图像分拣技术不足的情况，一般采用一些简单技术手段辅助以人工分拣进行，效率较低，无法满足运动员需求。人脸和号码牌是运动员的重要标识，专利“一种基于支持向量机的号码牌识别201610319459.7”和专利“基于运动员号码识别的马拉松比赛照片管理方法201610878963.0”提出了号码牌识别的相关方法，其方法以颜色、形状特征或以全局扫描找寻数字字符的形式进行号码牌定位和识别，容易造成定位不准确、识别精度不高的情况；此外，由于号码牌是非刚性的，会产生不同程度的形变，运动员跑步过程中也会对其造成不同形式的遮挡，仅依赖号码牌对比赛照片进行筛选易产生大量无法准确分拣的照片。
技术实现思路
为了克服已有运动员照片分拣方式的人工分类速度慢，效率低，单一形式的分拣方式识别率较低的不足，本专利技术提供了一种识别效率高、鲁棒性强、识别率高的基于号码牌识别和人脸识别的运动员照片分拣方法；同时，为了适应复杂环境下多号码牌定位及号码牌出现的扭曲、遮挡等情况，字符分割难度较大、识别精度低等问题，本专利技术提供了一种CNN与RNN相结合的号码牌定位和识别方法。本专利技术解决其技术问题所采用的技术方案是：一种基于号码牌识别和人脸识别的运动员照片分拣方法，所述分拣方法包括如下步骤：1)对比赛过程中拍摄到的运动员照片集进行预处理，得到Imgt,其中t＝1,2,3,...,T，T为照片总量；2)采用人脸识别算法对照片集进行分拣，每人一个文件夹Si，其中，i＝1,2,3,...,N，N为照片集可人脸分拣的运动员数量，对于无法以人脸进行分拣的照片放入文件夹Sort_F中，过程如下：2.1)采用基于深度学习的人脸识别算法对每张照片进行多人脸定位和特征提取，得到特征Fm，其中，m＝1,2,3,...,M，M为照片集中提取到的人脸数目，并将相应人脸信息存放于数据库中；2.2)分拣过程如下：2.2.1)计算Fm与F1的相似度Simj，m＝2,3,4,...,M，如若Simm＞ThrS，其中，m＝2,3,4,...,M，ThrS为人脸相似度阈值，则将Fm对应的图片拷贝入文件夹S1中，假定文件夹S1中图片数量为M1；2.2.2)在剩余的M-M1个特征中选择一个特征与剩余的M-M1-1个特征进行相似度比较，将相似度大于阈值ThrS对应的图片拷贝入文件夹S2中；2.2.3)依次对剩余照片进行分拣，最终得到文件夹S1,S2,S3,...,SN，并将无法以人脸进行分拣的照片拷贝入文件夹Sort_F中；3)分别对步骤2)得到的文件夹Si中的照片进行号码牌识别，综合多个识别结果，将对应文件夹重命名为对应号码，过程如下：3.1)对文件夹Si中的照片进行号码牌定位和号码牌识别；3.2)对每个识别进行字符长度判断，舍弃长度异常的结果；3.3)对剩余识别结果进行对比分析，得到置信度最高的识别结果，并将对应文件夹重命名为相应号码；4)对步骤2)中文件夹Sort_F中的照片进行号码牌识别，将识别出来的照片放入对应号码的文件夹中。进一步，所述步骤2)中人脸定位是采用级联卷积神经网络(CNN)，网络同步进行是否为人脸的判定及人脸的关键点定位，根据关键点进行人脸归一化，得到归一化为118*118的人脸图片；而后使用28层残差网络进行特征提取。再进一步，所述步骤3)和步骤4)中号码牌定位和识别过程为：号码牌定位：①对输入图像以卷积神经网络(CNN)进行特征提取，得到特征模板(featuremap)w×h×L，其中，w为featuremap的宽，h为featuremap的高，L为featuremap的个数；②使用3×3的滤波器对featuremap进行滤波，每一行得到w×256的特征序列，将特征序列输入到双向长短时记忆单元(Bi-directionalLongShort-timeMemory，BLSTM)，得到w×256特征，然后输入到512维全连接层，而后连接三个并行全连接层，其功能分别为上下边界回归，左右边界回归和类别信息；最终得到文本区域；③将步骤②中检测到的文本区域再次以分类器进行判断，得到输入图像中号码牌区域。号码牌识别：号码牌字符识别中不进行字符分割，step1直接采用CNN的卷积层和池化层进行预处理，得到图像特征；step2以循环网络(RecurrentNeuralNetwork，RNN)对特征进行序列预测；step3对步骤step2中的预测结果通过转换层得到最终的号码牌字符序列。所述step2中，RNN采用深度多层双向长短时记忆单元(deepbidirectionalLongShort-timeMemory，DBLSTM)。本专利技术的有益效果主要表现在：针对已有运动员照片分拣方式的人工分类速度慢，效率低，单一形式的分拣方式识别率较低等情况，本专利技术通过人脸识别与号码牌识别相结合的方法进行照片分拣；同时，为了适应复杂环境下多号码牌定位及号码牌出现的扭曲、遮挡等情况，字符分割难度较大的问题，本专利技术提供了一种CNN与RNN相结合的号码牌定位和识别方法。附图说明图1是本专利技术实现的流程图。图2是号码牌定位方法流程图。具体实施方式下面结合附图对本专利技术作进一步描述，应当理解，此处所描述的实例仅用于说明和解释本专利技术，并不用于限定本专利技术。参照图1和图2，一种基于号码牌识别和人脸识别的运动员照片分拣方法，包括如下步骤：如图1所示，一种基于号码牌识别和人脸识别的运动员照片分拣方法，所述分拣方法主要包括基于人脸识别的图像分拣和基于号码牌识别的图像分拣，具体步骤如下：1)对比赛过程中拍摄到的运动员照片集进行预处理(角度、方位校正等)，得到Imgt,其中t＝1,2,3,...,T，T为照片总量；2)基于人脸识别的图像分拣，具体过程如下：采用人脸识别算法对照片集进行分拣，每人一个文件夹Si，其中，i＝1,2,3,...,N，N为照片集可人脸分拣的运动员数量，对于无法分拣的照片放入文件夹Sort_F中；2.1)所述步骤2.1)中人脸识别过程具体如下：采用级联卷积神经网络(CNN)对步骤1)中的所有照片进行人脸定位，CNN在人脸定位过程中同步进行人脸的关键点定位，并根据关键点信息对人脸进行归一化处理，得到大小为118*118的人脸图片；而后使用28层残差网络进行特征提取，得到特征Fm(其中，m＝1,2,3,...,M，M为照片集中提取到的人脸数目)并将相应人脸信息存放于数据库中；2.2)分拣过程如下：2.2.1)计算Fm(m＝2,3,4,...,M)与F1的相似度Simm，如若Simm＞ThrS(其中，m＝2,3,4,...,M，ThrS为人脸相似度阈值)，则将Fm对应的图片拷贝本文档来自技高网...

【技术保护点】
一种基于号码牌识别和人脸识别的运动员照片分拣方法，其特征在于：所述分拣方法包括如下步骤：1)对比赛过程中拍摄到的运动员照片集进行预处理，得到Imgt,其中t＝1,2,3,...,T，T为照片总量；2)采用人脸识别算法对照片集进行分拣，每人一个文件夹Si，其中，i＝1,2,3,...,N，N为照片集可人脸分拣的运动员数量，对于无法以人脸进行分拣的照片放入文件夹Sort_F中，过程如下：2.1)采用基于深度学习的人脸识别算法对每张照片进行多人脸定位和特征提取，得到特征Fm，其中，m＝1,2,3,...,M，M为照片集中提取到的人脸数目，并将相应人脸信息存放于数据库中；2.2)分拣过程如下：2.2.1)计算Fm与F1的相似度Simm，m＝2,3,4,...,M，如若Simm＞ThrS，其中，ThrS为人脸相似度阈值，则将Fm对应的图片拷贝入文件夹S1中，假定文件夹S1中图片数量为M1；2.2.2)在剩余的M‑M1个特征中选择一个特征与剩余的M‑M1‑1个特征进行相似度比较，将相似度大于阈值ThrS对应的图片拷贝入文件夹S2中；2.2.3)依次对剩余照片进行分拣，最终得到文件夹S1,S2,S3,...,SN，并将无法以人脸进行分拣的照片拷贝入文件夹Sort_F中；3)分别对步骤2)得到的文件夹Si中的照片进行号码牌识别，综合多个识别结果，将对应文件夹重命名为对应号码，过程如下：3.1)对文件夹Si中的照片进行号码牌定位和号码牌识别；3.2)对每个识别进行字符长度判断，舍弃长度异常的结果；3.3)对剩余识别结果进行对比分析，得到置信度最高的识别结果，并将对应文件夹重命名为相应号码；4)对步骤2)中文件夹Sort_F中的照片进行号码牌识别，将识别出来的照片放入对应号码的文件夹中。...

【技术特征摘要】
1.一种基于号码牌识别和人脸识别的运动员照片分拣方法，其特征在于：所述分拣方法包括如下步骤：1)对比赛过程中拍摄到的运动员照片集进行预处理，得到Imgt,其中t＝1,2,3,...,T，T为照片总量；2)采用人脸识别算法对照片集进行分拣，每人一个文件夹Si，其中，i＝1,2,3,...,N，N为照片集可人脸分拣的运动员数量，对于无法以人脸进行分拣的照片放入文件夹Sort_F中，过程如下：2.1)采用基于深度学习的人脸识别算法对每张照片进行多人脸定位和特征提取，得到特征Fm，其中，m＝1,2,3,...,M，M为照片集中提取到的人脸数目，并将相应人脸信息存放于数据库中；2.2)分拣过程如下：2.2.1)计算Fm与F1的相似度Simm，m＝2,3,4,...,M，如若Simm＞ThrS，其中，ThrS为人脸相似度阈值，则将Fm对应的图片拷贝入文件夹S1中，假定文件夹S1中图片数量为M1；2.2.2)在剩余的M-M1个特征中选择一个特征与剩余的M-M1-1个特征进行相似度比较，将相似度大于阈值ThrS对应的图片拷贝入文件夹S2中；2.2.3)依次对剩余照片进行分拣，最终得到文件夹S1,S2,S3,...,SN，并将无法以人脸进行分拣的照片拷贝入文件夹Sort_F中；3)分别对步骤2)得到的文件夹Si中的照片进行号码牌识别，综合多个识别结果，将对应文件夹重命名为对应号码，过程如下：3.1)对文件夹Si中的照片进行号码牌定位和号码牌识别；3.2)对每个识别进行字符长度判断，舍弃长度异常的结果；3.3)对剩余识别结果进行对比分析，得到置信度最高的识别结果，并将对应文件夹重命名为相应号码；4)...

【专利技术属性】
技术研发人员：张永良，金尚赟，姜晓丽，朱小明，
申请(专利权)人：杭州景联文科技有限公司，
类型：发明
国别省市：浙江,33