基于图像识别的车内人脸识别方法、装置及介质制造方法及图纸

本发明专利技术涉及人工智能，揭露一种基于图像识别的车内人脸识别方法，包括：获得车内的原始输入图像；构建特征抽取网络，抽取原始输入图像的图像特征；所述特征抽取网络的输出的图像特征执行多次CBL模块的操作和卷积操作获得一种尺度的特征图；所述特征抽取网络的不同中间层分别执行多次CBL模块操作、卷积、上采样和特征拼接操作，获得至少三种不同尺度的特征图；在至少四种尺度的特征图上采用锚框的方法进行进行人脸的检测与识别；将特征图上预测得到的人脸坐标映射为原始输入图像上的坐标，从而实现图像的车内人脸识别。还提供一种装置、电子设备及计算机可读存储介质。本发明专利技术提高困难场景下人脸识别的准确率和召回率。

【技术实现步骤摘要】
基于图像识别的车内人脸识别方法、装置及介质
本专利技术涉及人工智能，尤其涉及一种基于图像识别的车内人脸识别方法、装置、电子设备及计算机可读存储介质。
技术介绍
人工智能技术的高速发展，深度学习越来越多的应用于计算机视觉中，尤其是图像识别领域。人脸作为人体的一个而重要标志，是进行不同人识别的基础手段。Yolo(全称为YouOnlyLookOnce)是常用的深度学习方法，仅仅使用一个CNN网络直接预测不同目标的类别与位置，YOLO将物体检测作为回归问题求解，基于一个单独的end-to-end网络，完成从原始图像的输入到物体位置和类别的输出。YOLO的核心思想就是利用整张图作为网络的输入，直接在输出层回归boundingbox的位置和boundingbox所属的类别。基于YOLOv3的深度学习方法，由于其检测速度快，成为目前业内比较流行的人脸识别的检测算法之一。基于YOLOv3的人脸识别算法在晴天、白天、无遮挡等简单场景下可以达到实时检测且具有较高准确率的效果，但在雨天、夜间、有遮挡等困难场景下，其准确率和召回率都还相对较低。
技术实现思路
本专利技术提供一种基于图像识别的车内人脸识别方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高雾霾、雨天、夜间、人脸线模糊等困难场景下，人脸识别的准确率和召回率。为实现上述目的，本专利技术提供一种基于图像识别的车内人脸识别方法，包括：获得车内的原始输入图像；构建特征抽取网络，抽取原始输入图像的图像特征，所述图像特征包括颜色特征、纹理特征、形状特征和空间关系特征中的一个或多个，所述特征抽取网络包括多个CSPX模块，所述CSPX模块模块包括ResX模块和两个CBL模块，ResX模块与一个CBL模块串联再与另外一个CBL模块并联拼接，所述CBL模块指的是依次执行卷积、批归一化处理和激活操作的运算过程，所述ResX模块包括CBL模块和X个残差模块,所述残差模块指的是执行多个CBL模块操作与原始输入相加的运算过程；所述特征抽取网络的输出的图像特征执行多次CBL模块的操作和卷积操作获得一种尺度的特征图；所述特征抽取网络的不同中间层分别执行多次CBL模块操作、卷积、上采样和特征拼接操作，获得至少三种不同尺度的特征图；在至少四种尺度的特征图上采用锚框的方法进行进行人脸的检测与识别；将特征图上预测得到的人脸坐标映射为原始输入图像上的坐标，从而实现图像的车内人脸识别。可选地，所述特征抽取网络为CSP-DarkNet，包括一个CBL模块、多个CSPX模块和多个CBM模块，CBM模块的输入矩阵是CSPX模块的输出矩阵，所述CBM模块指的是依次执行卷积、批归一化处理、与CBL模块不同的另一种激活操作的运算过程。可选地，所述特征抽取网络包括五个CSPX模块和五个CBM模块，五个CSPX模块的结构为1、2、8、8、4，CSP-DarkNet依次包括CBL模块、CSP1模块、CBM模块、CSP2模块、CBM模块、CSP8模块、CBM模块、CSP8模块、CBM模块、CSP4模块和CBM模块。可选地，所述CSP4模块的输出执行CBL模块的操作和卷积操作获得一种尺度的特征图；将CSP2模块、CSP8模块、CSP8模块和CSP4模块分别执行多次CBL模块的操作、卷积、上采样、特征拼接操作，获得三种不同尺度的特征图。可选地，所述CSP4模块的输出执行5层CBL模块的操作、1层CBL模块的操作和卷积操作获得第一尺度特征图；CSP2模块、CSP8模块、CSP8模块和CSP4分别执行1层CBL模块的操作和上采样与原始输出特征拼接后分别执行5层CBL模块的操作、1层CBL模块的操作和卷积操作获得第二尺度特征图、第三尺度特征图和第四尺度特征图。可选地，所述在至少四种尺度的特征图上采用锚框的方法进行进行人脸的检测与识别的步骤包括：设定多个不同尺寸的锚框；根据特征图的尺寸采用聚类方法在特征图上生成相应的多个锚框；通过损失函数对多个锚框进行回归处理和人脸识别。可选地，所述通过损失函数对多个锚框进行回归处理和人脸识别的步骤包括：所述损失函数包括坐标损失、类别损失和DIOU损失，所述坐标损失包括锚框的中心点坐标损失和锚框的宽高损失loss＝∑lossxy+losswh+lossclass+lossdiou其中，loss为总损失，lossxy为锚框的中心点坐标损失，losswh为锚框的宽高损失，lossclass为锚框的类别损失，lossdiou为DIOU损失；通过特征图上锚框的中心坐标x与坐标y的交叉熵损失之和，根据下式获得锚框的中心点坐标损失：其中，xtrue_x为中心坐标x的实际值，xpredict_x为中心坐标x的预测值，ytrue_y为中心坐标y的实际值，ypredict_y为中心坐标y的预测值；通过特征图上锚框的高和宽的均方损失之和获得锚框的宽高损失：其中，ytrue_w为锚框的宽的实际值，xpredict_x为锚框的宽的预测值，ypredcit_w为锚框的高的实际值，ypredict_h为锚框的高的预测值；通过类别的交叉熵损失，根据下式获得锚框的类别损失lossclass＝-(ytrue_classlogypredict_class+(1-ytrue_class)log(1-ypredict_class))其中，ytrue_class为锚框的实际类别，ypredict_class为锚框的预测类别；通过锚框与真实标注框之间的损失，根据下式获得锚框的DIOU损失：其中，I表示锚框与真实标注框的交集面积，U表示锚框与真实标注框的并集面积；d2(boxpredict,boxtrue)表示锚框与真实标注框的中心点之间的距离的平方；c2表示同时包围锚框与真实标注框的最小外接矩阵的对角线长度。为实现上述目的，本专利技术还提供一种基于图像识别的车内人脸识别装置，包括：采集模块，获得车内的原始输入图像；特征抽取网络，用于抽取采集模块采集的原始输入图像的图像特征，所述图像特征包括颜色特征、纹理特征、形状特征和空间关系特征中的一个或多个，所述特征抽取网络包括多个CSPX模块，所述CSPX模块模块包括ResX模块和两个CBL模块，ResX模块与一个CBL模块串联再与另外一个CBL模块并联拼接，所述CBL模块指的是依次执行卷积、批归一化处理和激活操作的运算过程，所述ResX模块包括CBL模块和X个残差模块,所述残差模块指的是执行多个CBL模块操作与原始输入相加的运算过程；特征图生成模块，所述特征抽取网络的输出的图像特征执行多次CBL模块的操作和卷积操作获得一种尺度的特征图；所述特征抽取网络的不同中间层分别执行多次CBL模块操作、卷积、上采样和特征拼接操作，获得至少三种不同尺度的特征图；人脸识别模块，在至少四种尺度的特征图上采用锚框的方法进行进行人脸的检测与识别；映本文档来自技高网...

【技术保护点】
1.一种基于图像识别的车内人脸识别方法，包括：/n获得车内的原始输入图像；/n构建特征抽取网络，抽取原始输入图像的图像特征，所述图像特征包括颜色特征、纹理特征、形状特征和空间关系特征中的一个或多个，所述特征抽取网络包括多个CSPX模块，所述CSPX模块模块包括ResX模块和两个CBL模块，ResX模块与一个CBL模块串联再与另外一个CBL模块并联拼接，所述CBL模块指的是依次执行卷积、批归一化处理和激活操作的运算过程，所述ResX模块包括CBL模块和X个残差模块，所述残差模块指的是执行多个CBL模块操作与原始输入相加的运算过程；/n所述特征抽取网络的输出的图像特征执行多次CBL模块的操作和卷积操作获得一种尺度的特征图；/n所述特征抽取网络的不同中间层分别执行多次CBL模块操作、卷积、上采样和特征拼接操作，获得至少三种不同尺度的特征图；/n在至少四种尺度的特征图上采用锚框的方法进行进行人脸的检测与识别；/n将特征图上预测得到的人脸坐标映射为原始输入图像上的坐标，从而实现图像的车内人脸识别。/n

【技术特征摘要】
1.一种基于图像识别的车内人脸识别方法，包括：
获得车内的原始输入图像；
构建特征抽取网络，抽取原始输入图像的图像特征，所述图像特征包括颜色特征、纹理特征、形状特征和空间关系特征中的一个或多个，所述特征抽取网络包括多个CSPX模块，所述CSPX模块模块包括ResX模块和两个CBL模块，ResX模块与一个CBL模块串联再与另外一个CBL模块并联拼接，所述CBL模块指的是依次执行卷积、批归一化处理和激活操作的运算过程，所述ResX模块包括CBL模块和X个残差模块，所述残差模块指的是执行多个CBL模块操作与原始输入相加的运算过程；
所述特征抽取网络的输出的图像特征执行多次CBL模块的操作和卷积操作获得一种尺度的特征图；
所述特征抽取网络的不同中间层分别执行多次CBL模块操作、卷积、上采样和特征拼接操作，获得至少三种不同尺度的特征图；
在至少四种尺度的特征图上采用锚框的方法进行进行人脸的检测与识别；
将特征图上预测得到的人脸坐标映射为原始输入图像上的坐标，从而实现图像的车内人脸识别。


2.如权利要求1所述的基于图像识别的车内人脸识别方法，其特征在于，所述特征抽取网络为CSP-DarkNet，包括一个CBL模块、多个CSPX模块和多个CBM模块，CBM模块的输入矩阵是CSPX模块的输出矩阵，所述CBM模块指的是依次执行卷积、批归一化处理、与CBL模块不同的另一种激活操作的运算过程。


3.如权利要求2所述的基于图像识别的车内人脸识别方法，其特征在于，所述特征抽取网络包括五个CSPX模块和五个CBM模块，五个CSPX模块的结构为1、2、8、8、4，CSP-DarkNet依次包括CBL模块、CSP1模块、CBM模块、CSP2模块、CBM模块、CSP8模块、CBM模块、CSP8模块、CBM模块、CSP4模块和CBM模块。


4.如权利要求3所述的基于图像识别的车内人脸识别方法，其特征在于，CSP4模块的输出执行CBL模块的操作和卷积操作获得一种尺度的特征图；将CSP2模块、CSP8模块、CSP8模块和CSP4模块分别执行多次CBL模块的操作、卷积、上采样、特征拼接操作，获得三种不同尺度的特征图。


5.如权利要求1所述的基于图像识别的车内人脸识别方法，其特征在于，CSP4模块的输出执行5层CBL模块的操作、1层CBL模块的操作和卷积操作获得第一尺度特征图；CSP2模块、CSP8模块、CSP8模块和CSP4分别执行1层CBL模块的操作和上采样与原始输出特征拼接后分别执行5层CBL模块的操作、1层CBL模块的操作和卷积操作获得第二尺度特征图、第三尺度特征图和第四尺度特征图。


6.如权利要求1所述的基于图像识别的车内人脸识别方法，其特征在于，所述在至少四种尺度的特征图上采用锚框的方法进行进行人脸的检测与识别的步骤包括：
设定多个不同尺寸的锚框；
根据特征图的尺寸采用聚类方法在特征图上生成相应的多个锚框；
通过损失函数对多个锚框进行回归处理和人脸识别。


7.如权利要求6所述的基于图像识别的车内人脸识别方法，其特征在于，所述通过损失函数对多个锚框进行回归处理和人脸识别的步骤包括：
所述损失函数包括坐标损失、类别损失和DIOU损失，所述坐标损失包括锚框的中心点坐标损失和锚框的宽高损失
loss＝Σlossxy+losswh...

【专利技术属性】
技术研发人员：吴晓东，
申请(专利权)人：深圳赛安特技术服务有限公司，
类型：发明
国别省市：广东;44