一种基于轻量化多任务卷积神经网络的导购行为分析方法技术

基于轻量化的多任务卷积神经网络的导购行为分析方法，首先对数据进行清洗，除去不利于神经网络收敛的图片；然后构建带残差和不带残差结构的两种Bottleneck模块函数，基于这两种Bottleneck构建轻量化的多任务卷积神经网络；对训练图片进行数据增强、归一化，先用大的学习率预训练模型，再用小的学习率微调模型。最终实现用轻量化多任务卷积神经网络对导购的行为进行有效、快速的识别。

【技术实现步骤摘要】
一种基于轻量化多任务卷积神经网络的导购行为分析方法
本专利技术涉及一种在新零售领域的导购行为分析方法。
技术介绍
随着人工智能与新零售的深度结合，利用深度学习技术，检测、分析、判断导购属性，分析导购行为，有助于提高店铺运营效率和店铺管理效率，优化运营营销策略、提高销售转换率、提升服务效率和消费体验等，有助力零售产业升级。传统零售场景存在店员监管困难的问题，而导购积极程度对店铺销量有重要影响。由于管理者精力有限，导购素质参差不齐，店长无法每时每刻监管所有导购，因此导购在上班时间玩手机、坐着不积极引导客人的现象时常发生。传统目标分类的卷积神经网络，针对一种属性进行识别往往需要训练一个神经网络模型，多个属性的识别则需要多个网络模型，导致模型的参数成倍增长。经典的卷积神经网络参数往往比较多，如AlexNet有6000万个参数、ResNet50有2000万个参数，大量的参数会占用大量的计算资源，且运算速度往往比较慢。针对导购的多种属性和行为进行快速分析的需求，目前还没有高效的解决方案。本专利技术提出一种基于轻量化的多任务卷积神经网络的导购行为分析方法，这种卷积神经网络可以部署到监控端进行识别，不需要占用远程服务器过多的计算资源。
技术实现思路
本专利技术要克服现有技术的上述缺点，提供一种基于轻量化的多任务卷积神经网络的导购行为分析方法。为实现上述专利技术目的，本专利技术设计一种基于轻量化的多任务卷积神经网络的导购行为分析方法，用一个轻量化、速度快、高精度的卷积神经网络去识别商场内导购的多种属性和行为，在一定程度上解决了导购行为分析以及神经网络效率的问题。可应用在新零售场景中导购管理、店铺运营、监控端神经网络部署等方面。本专利技术解决其技术问题所采用的技术方案是：一种基于轻量化的多任务卷积神经网络的导购行为分析方法，含有以下步骤：步骤1.清洗数据：除去训练集中带马赛克、模糊行人；步骤2.构建轻量化多任务卷积神经网络：构建无残差结构的Bottleneck模块，构建带残差结构的Bottleneck模块，构建特征提取模块，构建多任务卷积神经网络；步骤3.训练轻量化多任务卷积神经网络：数据预处理、预训练模型、微调模型；与现有技术相比，本专利技术技术方案的优点有：(1)本专利技术用一个神经网络实现了对商场内行人的多属性识别，端对端的识别更加方便地部署在真实商场的场景；(2)本专利技术使用轻量化的卷积神经网络，在精度可靠的情况下，模型体积比基于ResNet50的多任务网络小10倍，速度更快。附图说明图1是本专利技术的无残差结构的Bottleneck模块示意图；图2是本专利技术的带残差结构的Bottleneck模块示意图；图3是实现本专利技术方法的基于轻量化的多任务卷积神经网络结构图。具体实施方式为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图和实施例对本专利技术作进一步的详细描述。实施例1：一种基于轻量化的多任务卷积神经网络的导购行为分析方法，含有以下步骤：(1)清洗数据步骤11：除去训练集中带大量马赛克的图片；本专利技术使用BOT2018新零售技术挑战赛的数据集，为隐私保护需要，数据中存在大量带马赛克的行人图像，这对训练高精度的神经网络模型造成一定影响，因此需要除去这类图像。本专利技术设计一种数字图像处理技术中遍历像素统计的方法去识别图像中是否含有大量马赛克。一个马赛克块中的每个像素值都相等，利用这个特性去检测马赛克图像。首先将行人图像由三通道的RGB图像转为单通道的灰度图，然后将灰度图分割成10×10像素的格子块，分割后格子块的数量记为m。遍历每个格子块，统计每个格子块灰度值的分布，如果灰度值分布集中在1-4个值上，即可判定该格子块是马赛克块的一部分，n为这种格子块的总个数。通过公式1计算格子块的比例：若rate＞50％，则认定该图像的马赛克占比过多，将该图像从训练集中剔除掉；否则，将该图像保留在训练集中，在训练模型的步骤中使用。步骤12：除去训练集中模糊行人：由于监控视角的行人存在尺度变化的问题，距离监控近的行人尺寸大，清晰，距离监控远的行人尺寸小，模糊。模糊图像中提取的可利用特征少，不利于网络的收敛。遍历所有图像，将尺寸小于50×50的行人图像剔除出训练集。(2)构建轻量化多任务卷积神经网络步骤21：构建无残差结构的Bottleneck模块；本专利技术的轻量化多任务卷积神经网络将多次用到无残差结构的Bottleneck，因此将其封装成函数模块，如图1所示。需要设置四个参数：输入通道数(in_channels)、输出通道数(out_channels)、扩张系数(expansion_factor)、卷积步长(stride)。在无残差结构的Bottleneck模块中，第一个卷积层Conv1有out_channels×expansion_factor个1×1的卷积核，其大小为：1×1×(out_channels×expansion_factor)，卷积步长为1，而后对Conv1进行批归一化处理，接着用非线性函数relu6增加模型非线性表征能力，relu6函数公式为：f(x)＝max(0,6,x)(2)第二层卷积层Conv2有out_channels×expansion_factor个3×3的卷积核，其大小为：3×3×(out_channels×expansion_factor)，卷积步长为3，而后对Conv2进行批归一化处理，接着用非线性函数relu6增加模型非线性表征能力；第三层卷积层Conv3有out_channels个卷积核，其大小为：1×1×out_channels，卷积步长为1，而后对Conv3进行批归一化处理，接着用非线性函数relu6增加模型非线性表征能力，最后再加一层BN层。步骤22：构建带残差结构的Bottleneck模块；带残差结构的Bottleneck模块与步骤21中无残差结构的Bottleneck模块的差别在于：带残差结构的Bottleneck的输入通道数必须等于输出通道数。在结构上如图2所示：最后得到的输出特征图y是两个特征图相加，这两个特征图分别是输入特征图x和输入特征图在经过步骤21的Conv1、Conv2、Conv3得到的特征图f(x)，其相加方式为两个特征图每层对应位置上的数值的相加。即如下公式所描述：y＝f(x)+x(3)步骤23：构建特征提取模块；利用步骤21、步骤22的Bottleneck模块搭建轻量化的特征提取模块：具体地，对于输入大小为224×224×3的图像，第一层conv1是一个卷积核大小为3×3×32的卷积层，输出通道为32，卷积步长为2；第二层block2是步骤21中无残差结构的Bottleneck，其输入参数为(32，16，1，1)，Bottleneck传入参数的含义分别为(输入通道数，输出通道数，扩张系数，卷积步长)；第三层block3是步骤21中无残差结构的Bottleneck与步骤22中带残差结构的Bottleneck的组合，即对于第二层得到的特征图，先进行参数为(16，24，6，2)无残差结构的Bottleneck，得到的特征图再传入输入参数为(24，24，6，1)的带残差结构的Bottleneck；第四层block4由3个Bottleneck模块组合得到，即对于第三层得到的特征图，先进行参数为(24，32，本文档来自技高网...

【技术保护点】
1.一种基于轻量化的多任务卷积神经网络的导购行为分析方法，包含以下步骤：(1)清洗数据；步骤11：除去训练集中带大量马赛克的图片；首先将行人图像由三通道的RGB图像转为单通道的灰度图，然后将灰度图分割成10×10像素的格子块，分割后格子块的数量记为m。遍历每个格子块，统计每个格子块灰度值的分布，如果灰度值分布集中在1‑4个值上，即可判定该格子块是马赛克块的一部分，n为这种格子块的总个数。通过公式1计算格子块的比例：

【技术特征摘要】
1.一种基于轻量化的多任务卷积神经网络的导购行为分析方法，包含以下步骤：(1)清洗数据；步骤11：除去训练集中带大量马赛克的图片；首先将行人图像由三通道的RGB图像转为单通道的灰度图，然后将灰度图分割成10×10像素的格子块，分割后格子块的数量记为m。遍历每个格子块，统计每个格子块灰度值的分布，如果灰度值分布集中在1-4个值上，即可判定该格子块是马赛克块的一部分，n为这种格子块的总个数。通过公式1计算格子块的比例：若rate＞50％，则认定该图像的马赛克占比过多，将该图像从训练集中剔除掉；否则，将该图像保留在训练集中，在训练模型的步骤中使用。步骤12：除去训练集中模糊行人：模糊图像中提取的可利用特征少，不利于网络的收敛。遍历所有图像，将尺寸小于50×50的行人图像剔除出训练集。(2)构建轻量化多任务卷积神经网络；步骤21：构建无残差结构的Bottleneck模块；将无残差结构的Bottleneck封装成函数模块。需要设置四个参数：输入通道数(in_channels)、输出通道数(out_channels)、扩张系数(expansion_factor)、卷积步长(stride)。在无残差结构的Bottleneck模块中，第一个卷积层Conv1有out_channels×expansion_factor个1×1的卷积核，其大小为：1×1×(out_channels×expansion_factor)，卷积步长为1，而后对Conv1进行批归一化处理，接着用非线性函数relu6增加模型非线性表征能力，relu6函数公式为：f(x)＝max(0,6,x)(2)第二层卷积层Conv2有out_channels×expansion_factor个3×3的卷积核，其大小为：3×3×(out_channels×expansion_factor)，卷积步长为3，而后对Conv2进行批归一化处理，接着用非线性函数relu6增加模型非线性表征能力；第三层卷积层Conv3有out_channels个卷积核，其大小为：1×1×out_channels，卷积步长为1，而后对Conv3进行批归一化处理，接着用非线性函数relu6增加模型非线性表征能力，最后再加一层BN层。步骤22：构建带残差结构的Bottleneck模块；最后得到的输出特征图y是两个特征图相加，这两个特征图分别是输入特征图x和输入特征图在经过步骤21的Conv1、Conv2、Conv3得到的特征图f(x)，其相加方式为两个特征图每层对应位置上的数值的相加。即如下公式所描述：y＝f(x)+x(3)步骤23：构建特征提取模块；利用步骤21、步骤22的Bottleneck模块搭建轻量化的特征提取模块：具体地，对于输入大小为224×224×3的图像，第一层conv1是一个卷积核大小为3×3×32的卷积层，输出通道为32，卷积步长为2；第二层block2是步骤21中无残差结构的Bottleneck，其输入参数为(32，16，1，1)，Bottleneck传入参数的含义分别为(输入通道数，输出通道数，扩张系数，卷积步长)；第三层block3是步骤21中无残差结构的Bottleneck与步骤22中带残差结构的Bottleneck的组合，即对于第二层得到的特征图，先进行参数为(16，24，6，2)无残差结...

【专利技术属性】
技术研发人员：赵云波，林建武，李灏，宣琦，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33