一种基于度量学习的餐饮场景违规识别方法技术

本发明专利技术公开了一种基于度量学习的餐饮场景违规识别方法，涉及智能视频监控技术领域。包括以下步骤：对原始图像进行归类，根据后厨巡视标准依次构建每一违规项的图像数据库；基于所述图像数据库训练深度学习模型作为特征提取器；提取每一违规项的特征向量，构建后厨巡视标准的特征注册库；将待识别图像输入特征提取器中获得待识别特征向量；将所述待识别特征向量与特征注册库进行比对，若待识别特征向量与特征注册库中的任一特征向量对比成功，则所述待识别图像中的操作违规，向客户推送当前图片，否则所述待识别图像中的操作符合后厨巡视标准。本发明专利技术不受后厨场景限制，对于不同餐饮门店的违规项识别泛化性能较好。

A Method of Recognition of Food Scene Violations Based on Metric Learning

【技术实现步骤摘要】
一种基于度量学习的餐饮场景违规识别方法
本专利技术涉及智能视频监控
，尤其涉及一种基于度量学习的餐饮场景违规识别方法。
技术介绍
计算机视觉是一个近几年来日臻成熟的技术，基于计算机视觉技术的智能视频监控技术在餐饮、公司、健身房、工地以及火车站等场景中被广泛应用.当前随着人们生活水平的提高，对餐饮行业的要求也随之提高，为了使餐饮行业对后厨的管理越来越规范，基于计算机视觉技术的餐饮智能视频监控技术也应运而生.基于计算机视觉技术的餐饮智能视频监控一般做法是首先采用目标检测的方法检测出当前视频帧中的细化的目标，然后基于一些后厨的语义信息对当前帧中的操作人员的动作以及着装做判断，从而做出决策判断当前帧中的操作人员是否都符合后厨标准，找出视频帧中存在操作人员违规的图片推送给餐饮管理者，节省餐饮行业对后厨违规操作查找的人力资本，为餐饮行业有效的管理以及监督各个门店给出可靠的解决方案.但是当前算法存在一定的局限性，首先是在餐饮行业的后厨场景中，视觉背景杂乱且存在大量的冗余干扰信息，会对目标检测算法造成一定的干扰，导致目标检测算法的性能提升受限.其次是基于目标检测算法检测出目标结合后厨的一些语义信息人为制定相应的规则找出后厨巡视标准中的违规项，该方法在处理规则简单，视觉特征单一明确时，智能算法可以精准的发现问题，降低视频浏览量，从而提高效率。但是实际在后厨的巡视项中很多无法用明确规则制定，导致智能算法只能找出一些违规疑似项，误报率会比较高，对提升工作效率帮助有限。
技术实现思路
有基于此，本专利技术的目的在于提供一种基于度量学习的餐饮场景违规识别方法，不受后厨场景限制，对于不同餐饮门店的违规项识别泛化性能较好。为实现上述目的，本专利技术提供如下技术方案：一种基于度量学习的餐饮场景违规识别方法，其特征在于，包括以下步骤：S1，对原始图像进行归类，根据后厨巡视标准依次构建每一违规项的图像数据库；S2，基于所述图像数据库训练深度学习模型作为特征提取器；S3，提取每一违规项的特征向量，构建后厨巡视标准的特征注册库；S4，将待识别图像输入特征提取器中获得待识别特征向量；S5，将所述待识别特征向量与特征注册库进行比对，若待识别特征向量与特征注册库中的任一特征向量对比成功，则所述待识别图像中的操作违规，向客户推送当前图片，否则所述待识别图像中的操作符合后厨巡视标准。进一步的，所述S1中归类之前，对原始图像进行裁剪：以目标检测算法检测出原始图像中的人，以人为中心向周围扩展一定区域进行裁剪。进一步的，所述S4中待识别图像输入特征提取器前进行相同的裁剪。进一步的，所述一定区域为以人为中心按1.2倍向外侧扩展。进一步的，所述S2中深度学习模型为基于度量学习设计的捕获违规项的特征向量的距离损失函数，具体如下：其中，J(x)为损失值；N为深度学习训练时的批次大小；xn为第n张图像提取的特征向量，cn为第n张图像提取的特征向量的类别；w为权重；α为由预先设置的不同违规项之间的决策边界；C为违规项的个数。进一步的，所述S5中的对比方法如下：求待识别特征向量与特征注册库中的任一特征向量的余弦距离，当所述余弦距离小于预先设定的阈值时，则对比成功，否则对比失败。进一步的，所述余弦距离的计算方法如下：其中，xi为待识别特征向量；fic为特征注册库中的特征向量；cos(θ)为余弦距离。与现有技术相比，本专利技术的有益效果是：本专利技术基于度量学习针对餐饮后厨的场景设计一个合适的损失函数以训练一个性能优异的特征提取器，使得提取的特征类内损失更小类间损失更大；然后基于训练好的特征提取器提取待巡视的视频帧中的特征与特征注册库中的特征向量匹配，基于匹配结果决定是否推出当前图像。此算法不受场景限制，对于不同餐饮门店的后厨泛化性能较好。附图说明图1为本专利技术的方法实施流程图。图2为本专利技术的模型训练以及特征提取流程图。图3为本专利技术决策边界α＝0时的分类结果示意图。图4为本专利技术决策边界α＝0.5时的分类结果示意图。图5为本专利技术决策边界α＝1时的分类结果示意图。图6为本专利技术决策边界α＝1.5时的分类结果示意图。具体实施方式下面对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，本专利技术提供一种基于度量学习的餐饮场景违规识别方法，其特征在于，包括以下步骤：S1，对原始图像进行归类，根据后厨巡视标准依次构建每一违规项的图像数据库；具体的，由当前主流的目标检测算法检测出原始图像中的人，由于后厨违规项中大多数是以人的行为主体，且违规项中基本都是人与环境交互的。故在检测到的人的区域，以人为中心向周围扩充一定的区域裁剪出违规项的目标区域。人工筛选出能反映违规项本质特征的原始图像归为一类，根据后厨巡视标准依次构建相应的违规项的数据库。其中，违规项的本质特征是指符合该违规项的图像的共有特征，且该共有特征有别于其他违规项的公有特征。如：针对后厨某一违规项的具体内容如下：“不得使用食品餐具器清理下水道”。在图像中的本质特征是人拿着食品餐具器弯腰/蹲下清理下水道，在这个过程中人、弯腰/蹲下清理下水道的过程都是本质特征，所以在这个违规项中建立数据库要包含的本质特征必须包含图像中人和下水道交互的环境信息；基于以上的原则从原始图像中裁剪出符合要求的一部分构建数据库，裁剪的目的为剔除原始图像中的无用信息，提高深度学习的精确度。值得一提的是，裁剪的具体方法为：以目标检测算法检测出原始图像中的人，以人为中心按照目标尺寸与整体图像尺寸之间的比例的1.2倍向周围扩展进行裁剪。S2，以所述图像数据库为样本数据，训练深度学习模型作为特征提取器；具体的请参照图2，深度学习模型的训练基于预训练模型微调最后一层全连接层的参数，该类问题属于一个分类问题模型，一般模型的最后一层采用softmax损失函数对前面卷积层提出的特征做非线性映射，假设有k类，经过softmax损失函数可得每个类别的概率如下：基于该损失函数设计一个新的损失函数能够使得同类违规项之间的间隔更小，不同的违规项之间的间隔更大。针对智能后厨的违规项，在本专利中，基于softmax损失函数设计的距离损失函数具体如下：其中，J(x)为损失值；N为深度学习训练时的批次大小；xn为第n张图像提取的特征向量，cn为第n张图像提取的特征向量的类别；w为权重；α为由预先设置的不同违规项之间的决策边界；C为违规项的个数。在权重w和特征向量xn之间存在一个夹角θ，0≤θ≤π，分类的决策边界取决于这个夹角。该距离损失函数的设计试图找出不同违规项之间的重叠部分并将其分开以使得不同的违规项之间的间隔更大。如图3至图6所示分别为α取值0，0.5，1，1.5时的分类结果示意图，由图我们可知随着α值的变化，同类违规项之间的间隔、不同的违规项之间的间隔亦会发生相应的变化。本实施例中α优选1.5。S3，将图像数据库中的图像输入特征提取器中提取每一违规项的特征向量fc，1≤c≤C；构建后厨巡视标准的特征注册库F(f1,f2,......,fc,......,fC)，提取FC1层前的特征，具体如下：S4，将待识别图像进行与本文档来自技高网...

【技术保护点】
1.一种基于度量学习的餐饮场景违规识别方法，其特征在于，包括以下步骤：S1，对原始图像进行归类，根据后厨巡视标准依次构建每一违规项的图像数据库；S2，基于所述图像数据库训练深度学习模型作为特征提取器；S3，提取每一违规项的特征向量，构建后厨巡视标准的特征注册库；S4，将待识别图像输入特征提取器中获得待识别特征向量；S5，将所述待识别特征向量与特征注册库进行比对，若待识别特征向量与特征注册库中的任一特征向量对比成功，则所述待识别图像中的操作违规，向客户推送当前图片，否则所述待识别图像中的操作符合后厨巡视标准。

【技术特征摘要】
1.一种基于度量学习的餐饮场景违规识别方法，其特征在于，包括以下步骤：S1，对原始图像进行归类，根据后厨巡视标准依次构建每一违规项的图像数据库；S2，基于所述图像数据库训练深度学习模型作为特征提取器；S3，提取每一违规项的特征向量，构建后厨巡视标准的特征注册库；S4，将待识别图像输入特征提取器中获得待识别特征向量；S5，将所述待识别特征向量与特征注册库进行比对，若待识别特征向量与特征注册库中的任一特征向量对比成功，则所述待识别图像中的操作违规，向客户推送当前图片，否则所述待识别图像中的操作符合后厨巡视标准。2.根据权利要求1所述的基于度量学习的餐饮场景违规识别方法，其特征在于，所述S1中归类之前，对原始图像进行裁剪：以目标检测算法检测出原始图像中的人，以人为中心向周围扩展一定区域进行裁剪。3.根据权利要求2所述的基于度量学习的餐饮场景违规识别方法，其特征在于，所述S4中待识别图像输入特征提取器前进行相同的裁剪。4.根据权利要求3或4所述...

【专利技术属性】
技术研发人员：张凯丽，刘立力，
申请(专利权)人：杭州视在科技有限公司，
类型：发明
国别省市：浙江,33