一种后厨混乱性检测方法及终端技术

本发明专利技术公开了一种后厨混乱性检测方法及终端，获取检测帧和参考帧，采用提取检测帧和参考帧的物品，将多个紧密有序摆放在一起的同类别物品合并作为一个物品；比较检测帧和存储的参考帧的物品数量的净增数量，定量分析检测帧相较参考帧的混乱性；参考帧为后厨整洁有序的视频帧，检测帧为待检测的视频帧。规定在统计物品数量时，将多个紧密有序摆放在一起的同类别物品作为一个整体，数量记为一，这样就将物品摆放的有序性转化为物品数量进行量化了，从而实现对后厨混乱性进行量化分析，能够更加有效地对后厨环境卫生状况进行定量评估。有效地对后厨环境卫生状况进行定量评估。有效地对后厨环境卫生状况进行定量评估。

【技术实现步骤摘要】
一种后厨混乱性检测方法及终端


[0001]本专利技术涉及计算机识别
，特别涉及一种后厨混乱性检测方法及终端。

技术介绍

[0002]后厨环境卫生状况是食品安全监管的重中之重。通过运用人工智能技术，后厨环境卫生监管正逐步朝智能化方向发展，主要体现为对后厨作业人员违规行为的识别(如：未戴口罩、未戴手套、未戴帽子、吸烟等)以及蛇鼠等活物的检测。
[0003]但对于评估后厨环境卫生状况最直观的指标之一的“混乱性”，目前现有技术对其的自动化检测仍然处于空白状态，主要原因在于两点：一是混乱性偏向于人们的主观感受，很难对其进行量化衡量；二是后厨场景复杂多变，对其混乱性进行检测具有很大难度。

技术实现思路

[0004]本专利技术所要解决的技术问题是：提供一种后厨混乱性检测方法及终端，能对后厨的混乱性进行自动识别。
[0005]为了解决上述技术问题，本专利技术采用的技术方案为：
[0006]一种后厨混乱性检测方法，
[0007]获取检测帧和参考帧，提取检测帧和参考帧的物品，将多个摆放在一起的同类别物品合并作为一个物品；
[0008]比较检测帧和存储的参考帧的物品数量的净增数量，定量分析检测帧相较参考帧的混乱性；
[0009]参考帧为后厨整洁有序的视频帧，检测帧为待检测的视频帧。
[0010]为了解决上述技术问题，本专利技术采用的另一种技术方案为：
[0011]一种后厨混乱性检测终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。
[0012]本专利技术的有益效果在于：一种后厨混乱性检测方法及终端，规定在统计物品数量时，将多个紧密有序摆放在一起的同类别物品作为一个整体，数量记为一，这样就将物品摆放的有序性转化为物品数量进行量化了，从而实现对后厨混乱性进行量化分析，能够更加有效地对后厨环境卫生状况进行定量评估。
附图说明
[0013]图1为本专利技术实施例的一种后厨混乱性检测方法的流程示意图；
[0014]图2是本专利技术实施例涉及的特征图生成部分的网络结构；
[0015]图3是本专利技术实施例涉及的感兴趣区域生成部分的网络结构；
[0016]图4是本专利技术实施例涉及的感兴趣区域特征截取部分的网络结构；
[0017]图5是本专利技术实施例涉及的计算感兴趣区域内检测帧和参考帧上目标的相似性的网络结构；
[0018]图6是本专利技术实施例涉及的感兴趣区域矫正网络结构；
[0019]图7是本专利技术实施例涉及的目标选择模块；
[0020]图8为本专利技术实施例的一种后厨混乱性检测终端的结构示意图。
[0021]标号说明：
[0022]1、一种后厨混乱性检测终端；2、处理器；3、存储器。
具体实施方式
[0023]为详细说明本专利技术的
技术实现思路
、所实现目的及效果，以下结合实施方式并配合附图予以说明。
[0024]请参照图1至图7，一种后厨混乱性检测方法，
[0025]获取检测帧和参考帧，提取检测帧和参考帧的物品，将多个摆放在一起的同类别物品合并作为一个物品；
[0026]比较检测帧和存储的参考帧的物品数量的净增数量，定量分析检测帧相较参考帧的混乱性；
[0027]参考帧为后厨整洁有序的视频帧，检测帧为待检测的视频帧。
[0028]由上述描述可知，本专利技术的有益效果在于：一种后厨混乱性检测方法及终端，规定在统计物品数量时，将多个紧密有序摆放在一起的同类别物品作为一个整体，数量记为一，这样就将物品摆放的有序性转化为物品数量进行量化了，从而实现对后厨混乱性进行量化分析，能够更加有效地对后厨环境卫生状况进行定量评估。
[0029]进一步地，所述提取检测帧和参考帧的物品，以及比较检测帧和存储的参考帧的物品数量的净增数量具体包括步骤：
[0030]S1、将参考帧和检测帧输入骨干网络和特征金字塔网络，以提取训练数据里参考帧和检测帧的特征图；
[0031]S2、将参考帧和检测帧的特征图分别输入区域建议网络以提取感兴趣区域；
[0032]S3、将参考帧的特征图和参考帧的感兴趣区域输入感兴趣区域对齐模块，截取参考帧的感兴趣区域内的参考帧特征以作为第一参考帧特征；
[0033]将参考帧的特征图和检测帧的感兴趣区域输入感兴趣区域对齐模块，截取检测帧的感兴趣区域内的参考帧特征以作为第二参考帧特征；
[0034]将检测帧的特征图和检测帧的感兴趣区域输入感兴趣区域对齐模块，截取检测帧的感兴趣区域内的检测帧特征以作为第一检测帧特征；
[0035]将检测帧的特征图和参考帧的感兴趣区域输入感兴趣区域对齐模块，截取参考帧的感兴趣区域内的检测帧特征以作为第二检测帧特征；
[0036]S4、根据所述第一参考帧特征和所述第二检测帧特征，计算参考帧的感兴趣区域内，检测帧上的目标和参考帧上的目标的相似性；根据第二参考帧特征和第一检测帧特征，计算检测帧的感兴趣区域内，参考帧上的目标和检测帧上的目标的相似性；
[0037]S5、将检测帧的感兴趣区域内，和参考帧上的目标的相似性小于设定阈值的检测帧上的目标作为新增的物品；
[0038]将参考帧的感兴趣区域内，和检测帧上的目标的相似性小于设定阈值的参考帧上的目标作为移除的物品；
[0039]计算新增的物品和移除的物品的数量差以作为净增数量。
[0040]由上述描述可知，通过使用卷积神经网络和相似性学习，基于参考图对后厨物品进行检测，解决了复杂多变场景下形状大小各异的物品难以检测的问题。
[0041]进一步地，所述步骤S4具体包括：
[0042]将第二检测帧特征和第一参考帧特征输入孪生网络，通过相似性学习分别生成高维度的参考帧的感兴趣区域内的检测帧上目标的特征向量和参考帧的感兴趣区域内的参考帧上目标的特征向量，计算参考帧的感兴趣区域内的检测帧上目标的特征向量和参考帧的感兴趣区域内的参考帧上目标的特征向量的欧式距离，以作为参考帧的感兴趣区域内检测帧上的目标和参考帧的感兴趣区域内参考帧上的目标的相似性；
[0043]将第二参考帧特征和第一检测帧特征特征输入孪生网络，通过相似性学习分别生成高维度的检测帧的感兴趣区域内的参考帧上目标的特征向量和检测帧的感兴趣区域内的检测帧上目标的特征向量，计算检测帧的感兴趣区域内的参考帧上目标的特征向量和检测帧的感兴趣区域内的检测帧上目标的特征向量的欧式距离以作为检测帧的感兴趣区域内参考帧上的目标和检测帧的感兴趣区域内检测帧上的目标的相似性。
[0044]进一步地，对方法整体的网络进行训练时，损失函数包括孪生网络损失函数，所述孪生网络损失函数公式为：
[0045][0046]式中N为mini
‑
batch内感兴趣区域数量，y表示感兴趣区域内检测帧上目标和参考帧上目标是否相同，若相同则为1，不同则为0，D表示区域内检测帧上目标和参考帧上目标特征向量之间的欧式距离。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种后厨混乱性检测方法，其特征在于，获取检测帧和参考帧，提取检测帧和参考帧的物品，将多个摆放在一起的同类别物品合并作为一个物品；比较检测帧和存储的参考帧的物品数量的净增数量，定量分析检测帧相较参考帧的混乱性；参考帧为后厨整洁有序的视频帧，检测帧为待检测的视频帧。2.根据权利要求1所述的一种后厨混乱性检测方法，其特征在于，所述提取检测帧和参考帧的物品，以及比较检测帧和存储的参考帧的物品数量的净增数量具体包括步骤：S1、将参考帧和检测帧输入骨干网络和特征金字塔网络，以提取训练数据里参考帧和检测帧的特征图；S2、将参考帧和检测帧的特征图分别输入区域建议网络以提取感兴趣区域；S3、将参考帧的特征图和参考帧的感兴趣区域输入感兴趣区域对齐模块，截取参考帧的感兴趣区域内的参考帧特征以作为第一参考帧特征；将参考帧的特征图和检测帧的感兴趣区域输入感兴趣区域对齐模块，截取检测帧的感兴趣区域内的参考帧特征以作为第二参考帧特征；将检测帧的特征图和检测帧的感兴趣区域输入感兴趣区域对齐模块，截取检测帧的感兴趣区域内的检测帧特征以作为第一检测帧特征；将检测帧的特征图和参考帧的感兴趣区域输入感兴趣区域对齐模块，截取参考帧的感兴趣区域内的检测帧特征以作为第二检测帧特征；S4、根据所述第一参考帧特征和所述第二检测帧特征，计算参考帧的感兴趣区域内，检测帧上的目标和参考帧上的目标的相似性；根据第二参考帧特征和第一检测帧特征，计算检测帧的感兴趣区域内，参考帧上的目标和检测帧上的目标的相似性；S5、将检测帧的感兴趣区域内，和参考帧上的目标的相似性小于设定阈值的检测帧上的目标作为新增的物品；将参考帧的感兴趣区域内，和检测帧上的目标的相似性小于设定阈值的参考帧上的目标作为移除的物品；计算新增的物品和移除的物品的数量差以作为净增数量。3.根据权利要求2所述的一种后厨混乱性检测方法，其特征在于，所述步骤S4具体包括：将第二检测帧特征和第一参考帧特征输入孪生网络，通过相似性学习分别生成高维度的参考帧的感兴趣区域内的检测帧上目标的特征向量和参考帧的感兴趣区域内的参考帧上目标的特征向量，计算参考帧的感兴趣区域内的检测帧上目标的特征向量和参考帧的感兴趣区域内的参考帧上目标的特征向量的欧式距离，以作为参考帧的感兴趣区域内检测帧上的目标和参考帧的感兴趣区域内参考帧上的目标的相似性；将第二参考帧特征和第一检测帧特征输入孪生网络，通过相似性学习分别生成高维度的检测帧的感兴趣区域内的参考帧上目标的特征向量和检测帧的感兴趣区域内的检测帧上目标的特征向量，计算检测帧的感兴趣区域内的参考帧上目标的特征向量和检测帧的感兴趣区域内的检测帧上目标的特征向量的...

【专利技术属性】
技术研发人员：傅良文，谢军伟，王恒健，郭立，童同，高钦泉，
申请(专利权)人：福建帝视科技集团有限公司，
类型：发明
国别省市：