食材质量监控系统技术方案

本申请公开了一种食材质量监控系统，其使用基于深度学习的深度神经网络模型对电子眼采集的待监控食材的监控视频的包含当前帧在内的多个关键帧分别进行深层特征提取和纹理特征提取，并将深层食材特征向量和纹理特征向量在高维特征空间中进行融合以得到对应于各个关键帧的食材状态向量，然后，对所述各个关键帧的食材状态向量进行特征分布校正以得到对应于各个关键帧的校正后食材状态向量，最后，将所述各个关键帧的校正后食材状态向量排列为向量序列后通过基于转换器的上下文编码器以得到食材质量特征向量，并通过分类器以得到用于表示食材的质量是否满足预定要求的分类结果，这样就能更为准确和高效的对食材质量进行鉴别。进行鉴别。进行鉴别。

【技术实现步骤摘要】
食材质量监控系统


[0001]本申请涉及人工智能
，且更为具体地，涉及一种食材质量监控系统。

技术介绍

[0002]随着经济的不断发展，食品行业迎来了发展的黄金期，新时期下，“中央厨房”凭借其在成本控制、集中采购、标准化作业以及加工配送方面的优势，已经成为餐饮工业化发展的必然趋势。在智能化中央厨房中，食材的质量监控是非常重要的事项。但对于食材质量的在线监控却非常难，食材质量的变化是非常缓慢的且不同食材的保质期也存在差异，因此，目前仍由人工进行食材质量鉴别，不仅效率低下，且难以形成统一的食材质量判断标准。
[0003]因此，期待一种食材质量的智能监控方案。
[0004]近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平
[0005]深度学习尤其是神经网络的发展给食材质量判断提供了新的解决思路和方案。

技术实现思路

[0006]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种食材质量监控系统，其使用基于深度学习的深度神经网络模型对电子眼采集的待监控食材的监控视频的包含当前帧在内的多个关键帧分别进行深层特征提取和纹理特征提取，并将深层食材特征向量和纹理特征向量在高维特征空间中进行融合以得到对应于各个关键帧的食材状态向量，然后，对所述各个关键帧的食材状态向量进行特征分布校正以得到对应于各个关键帧的校正后食材状态向量，最后，将所述各个关键帧的校正后食材状态向量排列为向量序列后通过基于转换器的上下文编码器以得到食材质量特征向量，并通过分类器以得到用于表示食材的质量是否满足预定要求的分类结果，这样就能更为准确和高效的对食材质量进行鉴别。
[0007]根据本申请的一个方面，提供了一种食材质量监控系统，其包括：
[0008]食材监控数据采集模块，用于获取由部署于智能中央厨房的电子眼采集的待监控食材的监控视频；
[0009]关键帧提取模块，用于从所述监控视频中提取包含当前帧在内的多个关键帧；
[0010]关键帧深度编码模块，用于将所述多个关键帧中的各个关键帧分别通过作为过滤器的第一卷积神经网络以得到对应于各个关键帧的深层食材特征向量；
[0011]纹理特征提取模块，用于使用灰度共生矩阵分别对所述多个关键帧中的各个关键帧进行纹理特征提取以得到对应于各个关键帧的纹理特征图；
[0012]纹理特征深度编码模块，用于将所述各个关键帧的纹理特征图通过作为过滤器的第二卷积神经网络以得到对应于各个关键帧的纹理特征向量；
[0013]特征融合模块，用于融合所述各个关键帧的深层食材特征向量和所述各个关键帧
的纹理特征向量以得到对应于各个关键帧的食材状态向量；
[0014]特征分布调整模块，用于对所述各个关键帧的食材状态向量进行特征分布校正以得到对应于各个关键帧的校正后食材状态向量；
[0015]长依赖语义关联编码模块，用于将所述各个关键帧的校正后食材状态向量排列为向量序列后通过基于转换器的上下文编码器以得到食材质量特征向量；以及
[0016]食材监控结果生成模块，用于将所述食材质量特征向量通过分类器以得到分类结果，所述分类结果用于表示食材的质量是否满足预定要求。
[0017]根据本申请的另一方面，提供了一种食材质量监控方法，其特征在于，包括：
[0018]获取由部署于智能中央厨房的电子眼采集的待监控食材的监控视频；
[0019]从所述监控视频中提取包含当前帧在内的多个关键帧；
[0020]将所述多个关键帧中的各个关键帧分别通过作为过滤器的第一卷积神经网络以得到对应于各个关键帧的深层食材特征向量；
[0021]使用灰度共生矩阵分别对所述多个关键帧中的各个关键帧进行纹理特征提取以得到对应于各个关键帧的纹理特征图；
[0022]将所述各个关键帧的纹理特征图通过作为过滤器的第二卷积神经网络以得到对应于各个关键帧的纹理特征向量；
[0023]融合所述各个关键帧的深层食材特征向量和所述各个关键帧的纹理特征向量以得到对应于各个关键帧的食材状态向量；
[0024]对所述各个关键帧的食材状态向量进行特征分布校正以得到对应于各个关键帧的校正后食材状态向量；
[0025]将所述各个关键帧的校正后食材状态向量排列为向量序列后通过基于转换器的上下文编码器以得到食材质量特征向量；以及
[0026]将所述食材质量特征向量通过分类器以得到分类结果，所述分类结果用于表示食材的质量是否满足预定要求。
[0027]根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的食材质量监控方法。
[0028]根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的食材质量监控方法。
[0029]与现有技术相比，本申请提供的一种食材质量监控系统，其使用基于深度学习的深度神经网络模型对电子眼采集的待监控食材的监控视频的包含当前帧在内的多个关键帧分别进行深层特征提取和纹理特征提取，并将深层食材特征向量和纹理特征向量在高维特征空间中进行融合以得到对应于各个关键帧的食材状态向量，然后，对所述各个关键帧的食材状态向量进行特征分布校正以得到对应于各个关键帧的校正后食材状态向量，最后，将所述各个关键帧的校正后食材状态向量排列为向量序列后通过基于转换器的上下文编码器以得到食材质量特征向量，并通过分类器以得到用于表示食材的质量是否满足预定要求的分类结果，这样就能更为准确和高效的对食材质量进行鉴别。
附图说明
[0030]通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0031]图1图示了根据本申请实施例的食材质量监控系统的应用场景图。
[0032]图2图示了根据本申请实施例的食材质量监控系统的框图示意图。
[0033]图3图示了根据本申请实施例的食材质量监控系统中长依赖语义关联编码模块的框图。
[0034]图4图示了根据本申请实施例的食材质量监控方法的流程图。
[0035]图5图示了根据本申请实施例的食材质量监控方法的系统架构的示意图。
[0036]图6图示了根据本申请实施例的食材质量监控方法中，将所述各个关键帧的校正后食材状态向量排列为向量序列后通过基于转换器的上下文编码器以得到食材质量特征向量的流程图。
[0037]图7图示了根据本申请实施例的电子设备的框图。
具体实施方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种食材质量监控系统，其特征在于，包括：食材监控数据采集模块，用于获取由部署于智能中央厨房的电子眼采集的待监控食材的监控视频；关键帧提取模块，用于从所述监控视频中提取包含当前帧在内的多个关键帧；关键帧深度编码模块，用于将所述多个关键帧中的各个关键帧分别通过作为过滤器的第一卷积神经网络以得到对应于各个关键帧的深层食材特征向量；纹理特征提取模块，用于使用灰度共生矩阵分别对所述多个关键帧中的各个关键帧进行纹理特征提取以得到对应于各个关键帧的纹理特征图；纹理特征深度编码模块，用于将所述各个关键帧的纹理特征图通过作为过滤器的第二卷积神经网络以得到对应于各个关键帧的纹理特征向量；特征融合模块，用于融合所述各个关键帧的深层食材特征向量和所述各个关键帧的纹理特征向量以得到对应于各个关键帧的食材状态向量；特征分布调整模块，用于对所述各个关键帧的食材状态向量进行特征分布校正以得到对应于各个关键帧的校正后食材状态向量；长依赖语义关联编码模块，用于将所述各个关键帧的校正后食材状态向量排列为向量序列后通过基于转换器的上下文编码器以得到食材质量特征向量；以及食材监控结果生成模块，用于将所述食材质量特征向量通过分类器以得到分类结果，所述分类结果用于表示食材的质量是否满足预定要求。2.根据权利要求1所述的食材质量监控系统，其中，所述关键帧深度编码模块，进一步用于使用所述第一卷积神经网络的各层在层的正向传递中对输入数据分别进行卷积处理、基于特征矩阵的全局均值池化处理和非线性激活处理以由所述第一卷积神经网络的最后一层输出所述深层食材特征向量。3.根据权利要求2所述的食材质量监控系统，其中，所述纹理特征深度编码模块，进一步用于使用所述第二卷积神经网络的各层在层的正向传递中对输入数据分别进行卷积处理、基于特征矩阵的全局均值池化处理和非线性激活处理以由所述第一...

【专利技术属性】
技术研发人员：徐迅，
申请(专利权)人：浙江旅游职业学院，
类型：发明
国别省市：