基于数字图像处理的团餐菜品数据合成方法技术

本发明专利技术公开了一种基于数字图像处理的团餐菜品数据合成方法，特点是：通过对替换图片进行最小矩阵处理，获取最小矩阵斜边与水平线的偏转角度，进行图片矫正，最后抓取图片的四个边缘点坐标；对待替换目标处理，设置两种方法分别是构建鼠标点击函数，通过鼠标点击获取代替换目标的位置信息和通过导入标注文件获取待替换目标的位置信息；基于获取到的目标餐盘抠图图像信息，构建单应矩阵函数，将待替换目标位置信息和替换图片的边缘点信息作为输入，其输出为合成的新数据。本案通过单应矩阵的方法，获取代替换目标的位置信息和替换图片的信息，进而使替换图片和待替换目标完成尺寸大小不变，最小矩阵不变和偏转角度不变的平替效果。效果。效果。

【技术实现步骤摘要】
基于数字图像处理的团餐菜品数据合成方法


[0001]本专利技术涉及对团餐菜品进行数据合成的方法，尤其是一种基于数字图像处理的团餐菜品数据合成方法，属于数字图像处理


技术介绍

[0002]在传统食堂场景中，从备餐、打餐到结算，人工操作往往是最主要的角色，但随着各类智慧食堂的层出不穷，现代的餐饮结算终端逐渐代替了传统的人工操作，食堂运营逐渐迈向智能化时代。智慧食堂推出智慧识别新应用—智能AI视觉识别结算台，该识别结算台基于视觉识别技术，通过本地常规图像识别进行服务，实现了AI视觉识别餐具和菜品，打造一种新的结算方式，从而彻底实现了食堂“无人值守”就餐。但是将图像信号转换成数字信号并利用计算机对其进行处理的过程中，当常规图像替换下，往往会出现菜品数据合成角度不匹配或者形状大小不匹配问题等，因此为了克服以上问题，通常采用抠图的方法进行被抠图餐盘的角度矫正，如下附图1所示，再将基于单应矩阵下矫正后的餐盘替换团餐场景菜品合成新数据，其中提供的两种方法分别是鼠标点击边角点进行替换和通过标注文件标注框信息进行替换，如下附图2所示。
[0003]然而，现有的选用标注框信息合成数据时，很容易使得两种替换的盘子出现重叠效果，在一定程度上影响到下一步的视觉识别技术，不能实现光照归一化，光照差异依旧是存在的问题，但是如果选择鼠标获取目标边角点方法进行合成，会导致人工参与过多，人工成本加大。所以，有必要对上述的方法进行改进，以提高团餐菜品数据合成的使用效率。

技术实现思路

[0004]本专利技术的目的就是为了解决上述问题，提供一种基于数字图像处理的团餐菜品数据合成方法，用以改善鼠标点击边角点进行替换和通过标注文件标注框信息进行替换的方法弊端，降低人工成本，提高团餐菜品数据合成的使用效率。
[0005]本专利技术的技术解决方案是：基于数字图像处理的团餐菜品数据合成方法，包括通过单应矩阵的方法，获取代替换目标的位置信息和替换图片的信息，进而使替换图片和待替换目标完成尺寸大小不变，最小矩阵不变和偏转角度不变的平替效果，其特点是包括以下步骤：（1）通过对替换图片进行最小矩阵处理，获取最小矩阵斜边与水平线的偏转角度，进行图片矫正，最后抓取图片的四个边缘点坐标。
[0006]（2）对待替换目标处理，设置两种方法分别是构建鼠标点击函数，通过鼠标点击获取代替换目标的位置信息和通过导入标注文件获取待替换目标的位置信息。
[0007]（3）基于获取到的目标餐盘抠图图像信息，构建单应矩阵函数，将待替换目标位置信息和替换图片的边缘点信息作为输入，其输出为合成的新数据。
[0008]进一步地，上述的基于数字图像处理的团餐菜品数据合成方法，其中：所述获取代替换目标的位置信息包括目标餐盘抠图的四个坐标点的方位信息。
[0009]进一步地，上述的基于数字图像处理的团餐菜品数据合成方法，其中：所述获取代替换目标的替换图片的信息包括目标餐盘抠图的四个边缘点替换信息。
[0010]更进一步地，上述的基于数字图像处理的团餐菜品数据合成方法，其中：所述单应矩阵函数(H)的矩阵相乘的公式为：Q=[X Y Z 1]T
q=[x y 1]T
单应性简单的表示为：q=sHQ，其中参数s是任意尺度的比。
[0011]更进一步地，上述的基于数字图像处理的团餐菜品数据合成方法，其中：所述调用函数的函数文件的格式为function [输出变量] = 函数名称(输入变量），可以由下面的公式形成形参表：function y = A(x1,x2)y1=x1+x2；y2=x1
‑
x2；y=[y1,y2]；End。
[0012]更进一步地，上述的基于数字图像处理的团餐菜品数据合成方法，其中：所述鼠标点击函数的鼠标操作为click()操作事件和/或toggle()操作事件。
[0013]优选地，所述click()操作事件，通过添加/触发 click 点击事件，并绑定处理函数。
[0014]优选地，所述toggle()操作事件，通过添加/触发“toggle”事件绑定处理函数，绑定两个或多个处理程序绑定到匹配的元素，用来执行餐盘抠图交替的点击。
[0015]如此，采用本专利技术技术方案，通过传统机器学习的方法，调用最小矩阵函数实现抠图餐盘的角度矫正，进而通过单应矩阵方法，实现菜品数据的替换和标注信息的替换，解决了以往方法在合成数据方面待替换目标与替换目标尺寸大小和角度不对应，从而导致训练新菜品性能较差的问题。
[0016]与现有技术相比，采用本专利技术技术方案之后，相比与以往的简单的替换数据合成方法，通过鼠标点击边角点进行替换与通过标注文件标注框信息进行替换相结合的方式，减少了团餐菜品数据合成对标签数据的需求，基于单应矩阵的替换方法，会保留待替换目标菜品的偏转角度，相对减少替换菜品的背景信息，保证代替换菜品和替换菜品的最小矩阵相同进而保证菜盘尺寸大小相同，在训练效果中起到预期的平替作用；而且，通过餐盘抠图，以最小矩阵角度矫正和单应矩阵的方法，有效提高了模型训练过程中新菜品特征的学习效率，同时保持新菜品的识别效果。
附图说明
[0017]图1为本专利技术角度矫正的餐盘视觉检测效果图。
[0018]图2为本专利技术基于单应矩阵的菜品数据合成的餐盘视觉检测效果图。
[0019]图3为本专利技术整体系统架构图。
具体实施方式
[0020]为能清楚说明本专利技术的技术特点和效果，下面结合附图进一步详细阐述本专利技术技术方案，以使其更易于理解和掌握。以下描述用于揭露本专利技术以使本领域技术人员能够实现本专利技术。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。
[0021]一种基于数字图像处理的团餐菜品数据合成方法，主要通过单应矩阵的方法，获取代替换目标的四个坐标点位置信息和替换图片的四个边缘点信息，进而使替换图片和待替换目标完成尺寸大小不变，最小矩阵不变和偏转角度不变的平替效果。
[0022]与现有技术类似，如图1和图2所示，采用抠图的方法进行被抠图餐盘的角度矫正，两种方法分别是鼠标点击边角点进行替换和通过标注文件标注框信息对菜品进行替换，再将基于单应矩阵下矫正后的餐盘替换团餐场景菜品合成新数据。
[0023]具体实施例1：（1）通过对替换图片进行最小矩阵处理，获取最小矩阵斜边与水平线的偏转角度，进行图片矫正，最后抓取图片的四个边缘点坐标。
[0024]（2）对待替换目标处理，其次构建包括形参的调用函数function y = A(x1,x2)，通过导入标注文件获取待替换目标的位置信息。
[0025]（3）基于获取到的目标餐盘抠图图像信息，构建单应矩阵函数，代入公式q=sHQ，将待替换目标位置信息和替换图片的边缘点信息作为输入，其输出为合成的新数据。
[0026]具体实施例2：（1）通过对替换图片进行最小矩阵处理，获取最小矩阵斜边与水平线的偏转角度，进行图片矫正，最后抓取图片的四个坐标点的方位信息和/或四个边缘点坐标。...

【技术保护点】

【技术特征摘要】
1.基于数字图像处理的团餐菜品数据合成方法，包括通过单应矩阵的方法，获取代替换目标的位置信息和替换图片的信息，进而使替换图片和待替换目标完成尺寸大小不变，最小矩阵不变和偏转角度不变的平替效果，其特征在于，包括以下步骤：步骤S1：通过对替换图片进行最小矩阵处理，获取最小矩阵斜边与水平线的偏转角度，进行图片矫正，最后抓取图片的四个边缘点坐标；步骤S2：对待替换目标处理，首先构建鼠标点击函数，通过鼠标点击获取代替换目标的位置信息；步骤S3：对待替换目标处理，其次构建调用函数，通过导入标注文件获取待替换目标的位置信息；步骤S4：基于获取到的目标餐盘抠图图像信息，构建单应矩阵函数，将待替换目标位置信息和替换图片的边缘点信息作为输入，其输出为合成的新数据。2.根据权利要求1所述的基于数字图像处理的团餐菜品数据合成方法，其特征在于：所述获取代替换目标的位置信息包括目标餐盘抠图的四个坐标点的方位信息。3.根据权利要求1所述的基于数字图像处理的团餐菜品数据合成方法，其特征在于：所述获取代替换目标的替换图片的信息包括目标餐盘抠图的四个边缘点替换信息。4.根据权利要求1所述的基于数字图像处理的团餐菜品数据合成方法，其特征在于：所述鼠标点击函数的鼠标操作...

【专利技术属性】
技术研发人员：蒋树强，闵巍庆，梅舒欢，苏海涛，
申请(专利权)人：中科苏州智能计算技术研究院，
类型：发明
国别省市：