【技术实现步骤摘要】
本申请涉及图像处理，尤其涉及一种堂食环境下食物浪费行为检测方法、设备及介质。
技术介绍
1、目前在单位食堂、学校食堂、社区食堂、写字楼食堂等堂食环境中，就餐结束时，在收餐台处经常能看见很多剩饭剩菜被倒入垃圾桶，食物浪费的现象比较严重，需要对浪费行为进行一定程度的监督。
2、通常情况下，食堂为避免就餐人员浪费食物，会在收餐台设置称重区域，通过称重的方法进行识别是否有食物浪费的行为，监督就餐人员浪费食物的行为，避免浪费地球资源。
3、但是，基于称重的方法并不能有效地区分就餐人员倒餐时，倒的是食物残渣还是剩余食物。若在该基础上，仅通过添加摄像头识别食物残渣还是剩余食物，也不能区分就餐人员是要进行倒掉还是准备继续食用，仍然不能做到高效、准确地食物浪费行为检测，导致浪费行为难以被精准追究并杜绝。
技术实现思路
1、本申请实施例提供了一种堂食环境下食物浪费行为检测方法、设备及介质，用于解决当前不能在堂食环境中，对就餐人员进行高效、准确地食物浪费行为检测，难以让就餐人员杜绝食物浪费行为的问题，从而节约食物，保护地球资源。
2、一方面，本申请实施例提供了一种堂食环境下食物浪费行为检测方法，该方法包括：
3、获取堂食环境中的待检测图像；
4、基于预先训练的第一识别模型，确定所述待检测图像中第一待定倒餐目标；
5、基于预先训练的第二识别模型，确定相应的所述待检测图像中的第二待定倒餐目标；
6、基于所述第一待定倒餐目标及
7、在所述第一待定倒餐目标与所述第二待定倒餐目标匹配成功的情况下，基于所述第一待定倒餐目标对应的行为识别图像，确定所述第一待定倒餐目标是否存在倒餐行为；
8、若存在，将所述第一待定倒餐目标作为第一倒餐目标，将所述第二待定倒餐目标作为第二倒餐目标，并基于所述第二倒餐目标对应的目标类型及其剩余量，确定相应的所述第一倒餐目标是否存在食物浪费行为，以生成相应的食物浪费行为识别结果，并将所述食物浪费行为识别结果发送至监管终端。
9、在本申请的一种实现方式中，基于预先训练的第一识别模型，确定所述待检测图像中第一待定倒餐目标之前，所述方法还包括：
10、获取若干第一倒餐对象样本图像；其中，所述第一倒餐对象样本图像为以预定镜头变焦倍率采集的图像；所述第一倒餐对象样本图像至少包括进行倒餐事件的对象；
11、根据预设分辨率及预设宽高比，对各所述第一倒餐对象样本图像进行裁剪，并将裁剪后的各所述第一倒餐对象样本图像输入待训练的目标检测子模型，以对所述目标检测子模型进行训练，直至所述目标检测子模型的第一损失函数值小于第一预定值，得到训练完成的所述目标检测子模型；
12、根据训练完成的所述目标检测子模型、全部或部分所述第一倒餐对象样本图像，确定多个倒餐对象检测向量；
13、将所述倒餐对象检测向量及各所述第一倒餐对象样本图像输入目标跟踪子模型，以对所述目标跟踪子模型进行训练，直至所述目标跟踪子模型的的第二损失函数值小于第二预定值，得到训练完成的所述目标跟踪子模型；
14、将所述目标检测子模型及所述目标跟踪子模型，作为所述第一识别模型。
15、在本申请的一种实现方式中，基于预先训练的第二识别模型，确定相应的所述待检测图像中的第二待定倒餐目标之前，所述方法还包括：
16、获取若干第二倒餐对象样本图像；其中，所述第二倒餐对象样本图像至少包括预先标注有餐饮废弃物的多个分类维度的标签；所述分类维度的标签至少包括目标类型；
17、将各所述第二倒餐对象样本图像输入待训练的第二识别模型，以对所述第二识别模型进行训练，直至所述第二识别模型的第三损失函数值小于第三预定值，得到训练完成的所述第二识别模型。
18、在本申请的一种实现方式中，基于所述第一待定倒餐目标及所述第二待定倒餐目标分别在所述待检测图像中的像素区域，按照预设规则，将所述第一待定倒餐目标与所述第二待定倒餐目标匹配，具体包括：
19、根据所述待检测图像中各所述第一待定倒餐目标对应的第一像素区域及所述第二待定倒餐目标对应的第二像素区域，分别确定相应的匹配交并比；
20、将与所述第二待定倒餐目标对应的各所述匹配交并比，添加至匹配序列；
21、根据所述匹配序列，确定相应的所述第二像素区域与各所述第一像素区域的区域宽度比值；
22、根据所述区域宽度比值及预设宽度比值区间，确定与所述第二待定倒餐目标匹配的所述第一待定倒餐目标。
23、在本申请的一种实现方式中，基于所述第一待定倒餐目标对应的行为识别图像，确定所述第一待定倒餐目标是否存在倒餐行为，具体包括：
24、根据所述第一识别模型及所述第一待定倒餐目标，确定所述行为识别图像；其中，所述行为识别图像从预设数据库的若干待识别行为图像中得到；所述行为识别图像至少包括所述第一待定倒餐目标；所述待识别行为图像在所述待检测图像对应采集时刻的预设时间段内得到；
25、根据所述行为识别图像及预先训练的行为识别模型，确定所述第一待定倒餐目标对应的行为类型，以根据所述行为类型判断所述一待定倒餐目标是否存在倒餐行为。
26、在本申请的一种实现方式中，基于所述第二倒餐目标对应的目标类型及其剩余量，确定相应的所述第一倒餐目标是否存在食物浪费行为，具体包括：
27、当得到所述第二识别模型识别所述第二倒餐目标输出的所述目标类型之后，确定所述目标类型是否为剩饭剩菜类型；
28、若是，基于所述目标类型对应的所述剩余量，确定所述第一倒餐目标是否存在食物浪费行为。
29、在本申请的一种实现方式中，基于所述目标类型对应的所述剩余量，确定所述第一倒餐目标是否存在食物浪费行为，具体包括：
30、将所述第二倒餐目标输入预先训练的剩余物识别模型；
31、根据所述剩余物识别模型输出的剩余食物标识，确定相应的置信度比对表；其中，所述剩余物识别模型用于识别所述第二倒餐目标对应的剩余食物标识；
32、根据所述剩余量及所述置信度比对表，确定所述第二倒餐目标对应的置信度；
33、将所述第二倒餐目标对应的所述置信度与预设置信度阈值比较；
34、在所述第二倒餐目标对应的所述置信度大于所述置信度阈值的情况下，确定所述第一倒餐目标存在食物浪费行为；
35、否则，确定所述第一倒餐目标不存在食物浪费行为。
36、在本申请的一种实现方式中，所述方法还包括：
37、在确定所述第一倒餐目标对应的所述第二倒餐目标的数量为多个的情况下，根据多个所述第二倒餐目标中的所述剩余食物标识，确定同一所述剩余食物标识对应的所述剩余量的加和，为更新后的所述剩余量；
38、根据更新本文档来自技高网...
【技术保护点】
1.一种堂食环境下食物浪费行为检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种堂食环境下食物浪费行为检测方法，其特征在于，基于预先训练的第一识别模型，确定所述待检测图像中第一待定倒餐目标之前，所述方法还包括：
3.根据权利要求1所述的一种堂食环境下食物浪费行为检测方法，其特征在于，基于预先训练的第二识别模型，确定相应的所述待检测图像中的第二待定倒餐目标之前，所述方法还包括：
4.根据权利要求1所述的一种堂食环境下食物浪费行为检测方法，其特征在于，基于所述第一待定倒餐目标及所述第二待定倒餐目标分别在所述待检测图像中的像素区域，按照预设规则，将所述第一待定倒餐目标与所述第二待定倒餐目标匹配，具体包括：
5.根据权利要求1所述的一种堂食环境下食物浪费行为检测方法，其特征在于，基于所述第一待定倒餐目标对应的行为识别图像，确定所述第一待定倒餐目标是否存在倒餐行为，具体包括：
6.根据权利要求3所述的一种堂食环境下食物浪费行为检测方法，其特征在于，基于所述第二倒餐目标对应的目标类型及其剩余量，确定相应的所述第一倒餐
7.根据权利要求6所述的一种堂食环境下食物浪费行为检测方法，其特征在于，基于所述目标类型对应的所述剩余量，确定所述第一倒餐目标是否存在食物浪费行为，具体包括：
8.根据权利要求7所述的一种堂食环境下食物浪费行为检测方法，其特征在于，所述方法还包括：
9.一种堂食环境下食物浪费行为检测设备，其特征在于，所述设备包括：
10.一种堂食环境下食物浪费行为检测非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令能够执行如上述权利要求1-8任一项所述的一种堂食环境下食物浪费行为检测方法。
...【技术特征摘要】
1.一种堂食环境下食物浪费行为检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种堂食环境下食物浪费行为检测方法，其特征在于，基于预先训练的第一识别模型，确定所述待检测图像中第一待定倒餐目标之前，所述方法还包括：
3.根据权利要求1所述的一种堂食环境下食物浪费行为检测方法，其特征在于，基于预先训练的第二识别模型，确定相应的所述待检测图像中的第二待定倒餐目标之前，所述方法还包括：
4.根据权利要求1所述的一种堂食环境下食物浪费行为检测方法，其特征在于，基于所述第一待定倒餐目标及所述第二待定倒餐目标分别在所述待检测图像中的像素区域，按照预设规则，将所述第一待定倒餐目标与所述第二待定倒餐目标匹配，具体包括：
5.根据权利要求1所述的一种堂食环境下食物浪费行为检测方法，其特征在于，基于所述第一待定倒餐目标对应的行为识别图像，确定所述...
【专利技术属性】
技术研发人员：李进，夏天煜，石胜坤，闵万里，田钿，丁鑫，
申请(专利权)人：神思电子技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。