一种目标对象的能效分析方法和系统技术方案

本说明书实施例提供一种目标对象的能效分析方法和系统，该方法包括：基于摄像头获取视频序列；基于第一模型对所述视频序列进行处理，确定是否有目标对象进行预设动作。所述第一模型包括第一卷积神经网络、循环神经网络和第一全连接层。响应于有目标对象进行预设动作，控制预设终端发射多个颜色的多个光照，获取所述多个光照下拍摄的多幅目标图像。基于第二模型对所述多幅目标图像和所述目标对象的动作特征进行处理，确定所述目标对象的能效结果。所述第二模型包括第二卷积神经网络和第二全连接层。所述训练好的第一模型和/或所述训练好的第二模型采用端对端的学习方式训练获得。得。得。

【技术实现步骤摘要】
一种目标对象的能效分析方法和系统


[0001]本说明书涉及计算机
，特别涉及一种目标对象的能效分析的方法和系统。

技术介绍

[0002]服务设施（例如，餐桌）和基础设施（例如，高速公路）的表面情况直接影响使用体验甚至安全性。而在翻台率高的餐饮服务和基础设施管理中，可能需要大量人工成本甚至无法人工完成表面情况的检测。因此，亟需一种目标对象的能效分析方法和系统。

技术实现思路

[0003]本说明书实施例之一提供一种目标对象的能效分析的方法。所述目标对象的能效分析方法包括：基于摄像头获取视频序列，所述视频序列包括N个时间段的视频数据，N为大于2的整数；基于第一模型对所述视频序列进行处理，确定是否有目标对象进行预设动作；所述第一模型包括第一卷积神经网络、循环神经网络和第一全连接层，所述第一卷积神经网络用于对所述N个时间段的视频数据进行处理，获取N个时间段的视频序列特征；所述循环神经网络基于对所述N个时间段的视频序列特征进行处理，确定所述目标对象的动作特征；所述第一全连接层基于所述动作特征，确定是否有目标对象进行预设动作；响应于有目标对象进行预设动作，控制预设终端发射多个颜色的多个光照，获取所述多个光照下拍摄的多幅目标图像，所述多幅目标图像为所述预设动作作用的目标位置的图像；基于第二模型对所述多幅目标图像和所述目标对象的动作特征进行处理，确定所述目标对象的能效结果；所述第二模型包括第二卷积神经网络和第二全连接层，所述第二卷积神经网络基于对所述多幅目标图像进行处理，确定所述目标图像特征；所述第二全连接层基于对所述目标图像特征和所述目标对象的动作特征进行处理，确定所述目标对象的能效结果；所述训练好的第一模型和/或所述训练好的第二模型采用端对端的学习方式训练获得。
[0004]本说明书实施例之一提供一种目标对象的能效分析系统，所述目标对象的能效分析系统包括：获取模块，用于基于摄像头获取视频序列，所述视频序列包括N个时间段的视频数据，N为大于2的整数；动作判断模块，用于基于第一模型对所述视频序列进行处理，确定是否有目标对象进行预设动作；所述第一模型包括第一卷积神经网络、循环神经网络和第一全连接层，所述第一卷积神经网络用于对所述N个时间段的视频数据进行处理，获取N个时间段的视频序列特征；所述循环神经网络基于对所述N个时间段的视频序列特征进行处理，确定所述目标对象的动作特征；所述第一全连接层基于所述动作特征，确定是否有目标对象进行预设动作；以及能效判断模块，用于响应于有目标对象进行预设动作，控制预设终端发射多个颜色的多个光照，获取所述多个光照下拍摄的多幅目标图像，所述多幅目标图像为所述预设动作作用的目标位置的图像；所述能效判断模块用于基于第二模型对所述多幅目标图像和所述目标对象的动作特征进行处理，确定所述目标对象的能效结果；所述第二模型包括第二卷积神经网络和第二全连接层，所述第二卷积神经网络基于对所述多幅
目标图像进行处理，确定所述目标图像特征；所述第二全连接层基于对所述目标图像特征和所述目标对象的动作特征进行处理，确定所述目标对象的能效结果；所述训练好的第一模型和/或所述训练好的第二模型采用端对端的学习方式训练获得。
[0005]本说明书实施例之一提供一种目标对象的能效分析的装置，所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现目标对象的能效分析的方法。
[0006]本说明书实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行目标对象的能效分析的方法。
附图说明
[0007]本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：图1是根据本说明书一些实施例所示的目标对象的能效分析系统的应用场景示意图；图2是根据本说明书一些实施例所示的目标对象的能效分析方法的示例性流程图；图3是根据本说明书一些实施例所示的第一模型的示例性结构图；图4是根据本说明书一些实施例所示的第二模型的示例性结构图；图5是根据本说明书一些实施例所示的训练第一模型和/或第二模型的方法的示意图。
具体实施方式
[0008]为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
[0009]应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
[0010]如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
[0011]本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
[0012]本申请实施例涉及一种能效分析的方法和系统。该能效分析的方法和系统可以应用于服务员、保洁人员、清洁机器人、自动清洁设备、清扫车、除冰车、除雪车等的能效分析。在一些实施例中，该能效分析的方法和系统可以应用于室内场所，例如，大堂、餐厅、食堂、茶水间、会议室、办公区等。在一些实施例中，该能效分析的方法和系统可以应用于露天场所，例如，操场、广场、绿地、游乐场、城市道路、高速公路等。通过该能效分析的方法和系统，可以实现：在相关人员和/或设备对目标位置进行清理和/或清洁后，自动检测目标位置的表面情况，提高效率和准确性、提高用户体验、保证安全性等一种或多种有益效果。在一些实施例中，该能效分析的方法和系统可以应用于其他领域，例如，安防领域。该能效分析的方法和系统可以提供诸如安全监控、突发事件警报、行为监督等服务。
[0013]图1是根据本说明书的一个或多个实施例所示的目标对象能效分析系统100的应用场景示意图。
[0014]目标对象能效分析系统100可以获取视频序列，基于模型判断目标对象是否进行预设动作，控制预设终端发射光照以进一步判断目标位置是否清洁干净。目标对象可以是、保洁人员、清洁机器人、自动清洁设备、清扫车、除冰车、除雪车等。目标位置可以是餐桌、地面、天花板、墙面、地毯、建筑物外墙、门窗、玻璃幕墙、草坪、跑道、路面等。
[0015]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标对象的能效分析方法，包括：基于摄像头获取视频序列，所述视频序列包括N个时间段的视频数据，N为大于2的整数；基于第一模型对所述视频序列进行处理，确定是否有目标对象进行预设动作；所述第一模型包括第一卷积神经网络、循环神经网络和第一全连接层；所述第一卷积神经网络用于对所述N个时间段的视频数据进行处理，获取N个时间段的视频序列特征；所述循环神经网络基于对所述N个时间段的视频序列特征进行处理，确定所述目标对象的动作特征；响应于有目标对象进行预设动作，控制预设终端发射多个颜色的多个光照，获取所述多个光照下拍摄的多幅目标图像，所述多幅目标图像为所述预设动作作用的目标位置的图像；基于第二模型对所述多幅目标图像和所述目标对象的动作特征进行处理，确定所述目标对象的能效结果，所述能效结果包括所述目标位置的表面情况是否达标；所述第二模型包括第二卷积神经网络和第二全连接层；所述第二卷积神经网络基于对所述多幅目标图像进行处理，确定所述目标图像特征；所述第二全连接层基于对所述目标图像特征和所述目标对象的动作特征进行处理，确定所述目标对象的能效结果；以及所述训练好的第一模型和/或所述训练好的第二模型采用端对端的学习方式训练获得。2.如权利要求1所述的方法，所述响应于有目标对象进行预设动作，控制预设终端发射多个颜色的多个光照，获取所述多个光照下拍摄的多幅目标图像包括：响应于有目标对象进行预设动作，控制所述摄像头在高画质模式下获取所述多幅目标图像。3.如权利要求1所述的方法，还包括：响应于没有目标对象进行预设动作，控制所述摄像头开启低画质模式。4.如权利要求1所述的方法，所述第一卷积神经网络和/或所述第二卷积神经网络的卷积核的参数基于对预先训练的图像识别模型中的卷积核的参数进行迁移确定。5.一种目标对象的能效分析系统，包括：获取模块，用于基于摄像头获取视频序列，所述视频序列包括N个时间段的视频数据，N为大于2的整数；动作判断模块，用于基于第一模型对所述视频序列进行处理，确定是否有目标对象进行预设动作；所述第一模型包括第一卷积神经网络...

【专利技术属性】
技术研发人员：卢国鸣，
申请(专利权)人：上海兴容信息技术有限公司，
类型：发明
国别省市：