用于实时技能评估的方法及系统以及计算机可读介质技术方案

用于实时技能评估的方法及系统以及计算机可读介质。这里描述的示例实现方式涉及诸如用于医院的洗手依从性或者工厂中组装产品之类的技能评估的系统及方法。示例实现方式涉及身体部位(例如手)跟踪、骨骼跟踪以及深度神经网络，以检测并识别子任务以及评估各子任务的技能。此外，检查子任务的顺序的正确性。除了监测单个用户，示例实现方式还能够用于分析并提高具有多个子任务的工作流设计。

Methods and systems for real-time skill assessment and computer-readable media

【技术实现步骤摘要】
用于实时技能评估的方法及系统以及计算机可读介质
本公开总体涉及相机系统，更具体地，涉及通过使用相机系统进行任务检测和技能评估。
技术介绍
使用相机的技能评估能够用于检查任务是否已被执行并且用于评估任务执行得如何。技能评估系统在质量控制、依从性、培训、提高工人效率和福祉方面具有有用的应用。在相关技术中，已经提出了通过深度排序和计算任务和子任务的语义相似性来确定技能的算法。这些相关技术方法通常要求视频是单个任务的单独视频，或者子任务的手动预分段的视频剪辑。
技术实现思路
对于具有子任务的复杂任务的视频流的更现实的情况，对这些复杂任务的技能评估仍未得到解决。此外，相关技术的另一个问题涉及分析任务工作流设计。例如，当工厂中具有多个子任务的任务工作流周期性地改变时，需要进行监测，以便能够调整并改进工作流。在相关技术中，用视频相机进行改变并手动注释。对于这种实现方式需要更自动化的系统。本文所描述的示例实现方式旨在通过深度学习方法解决上述问题。一种方法是自下而上的方法，用子任务标签(使用卷积神经网络(CNN)和光流)标记视本文档来自技高网...

【技术保护点】
1.一种方法，该方法包括以下步骤：/n从相机系统检测用户的与要完成的任务相关联的身体部位；/n基于被配置为将要完成的所述任务的多个子任务中的每一个与顺序帧相关联的机器学习模型的应用，将从所述相机系统接收的顺序帧分组到所述多个子任务中；以及/n基于对所述多个子任务的完成和所述子任务的顺序正确性的检测，来提供对所述任务的完成的评估。/n

【技术特征摘要】
20181127 US 16/201,8681.一种方法，该方法包括以下步骤：
从相机系统检测用户的与要完成的任务相关联的身体部位；
基于被配置为将要完成的所述任务的多个子任务中的每一个与顺序帧相关联的机器学习模型的应用，将从所述相机系统接收的顺序帧分组到所述多个子任务中；以及
基于对所述多个子任务的完成和所述子任务的顺序正确性的检测，来提供对所述任务的完成的评估。


2.根据权利要求1所述的方法，其中，从所述相机系统检测所述用户的与要完成的所述任务相关联的所述身体部位的步骤包括针对所述相机系统的每个帧提取所述身体部位周围的帧区域。


3.根据权利要求1所述的方法，其中，基于被配置为将要完成的所述任务的多个子任务中的每一个与顺序帧相关联的所述机器学习模型的应用，将从所述相机系统接收的所述顺序帧分组到所述多个子任务中的步骤包括：
应用所述机器学习模型，以通过对所述顺序帧的每一个加标签来将所述多个子任务中的每一个与所述顺序帧相关联；
基于所述顺序帧的标签的分组来分割出所述多个子任务中的每一个；以及
将所分割出的多个子任务中的顺序子任务分组为要完成的所述任务。


4.根据权利要求3所述的方法，其中，基于对所述多个子任务的完成和所述子任务的顺序正确性的检测，来提供对所述任务的完成的评估的步骤包括：
根据所述多个子任务中的顺序子任务的分组，识别所述顺序正确性；
通过对加标签的顺序帧中的对应顺序帧应用计算机视觉算法，来识别所述多个子任务中的每一个的完成；以及
基于所述顺序正确性、所述多个子任务中的每一个的完成以及所述多个子任务中的每一个的技能得分的识别，计算要完成的所述任务的另一技能得分。


5.根据权利要求1所述的方法，其中，所述用户的所述身体部位包括所述用户的手，其中，要完成的所述任务是洗手，其中，所述多个子任务包括用于进行洗手的步骤。


6.根据权利要求1所述的方法，其中，从所述相机系统检测所述用户的与要完成的所述任务相关联的所述身体部位的步骤进一步包括：
检测与所述任务的一个或更多个相关联对象，以及
针对所述相机系统的每个帧提取所述身体部位和所述一个或更多个相关联对象周围的帧区域。


7.一种非暂时性计算机可读介质，该非暂时性计算机可读介质存储用于执行处理的指令，该处理包括以下步骤：
从相机系统检测用户的与要完成的任务相关联的身体部位；
基于被配置为将要完成的所述任务的多个子任务中的每一个与顺序帧相关联的机器学习模型的应用，将从所述相机系统接收的顺序帧分组到所述多个子任务中；以及
基于对所述多个子任务的完成和所述子任务的顺序正确性的检测，来提供对所述任务的完成的评估。


8.根据权利要求7所述的非暂时性计算机可读介质，其中，从所述相机系统检测所述用户的与要完成的所述任务相关联的所述身体部位的步骤包括针对所述相机系统的每个帧提取所述身体部位周围的帧区域。


9.根据权利要求7所述的非暂时性计算机可读介质，其中，基于被配置为将要完成的所述任务的多个子任务中的每一个与顺序帧相关联的所述机器学习模型的应用，将从所述相机系统接收的顺序帧分组到所述多个子任务中的步骤包括：
应用所述机器学习模型，以通过对所述顺序帧的每一个加标签，将所述多个子任务中的每一个与所述顺序帧相关联；
基于所述顺序帧的标签的分组来分割出所述多个子任务中的每一个；以及
将所分割出的多个子任务中的顺序子...

【专利技术属性】
技术研发人员：C·A·巴特，P·邱，金哲暄，刘琼，织田英人，张艳霞，
申请(专利权)人：富士施乐株式会社，
类型：发明
国别省市：日本;JP