用于实时技能评估的方法及系统以及计算机可读介质技术方案

用于实时技能评估的方法及系统以及计算机可读介质。这里描述的示例实现方式涉及诸如用于医院的洗手依从性或者工厂中组装产品之类的技能评估的系统及方法。示例实现方式涉及身体部位(例如手)跟踪、骨骼跟踪以及深度神经网络，以检测并识别子任务以及评估各子任务的技能。此外，检查子任务的顺序的正确性。除了监测单个用户，示例实现方式还能够用于分析并提高具有多个子任务的工作流设计。

Methods and systems for real-time skill assessment and computer-readable media

【技术实现步骤摘要】
用于实时技能评估的方法及系统以及计算机可读介质
本公开总体涉及相机系统，更具体地，涉及通过使用相机系统进行任务检测和技能评估。
技术介绍
使用相机的技能评估能够用于检查任务是否已被执行并且用于评估任务执行得如何。技能评估系统在质量控制、依从性、培训、提高工人效率和福祉方面具有有用的应用。在相关技术中，已经提出了通过深度排序和计算任务和子任务的语义相似性来确定技能的算法。这些相关技术方法通常要求视频是单个任务的单独视频，或者子任务的手动预分段的视频剪辑。
技术实现思路
对于具有子任务的复杂任务的视频流的更现实的情况，对这些复杂任务的技能评估仍未得到解决。此外，相关技术的另一个问题涉及分析任务工作流设计。例如，当工厂中具有多个子任务的任务工作流周期性地改变时，需要进行监测，以便能够调整并改进工作流。在相关技术中，用视频相机进行改变并手动注释。对于这种实现方式需要更自动化的系统。本文所描述的示例实现方式旨在通过深度学习方法解决上述问题。一种方法是自下而上的方法，用子任务标签(使用卷积神经网络(CNN)和光流)标记视频帧，然后将顺序帧分组为对其计算技能评估得分(例如，使用深度排序)的子任务事件，并且子任务事件被分组为对其检查子任务完成和子任务顺序的任务事件。另一种方法是使用基于骨骼跟踪的3D手部运动的时间卷积网络(TCN)的更专业的架构。在以下公开内容中详细描述这些方法。本公开的各方面涉及一种方法，该方法涉及如下步骤：从相机系统检测用户的与要完成的任务相关联的身体部位；基于被配置为将要完成的所述任务的多个子任务中的每一个与顺序帧相关联的机器学习模型的应用，将从所述相机系统接收的顺序帧分组到多个子任务中；以及基于对多个子任务的完成和子任务的顺序正确性的检测，来提供对任务的完成的评估。本公开的各方面还涉及一种具有指令的计算机程序，该指令涉及从相机系统检测用户的与要完成的任务相关联的身体部位；基于被配置为将要完成的所述任务的多个子任务中的每一个与顺序帧相关联的机器学习模型的应用，将从所述相机系统接收的顺序帧分组到多个子任务中；以及基于对多个子任务的完成和子任务的顺序正确性的检测，来提供对任务的完成的评估。本公开的各方面涉及一种系统，该系统涉及用于从相机系统检测用户的与要完成的任务相关联的身体部位的装置；基于被配置为将要完成的所述任务的多个子任务中的每一个与顺序帧相关联的机器学习模型的应用，将从所述相机系统接收的顺序帧分组到多个子任务中的装置；以及用于基于对多个子任务的完成和子任务的顺序正确性的检测来提供对任务的完成的评估的装置。本公开的各方面涉及一种系统；该系统涉及相机系统以及处理器，该处理器被配置为从相机系统检测用户的与要完成的任务相关联的身体部位；基于被配置为将要完成的所述任务的多个子任务中的每一个与顺序帧相关联的机器学习模型的应用，将从所述相机系统接收的顺序帧分组到多个子任务中；以及基于对多个子任务的完成和子任务的顺序正确性的检测，来提供对任务的完成的评估。附图说明图1(a)和图1(b)例示了示例洗手过程。图2(a)和图2(b)例示了根据示例实现方式的由相机系统拍摄的洗手的示例图像。图3(a)和图3(b)例示了产品的示例组装说明。图4(a)和图4(b)例示了根据示例实现方式的由相机系统拍摄的组装任务的示例图像。图5(a)和图5(b)例示了根据示例实现方式的系统的示例流程图。图6例示了根据示例实现方式的用于帧标签(framelabeling)的示例流程图。图7例示了根据示例实现方式的涉及时间卷积网络的示例流程图。图8例示了根据示例实现方式的涉及相机设置的系统的示例硬件图。具体实施方式以下详细描述提供了本申请的附图和示例实现方式的进一步细节。为清楚起见，省略了图之间的冗余元件的附图标记和描述。整个说明书中使用的术语是作为示例提供的，并非旨在进行限制。例如，依据本领域普通技术人员实践本申请的实现方式的期望实现方式，术语“自动”的使用可以包括涉及用户或管理员对实现方式的一些方面的控制的全自动实现方式或半自动实现方式。能够由用户通过用户界面或其它输入装置进行选择，或者能够通过期望的算法来实现选择。如本文所述的示例实现方式能够单独使用或组合使用，并且示例实现方式的功能能够根据期望的实现方式通过任何手段来实现。为了进一步关注这个问题，我们将考虑用手或者用手和工具执行的任务。域的示例包括医院的手卫生依从性(图1(a)、图1(b)、图2(a)和图2(b))，以及在工厂或家中组装物体(图3(a)、图3(b)、图4(a)、图4(b))。图1(a)和图1(b)例示了示例洗手过程。具体而言，图1(a)例示了根据世界卫生组织手卫生手册的用于手卫生的十一步过程的范例步骤四，并且图1(b)例示出了步骤5。当洗手过程是十一步过程时，步骤四可以被指定为洗手过程的子任务四并且步骤五可以被指定为子任务五。类似地，图3(a)和图3(b)例示了涉及多个步骤的产品的示例组装说明。示例实现方式涉及用于由诸如手之类的身体部位执行的任务的技能评估的方法。这些任务可涉及医院的洗手依从性，或工厂中组装产品或使用工具。现有方法通常与数据集当中的手动分段的视频剪辑一起操作，并且与具有多步骤子任务的复杂过程相比而具有更简单的任务。为了解决这些问题，示例实现方式应用手跟踪和骨骼跟踪以及深度神经网络，来检测和识别子任务并评估关于每个子任务的技能。此外，检查子任务的顺序是否正确。除了监控个人用户之外，我们的方法还能用于分析和改进具有多个子任务的工作流设计。在关于图1(a)和图1(b)的子任务的图2(a)和图2(b)中分别示出了由相机系统拍摄的关于洗手的图像示例，并且在关于图3(a)和图3(b)的子任务的图4(a)和图4(b)中分别示出了由相机系统拍摄的关于组装任务的图像示例。图5(a)和图5(b)例示了根据示例实现方式的系统的示例流程图。具体而言，图5(a)例示了根据示例实现方式的用于实时分析子任务实例的示例流程图。针对子任务，实时分析由各个用户执行的任务实例。在图5(a)的示例中，输入来自相机501的图像，诸如图2(a)和图2(b)、或者图4(a)和图4(b)中所示的图像。在502处，计算机视觉技术分析身体部位(例如，手)与对象的交互或者其中执行的动作。在503，对于特定任务事件实例，确定每个子任务的技能得分、子任务的顺序正确性和子任务的完成。图5(b)例示了根据示例实现方式的用于分析子任务的工作流程的示例流程图。通过随时间收集关于任务实例的数据来分析任务工作流程。在510处，收集从图5(a)的503的流程所确定的关于任务事件实例的数据。在511处，计算任务工作流统计数据。在512处，针对期望统计数据(例如，均值、方差)的任务事件工作流，计算子任务技能得分、完成时间和顺序正确性。图6例示了根据示例实现方式的用于帧标签的示例流程图。所提出的帧标签方法是自下而上的方法，其中加标签的帧被分组到子任务事件本文档来自技高网...

【技术保护点】
1.一种方法，该方法包括以下步骤：/n从相机系统检测用户的与要完成的任务相关联的身体部位；/n基于被配置为将要完成的所述任务的多个子任务中的每一个与顺序帧相关联的机器学习模型的应用，将从所述相机系统接收的顺序帧分组到所述多个子任务中；以及/n基于对所述多个子任务的完成和所述子任务的顺序正确性的检测，来提供对所述任务的完成的评估。/n

【技术特征摘要】
20181127 US 16/201,8681.一种方法，该方法包括以下步骤：
从相机系统检测用户的与要完成的任务相关联的身体部位；
基于被配置为将要完成的所述任务的多个子任务中的每一个与顺序帧相关联的机器学习模型的应用，将从所述相机系统接收的顺序帧分组到所述多个子任务中；以及
基于对所述多个子任务的完成和所述子任务的顺序正确性的检测，来提供对所述任务的完成的评估。


2.根据权利要求1所述的方法，其中，从所述相机系统检测所述用户的与要完成的所述任务相关联的所述身体部位的步骤包括针对所述相机系统的每个帧提取所述身体部位周围的帧区域。


3.根据权利要求1所述的方法，其中，基于被配置为将要完成的所述任务的多个子任务中的每一个与顺序帧相关联的所述机器学习模型的应用，将从所述相机系统接收的所述顺序帧分组到所述多个子任务中的步骤包括：
应用所述机器学习模型，以通过对所述顺序帧的每一个加标签来将所述多个子任务中的每一个与所述顺序帧相关联；
基于所述顺序帧的标签的分组来分割出所述多个子任务中的每一个；以及
将所分割出的多个子任务中的顺序子任务分组为要完成的所述任务。


4.根据权利要求3所述的方法，其中，基于对所述多个子任务的完成和所述子任务的顺序正确性的检测，来提供对所述任务的完成的评估的步骤包括：
根据所述多个子任务中的顺序子任务的分组，识别所述顺序正确性；
通过对加标签的顺序帧中的对应顺序帧应用计算机视觉算法，来识别所述多个子任务中的每一个的完成；以及
基于所述顺序正确性、所述多个子任务中的每一个的完成以及所述多个子任务中的每一个的技能得分的识别，计算要完成的所述任务的另一技能得分。


5.根据权利要求1所述的方法，其中，所述用户的所述身体部位包括所述用户的手，其中，要完成的所述任务是洗手，其中，所述多个子任务包括用于进行洗手的步骤。


6.根据权利要求1所述的方法，其中，从所述相机系统检测所述用户的与要完成的所述任务相关联的所述身体部位的步骤进一步包括：
检测与所述任务的一个或更多个相关联对象，以及
针对所述相机系统的每个帧提取所述身体部位和所述一个或更多个相关联对象周围的帧区域。


7.一种非暂时性计算机可读介质，该非暂时性计算机可读介质存储用于执行处理的指令，该处理包括以下步骤：
从相机系统检测用户的与要完成的任务相关联的身体部位；
基于被配置为将要完成的所述任务的多个子任务中的每一个与顺序帧相关联的机器学习模型的应用，将从所述相机系统接收的顺序帧分组到所述多个子任务中；以及
基于对所述多个子任务的完成和所述子任务的顺序正确性的检测，来提供对所述任务的完成的评估。


8.根据权利要求7所述的非暂时性计算机可读介质，其中，从所述相机系统检测所述用户的与要完成的所述任务相关联的所述身体部位的步骤包括针对所述相机系统的每个帧提取所述身体部位周围的帧区域。


9.根据权利要求7所述的非暂时性计算机可读介质，其中，基于被配置为将要完成的所述任务的多个子任务中的每一个与顺序帧相关联的所述机器学习模型的应用，将从所述相机系统接收的顺序帧分组到所述多个子任务中的步骤包括：
应用所述机器学习模型，以通过对所述顺序帧的每一个加标签，将所述多个子任务中的每一个与所述顺序帧相关联；
基于所述顺序帧的标签的分组来分割出所述多个子任务中的每一个；以及
将所分割出的多个子任务中的顺序子...

【专利技术属性】
技术研发人员：C·A·巴特，P·邱，金哲暄，刘琼，织田英人，张艳霞，
申请(专利权)人：富士施乐株式会社，
类型：发明
国别省市：日本;JP