作业率测量设备和作业率测量方法技术

本作业率测量装置具有：模型创建装置，使针对多个处理安装的相机在作业框内进行成像并基于成像数据对位于作业框内的作业者的手进行机器学习，从而针对每个相机创建机器学习模型；数据分析保存装置，使用由模型创建装置创建的机器学习模型，针对正在执行的实际作业的图像，分析作业者的手位置是否包含在作业框内，并且按时间顺序保存分析数据；以及作业率计算装置，使用由数据分析保存装置保存的分析数据来确定每个作业帧内的作业率。数据来确定每个作业帧内的作业率。数据来确定每个作业帧内的作业率。

【技术实现步骤摘要】
【国外来华专利技术】作业率测量设备和作业率测量方法


[0001]本专利技术涉及一种用于测量当在工厂等的生产线上的作业框内执行手动作业时的作业率的作业率测量设备和作业率测量方法。

技术介绍

[0002]在制造业中，例如在工厂中，在IoT(Internet of Things，物联网)的利用方面开始取得进展，并且使用相机等捕获运动图像并且对其进行分析以用于对象可追溯性管理等的情况越来越多。
[0003]此外，在工厂等中，近年来为了利用此类图像进行分析的目的，增加了面向工厂的VMS(视频管理系统)的利用。呈现出这样一种趋势：在工厂中安装相机并且以各种方式使用人工智能(AI)、机器学习等来分析图像数据，从而总体上实现了智能工厂。
[0004]然而，当前工厂中的生产线管理员仅执行核查作业者作业的听证。很难识别出作业者实际上没有作业的情况，例如，他们只是站在作业区而未动手的情况等。
[0005]在此类情况下的核查作业的听证中，需要用秒表测量作业时间，同时分多个步骤目视地核查实际作业。
[0006]此外，已经提出了下面指出的专利文件1至3来弱化此类问题。专利文件1中指出的技术涉及：使用确定从活动开始直到活动结束的测量值的活动识别单元，以及使用所确定的测量值和所识别的活动来构建定义活动细节与时间之间的关系的模型。
[0007]该活动识别单元基于来自位置信息获取单元的测量值识别作业者的手的位置，该位置信息获取单元从深度传感器获取包括深度的图像数据作为第一位置信息，并且该位置信息获取单元从数码相机获取图像数据作为第二位置信息。
[0008]此外，该活动识别单元基于所识别的作业者的手的位置识别关于由作业者执行的活动的细节，并且使用所识别的活动细节和所获取的测量值来构建或更新模型。
[0009]专利文件2中描述的技术使用距离传感器和处理器，该距离传感器包括能够生成彩色或单色图像的相机等，该处理器从在作业者执行作业台上的作业序列的同时捕获的多个按时间顺序的距离图像中的每个距离图像中检测作业者的手。
[0010]处理器中的手区域检测单元可以通过使用已经预学习以检测图像中的手的标识符来检测手区域，并且可以通过将从感兴趣区域提取的HOG(Histograms of Oriented Gradients，方向梯度直方图)输入到标识符来确定手区域是否包括在感兴趣区域中。
[0011]在专利文件3指出的技术中，在用于控制服务器的控制单元中的分析单元中设置作业时间测量单元和停留时间测量单元。
[0012]作业时间测量单元测量作业者在站点处实际作业的时间，并且停留时间测量单元测量作业者处于站点处的时间。此后，在分析结果显示屏幕上显示用于分析的运动图像，并且在这些运动图像上叠加显示分析信息，即，基于测量结果的作业时间和停留时间。
[0013]现有技术文件
[0014]专利文件
[0015]专利文件1：PCT国际公布号WO2017/222070
[0016]专利文件2：日本特开公布号2019
‑
120577
[0017]专利文件3：日本特开公布号2019
‑
200560

技术实现思路

[0018]本专利技术要解决的问题
[0019]上述专利文件1至3描述了用于通过定义活动细节与时间之间的关系来创建模型的技术，以及用于测量作业者执行的作业量并且显示测量数据的技术。
[0020]然而，这些专利文件1至3仅单独描述了这些技术，而没有描述用于关联这些技术的具体措施。
[0021]鉴于上述情况，制造了本专利技术。本专利技术的示例目的是提供一种作业率测量设备和作业率测量方法，其能够通过一种新的、前所未有的技术高效地分析和量化在作业台上执行的作业的状态。
[0022]解决问题的办法
[0023]本专利技术的第一示例方面是一种作业率测量设备，用于测量当在为多个步骤中的每个步骤提供的规定作业框内执行手动作业时的作业率，该作业率测量设备包括：模型生成装置，其用于使用为多个步骤安装的相机来捕获作业框内的图像，使得基于所捕获的数据对保持在作业框内的作业者的手执行机器学习并且针对每个相机生成机器学习模型；数据分析保存装置，其用于使用由模型生成装置生成的机器学习模型来分析作业者的手相对于正在执行的实际作业的图像的位置是否包括在作业框内，并且按时间顺序保存通过该分析获得的分析数据；以及作业率计算装置，其用于使用由数据分析保存装置保存的分析数据来确定每个作业框内的作业率。
[0024]本专利技术的第二示例方面是一种作业率测量方法，用于处理当在为多个步骤中的每个步骤的规定作业框内执行手动作业时测量作业率，该作业率测量方法包括：模型生成步骤，其使用为多个步骤安装的相机来捕获作业框内的图像，使得基于所捕获的数据对保持在作业框内的作业者的手执行机器学习并且针对每个相机生成机器学习模型；数据分析保存步骤，其使用由模型生成步骤生成的机器学习模型来分析作业者的手相对于正在执行的实际作业的图像的位置是否包括在作业框内，并且按时间顺序保存通过该分析获得的分析数据；以及作业率计算步骤，其使用由数据分析保存步骤保存的分析数据来确定每个作业框内的作业率。
[0025]专利技术效果
[0026]在本专利技术的示例实施例中，为多个步骤的作业框的相机中的每个相机设置机器学习模型，并且还包括预学习，从而允许在各种环境中精确地检测手并且允许高效地识别出多个步骤中的作业率。
附图说明
[0027]图1是示出根据本专利技术的示例实施例的作业率测量设备的结构的图。
[0028]图2是根据本专利技术的示例实施例的作业率测量设备的示意性结构图。
[0029]图3是指示在图像区域内执行机器学习的程序的说明图。
[0030]图4是指示决定图像区域中的作业框的大小的程序的说明图。
[0031]图5是用于在作业步骤期间检测实际手的概念图。
[0032]图6是指示在客户终端(PC)上显示作业率的显示示例的图。
[0033]图7是指示作业率测量设备的具体操作的流程图。
具体实施方式
[0034]将参考图1说明根据本专利技术的示例实施例的作业率测量设备10的结构。该作业率测量设备10具有模型生成装置(模型生成单元)1、数据分析保存装置(数据分析存储单元)2和作业率计算装置(作业率计算单元)3。这些装置1至3当在分别为生产线上的步骤提供的规定作业框内执行手动作业时测量作业率。
[0035]将说明构成作业率测量设备10的装置1至3。
[0036]模型生成装置1使用为多个步骤安装的相机捕获作业框内的图像并且基于所捕获的数据对保持在作业框内的作业者的手的位置执行机器学习，从而针对每个相机生成机器学习模型。
[0037]数据分析保存装置2对正在执行的实际作业的图像使用由模型生成装置1生成的机器学习模型，分析作业者的手的位置是否包括在作业框内，并且按时间顺序保存分析数据。
[0038]作业率计算装置3使用由数据分析本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种作业率测量设备，用于测量当在为多个步骤中的每个步骤提供的规定作业框内执行手动作业时的作业率，所述作业率测量设备包括：模型生成装置，用于使用为所述多个步骤安装的相机来捕获作业框内的图像，使得基于所捕获的数据对保持在所述作业框内的作业者的手执行机器学习并且针对每个相机生成机器学习模型；数据分析保存装置，用于使用由所述模型生成装置生成的机器学习模型来分析作业者的手相对于正在执行的实际作业的图像的位置是否包括在所述作业框内，并且按时间顺序保存通过所述分析获得的分析数据；以及作业率计算装置，用于使用由所述数据分析保存装置保存的分析数据来确定每个作业框内的作业率。2.根据权利要求1所述的作业率测量设备，其中，所述模型生成装置使得基于以下各项来执行所述机器学习：将所述作业框中的作业者的手移动为手掌向上、手掌向下或旋转中的至少一个的状态改变；或者所述作业框中的所述手附近的亮度、视角、类型、亮度和眩光中的至少一个背景作业环境。3.根据权利要求1或2中任一项所述的作业率测量设备，其中，所述模型生成装置为在用于作业步骤的作业区域处安装的一个相机的图像捕获区域设置多个作业框。4.根据权利要求1至3中任一项所述的作业率测量设备，其中，所述数据分析保存装置将对所述作业框与作业者的手之...

【专利技术属性】
技术研发人员：松林丰，
申请(专利权)人：NEC平台株式会社，
类型：发明
国别省市：