动作学习装置、技能判别装置以及技能判别系统制造方法及图纸

具有：第1动作特征提取部(102)，其根据分别拍摄熟练作业者和一般作业者而得到的动态图像数据，提取熟练作业者和一般作业者的动作的轨迹特征；动作特征学习部(103)，其对与从提取出的轨迹特征中决定的作为基准的轨迹特征相似的轨迹特征进行分类，根据分类后的轨迹特征的出现频度生成直方图，根据生成的直方图进行用于确定熟练动作的轨迹特征的判别学习；以及判别函数生成部(104)，其参照判别学习的结果，生成表示用于判别是否是熟练动作的边界的判别函数。

Motion Learning Device, Skills Discrimination Device and Skills Discrimination System

【技术实现步骤摘要】
【国外来华专利技术】动作学习装置、技能判别装置以及技能判别系统
本专利技术涉及根据动态图像数据对评价对象者的动作进行评价的技术。
技术介绍
为了提高在工厂等进行作业的作业者的作业效率，要求如下的体系构建：提取熟练的作业者(下面记作熟练作业者)的技能，传承给非熟练得作业者即一般的作业者(下面记作一般作业者)。具体地，在熟练作业者的动作中检测与一般作业者不同的动作，将检测出的动作示教给一般作业者，由此，辅助提高一般作业者的技能。例如，在专利文献1公开的动作特征提取装置中，拍摄从事某一作业工序的熟练作业者的姿势，以相同的摄影角度拍摄从事同一作业工序的一般作业者的姿势，提取一般作业者的异常动作。更具体地，从熟练作业者的动态图像数据中提取立体高阶自相关(CHLAC)特征，从一般作业者的评价对象图像中提取CHLAC特征，根据提取出的CHLAC特征的相关关系，提取一般作业者的异常动作。现有技术文献专利文献专利文献1：日本特开2011-133984号公报
技术实现思路
专利技术要解决的问题但是，在上述的专利文献1公开的技术中，关于动态图像数据中的动作特征，存在需要准备多个CHLAC特征这样的固定的遮掩模式(maskpattern)，需要用户设计针对熟练作业者的动作的遮掩模式这样的问题。本专利技术正是为了解决如上所述的问题而完成的，其目的在于，不需设计针对熟练作业者的动作的遮掩模式，即可得到用于根据从动态图像数据中提取出的熟练作业者的动作判别作为评价对象的作业者的技能的指标。用于解决问题的手段本专利技术的专利技术的动作学习装置具有：第1动作特征提取部，其根据分别拍摄熟练作业者和一般作业者而得到的动态图像数据，提取熟练作业者和一般作业者的动作的轨迹特征；动作特征学习部，其对与从第1动作特征提取部提取出的轨迹特征中决定的作为基准的轨迹特征相似的轨迹特征进行分类，根据分类后的轨迹特征的出现频度生成直方图，根据生成的直方图进行用于确定熟练动作的轨迹特征的判别学习；以及判别函数生成部，其参照动作特征学习部的判别学习的结果，生成表示用于判别是否是熟练动作的边界的判别函数。专利技术效果根据本专利技术，能够从动态图像数据中提取熟练作业者的熟练动作，能够得到用于根据提取出的动作判别作为评价对象的作业者的技能的指标。附图说明图1是示出实施方式1的技能判别系统的结构的框图。图2A、图2B是实施方式1的动作学习装置的硬件结构。图3A、图3B是示出实施方式1的技能判别装置的硬件结构例的图。图4是示出实施方式1的动作学习装置的动作的流程图。图5是示出实施方式1的技能判别装置的动作的流程图。图6A、图6B、图6C、图6D是示出实施方式1的动作学习装置的处理的说明图。图7是示出实施方式1的技能判别装置的判别结果的显示例的图。图8是示出实施方式2的技能判别系统的结构的框图。图9是示出实施方式2的动作学习装置的动作的流程图。图10是示出实施方式2的技能判别装置的动作的流程图。图11是示出在实施方式1的动作学习装置中追加稀疏正则化项时的效果的图。具体实施方式下面，为了更详细地说明本专利技术，参照附图说明用于实施本专利技术的方式。实施方式1图1是示出本专利技术的实施方式1的技能判别系统的结构的框图。技能判别系统由动作学习装置100和技能判别装置200构成。动作学习装置100分析熟练的作业者(下面记作熟练作业者)和非熟练的作业者即一般的作业者(下面记作一般作业者)的动作特征差异，生成用于判别作为评价对象的作业者的技能的函数。在此，设作为评价对象的作业者包含熟练作业者和一般作业者。技能判别装置200使用由动作学习装置100生成的函数，判别作为评价对象的作业者的技能是否熟练。动作学习装置100构成为具有动态图像数据库101、第1动作特征提取部102、动作特征学习部103以及判别函数生成部104。动态图像数据库101是存储有拍摄多个熟练作业者和多个一般作业者的作业状态而得到的动态图像数据的数据库。第1动作特征提取部102从动态图像数据库101中存储的动态图像数据中提取熟练作业者和一般作业者的动作的轨迹特征。第1动作特征提取部102将提取出的动作的轨迹特征输出给动作特征学习部103。动作特征学习部103根据第1动作特征提取部102提取出的动作的轨迹特征，决定作为基准的动作的轨迹特征。动作特征学习部103根据作为基准的动作的轨迹特征，进行用于确定熟练动作的轨迹特征的判别学习。动作特征学习部103生成记述有所决定的作为基准的动作的轨迹特征的动作特征辞典，并存储到技能判别装置200的动作特征辞典存储部202。并且，动作特征学习部103将判别学习的结果输出给判别函数生成部104。判别函数生成部104参照动作特征学习部103的学习结果，生成用于判别作为评价对象的作业者的技能是否熟练的函数(下面记作判别函数)。判别函数生成部104将生成的判别函数蓄积到技能判别装置200的判别函数蓄积部204。技能判别装置200由图像信息取得部201、动作特征辞典存储部202、第2动作特征提取部203、判别函数蓄积部204、技能判别部205以及显示控制部206构成。并且，技能判别装置200与摄像机300和显示装置400连接，摄像机300拍摄作为评价对象的作业者的作业，显示装置400根据技能判别装置200的显示控制来显示信息。图像信息取得部201取得摄像机300拍摄作为评价对象的作业者的作业状态而得到的动态图像数据(下面称作评价对象的动态图像数据)。图像信息取得部201将取得的动态图像数据输出给第2动作特征提取部203。在动作特征辞典存储部202中存储有记述有从动作学习装置100输入的作为基准的动作的轨迹特征的动作特征辞典。第2动作特征提取部203参照动作特征辞典存储部202中存储的动作特征辞典，从图像信息取得部201取得的评价对象的动态图像数据中提取动作的轨迹特征。第2动作特征提取部203将提取出的动作的轨迹特征输出给技能判别部205。判别函数蓄积部204是蓄积动作学习装置100的判别函数生成部104生成的判别函数的区域。技能判别部205使用判别函数蓄积部204中蓄积的判别函数，根据第2动作特征提取部203提取出的动作的轨迹特征，判别作为评价对象的作业者的技能是否熟练。技能判别部205将判别结果输出给显示控制部206。显示控制部206按照技能判别部205的判别结果，决定应显示给作为评价对象的作业者的信息作为辅助信息。显示控制部206对显示装置400进行用于显示所决定的信息的显示控制。下面，说明动作学习装置100和技能判别装置200的硬件结构例。首先，对动作学习装置100的硬件结构例进行说明。图2A、图2B是示出实施方式1的动作学习装置100的硬件结构例的图。动作学习装置100中的第1动作特征提取部102、动作特征学习部103以及判别函数生成部104的各功能通过处理电路来实现。即，动作学习装置100具有用于实现上述各功能的处理电路。该处理电路可以如图2A所示是作为专用硬件的处理电路100a，也可以如图2B所示是执行存储器100c中存储的程序的处理器100b。如图2A所示，在第1动作特征提取部102、动作特征学习部103以及判别函数生成部104是专用硬件的情况下，处理电路100a例如是单一电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC(本文档来自技高网...

【技术保护点】
1.一种动作学习装置，该动作学习装置具有：第1动作特征提取部，其根据分别拍摄熟练作业者和一般作业者而得到的动态图像数据，提取所述熟练作业者和所述一般作业者的动作的轨迹特征；动作特征学习部，其对与从所述第1动作特征提取部提取出的所述轨迹特征中决定的作为基准的轨迹特征相似的轨迹特征进行分类，根据分类后的轨迹特征的出现频度生成直方图，根据生成的所述直方图进行用于确定熟练动作的轨迹特征的判别学习；以及判别函数生成部，其参照所述动作特征学习部的判别学习的结果，生成表示用于判别是否是熟练动作的边界的判别函数。

【技术特征摘要】
【国外来华专利技术】1.一种动作学习装置，该动作学习装置具有：第1动作特征提取部，其根据分别拍摄熟练作业者和一般作业者而得到的动态图像数据，提取所述熟练作业者和所述一般作业者的动作的轨迹特征；动作特征学习部，其对与从所述第1动作特征提取部提取出的所述轨迹特征中决定的作为基准的轨迹特征相似的轨迹特征进行分类，根据分类后的轨迹特征的出现频度生成直方图，根据生成的所述直方图进行用于确定熟练动作的轨迹特征的判别学习；以及判别函数生成部，其参照所述动作特征学习部的判别学习的结果，生成表示用于判别是否是熟练动作的边界的判别函数。2.根据权利要求1所述的动作学习装置，其特征在于，所述动作特征学习部使用所述熟练作业者组的直方图和所述一般作业者组的直方图，计算使得所述熟练作业者组与所述一般作业者组之间的方差最大且各组内的方差最小的投影轴，生成所述判别函数。3.根据权利要求1所述的动作学习装置，其特征在于，所述动作特征学习部使用基于机器学习的判别器进行所述判别学习。4.根据权利要求1所述的动作学习装置，其特征在于，所述动作学习装置具有部位检测部，该部位检测部根据所述动态图像数据检测所述熟练作业者和所述一般作业者被拍摄到的部位，所述第1动作特征提取部按照所述检测出的每个部位提取所述轨迹特征，所述动作特征学习部按照所述部位检测部检测出的每个部位生成所述直方图而进行所述判别学习，所述判别函数生成部按照所述检测出的每个部位生成所述判别函数。5.根据权利要求3所述的动作学习装置，其特征在于，所述动作特征学习部追加稀疏正则化项，进行使用所述判别器的所述判别学习。6.一种技能判别装置，该技能判别装置具有：第2动作特征提取部，其从拍摄作为评价对象的作业者的作业而得到的动态图像数据中提取该作为评价对象的作业者的动作的轨迹特征，使用预先决定的作为基准的轨迹特征对所述提取出的所述作为评价对...

【专利技术属性】
技术研发人员：佐佐木谅介，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：日本,JP