本申请提供能够检测包括长度不同的多个动作的周期动作的周期动作检测装置。具备：聚类部(13)，对从作业者的作业的相关动态图像(1Ba)中提取的时序的动作的特征量进行聚类；序列模式挖掘部(16)，从分类后的集群的时序数据中确定频繁模式；频繁模式提取部(17)，当从时序数据中提取所确定的频繁模式时，提供两种不同的方法进行提取并生成两个频繁模式的集合；以及周期动作检测部(18)，基于两个集合中的任意一个集合，对周期性的动作进行检测。对周期性的动作进行检测。对周期性的动作进行检测。
【技术实现步骤摘要】
【国外来华专利技术】周期动作检测装置、周期动作检测方法及周期动作检测程序
[0001]本专利技术涉及周期动作检测装置、周期动作检测方法及周期动作检测程序。
技术介绍
[0002]在下述专利文献1中公开了从运动图像中检测例如挥手等具有周期性的动作的周期动作的检测方法。该检测方法针对多个帧图像各自的预定区域实施频率变换(傅立叶变换)，基于该变换结果的频率以及作为检测对象的周期动作的频率，判定在多个帧图像中是否存在检测对象的周期动作。在该检测方法中，为了利用频率变换来进行比较，需要使各动作的时间长度一致。
[0003]在先技术文献
[0004]专利文献
[0005]专利文献1：日本特开2012
‑
123538号公报
技术实现思路
[0006]专利技术要解决的技术问题
[0007]然而，在工厂等生产现场进行作业的作业者的周期性的动作中包括长度不同的多个动作。作为多个动作，例如有把持部件箱中容纳的部件的动作、将所把持的部件搬运至作业空间的动作、将所搬运的部件进行组装等的进行调整的动作、将完成品收纳于收纳场所的动作等。
[0008]在将要从运动图像检测包括这样的多个动作的周期性的动作的情况下，在需要使各个动作的长度一致的专利文献1的检测方法中，无法对各动作进行检测。
[0009]于是，本专利技术提供能够检测包括长度不同的多个动作的周期动作的周期动作检测装置、周期动作检测方法及周期动作检测程序。
[0010]用于解决技术问题的方案
[0011]本公开的一个方式所涉及的周期动作检测装置具备：聚类部，通过聚类对从作业者的作业的相关时序信息中提取的时序的动作的特征量进行分类，并将分类后的集群作为一维的时序数据进行输出；标记部，执行将一维的时序数据中的连续的多个相同集群汇总为一个集群的标记处理；序列模式挖掘部，从标记处理后的一维的时序数据中，将频繁出现的集群的序列确定为频繁模式；第一频繁模式提取部，当从一维的时序数据中提取所确定的频繁模式时，将构成位于紧接着作为提取对象的频繁模式之后的一系列的非频繁模式的集群的序列连结于作为提取对象的频繁模式的末尾并作为一个频繁模式依次提取；第二频繁模式提取部，当从一维的时序数据中提取所确定的频繁模式时，将构成位于紧挨着作为提取对象的频繁模式之前的一系列的非频繁模式的集群的序列连结于作为提取对象的频繁模式的开头并作为一个频繁模式依次提取；以及周期动作检测部，基于由所述第一频繁模式提取部提取的所述频繁模式的集合、或者由第二频繁模式提取部提取的频繁模式的集合中的任意一个集合，对周期性的动作进行检测。
[0012]根据该方式，可以通过聚类对从作业者的作业的相关时序信息中提取的时序的动作的特征量进行分类，并从分类后的集群的时序数据中确定作为频繁模式的集群的序列，通过使用将所确定的频繁模式与存在于其前后的非频繁模式一起进行提取时的两种不同的方法来进行提取，从而生成两个集合，基于任意一个集合，对作业者的周期性的动作进行检测。即，能够对从时序信息中提取的时序的动作的特征量进行聚类并进行时序地排列，基于从该时序地排列的集群的序列中所确定的频繁出现的集群的序列确定作业者的周期性的动作。
[0013]在上述方式中，也可以具备：输出部，基于周期动作检测部所检测到的周期性的动作，输出周期性的动作的次数、周期性的动作的起点、以及周期性的动作的终点。
[0014]由此，可以基于周期性的动作的起点和终点、以及周期性的动作的次数，容易地识别作业者的周期性的动作所包括的长度不同的多个动作。
[0015]在上述方式中，也可以是：周期动作检测部对由第一频繁模式提取部提取的所述频繁模式的集合所包括的频繁模式彼此的类似度的平均值与由第二频繁模式提取部提取的频繁模式的集合所包括的频繁模式彼此的类似度的平均值进行比较，基于类似度的平均值高的一个集合，对周期性的动作进行检测。
[0016]由此，由于能够使用两个集合中的构成集合的各要素间的类似度高的一个集合，对作业者的周期性的动作进行检测，因此，可以使检测周期性的动作时的检测精度提高。
[0017]在上述方式中，也可以还具备：评价部，根据时序地排列有周期动作检测部所检测到的周期性的动作的检测周期动作的区域与时序地排列有作为范例的周期性的动作的范例周期动作的区域的重叠程度，对检测到的周期性的动作的位置偏离进行评价，输出部还输出由评价部评价的内容。
[0018]由此，能够提供基于与作为范例的周期性的动作的位置偏离而计算出的客观的评价的内容。
[0019]在上述方式中，也可以具备：排除部，从标记处理后的一维的时序数据中将开头的集群及末尾的集群作为排除集群排除，序列模式挖掘部从排除了排除集群的一维的时序数据中，将频繁出现的集群的序列确定为频繁模式。
[0020]由此，例如，由于能够将作业的开始前、开始后进行的准备、收尾等的动作从处理对象中排除，因此，能够提高检测周期动作时的处理效率。
[0021]本公开的其它方式所涉及的周期动作检测方法是由处理器执行的方法，所述周期动作检测方法包括：聚类步骤，通过聚类对从作业者的作业的相关时序信息中提取的时序的动作的特征量进行分类，并将分类后的集群作为一维的时序数据输出；标记步骤，执行将一维的时序数据中的连续的多个相同集群汇总为一个集群的标记处理；序列模式挖掘步骤，从标记处理后的一维的时序数据中，将频繁出现的集群的序列确定为频繁模式；第一频繁模式提取步骤，从一维的时序数据中提取所确定的频繁模式时，将构成位于紧接着作为提取对象的频繁模式之后的一系列的非频繁模式的集群的序列连结于作为提取对象的频繁模式的末尾并作为一个频繁模式依次提取；第二频繁模式提取步骤，当从一维的时序数据中提取所确定的频繁模式时，将构成位于紧挨着作为提取对象的频繁模式之前的一系列的非频繁模式的集群的序列连结于作为提取对象的频繁模式的开头并作为一个频繁模式依次提取；以及周期动作检测步骤，基于在第一频繁模式提取步骤中提取的频繁模式的集
合、或者在第二频繁模式提取步骤中提取的频繁模式的集合中的任意一个集合，对周期性的动作进行检测。
[0022]根据该方式，可以通过聚类对从作业者的作业的相关时序信息中提取的时序的动作的特征量进行分类，并从分类后的集群的时序数据中确定作为频繁模式的集群的序列，通过使用将所确定的频繁模式与存在于其前后的非频繁模式一起进行提取时的两种不同的方法来进行提取，从而生成两个集合，基于任意一个集合，对作业者的周期性的动作进行检测。即，能够对从时序信息中提取的时序的动作的特征量进行聚类并进行时序地排列，基于从该时序地排列的集群的序列中所确定的频繁出现的集群的序列确定作业者的周期性的动作。
[0023]本公开的其它方式所涉及的周期动作检测程序使计算机作为以下各部发挥功能：聚类部，通过聚类对从作业者的作业的相关时序信息中提取的时序的动作的特征量进行分类，并将分类后的集群作为一维的时序数据进行输出；标记部，执行将一维的时序数据中的连续的多个相同集群汇总为一个集群的标记处理；本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种周期动作检测装置，具备：聚类部，通过聚类对从作业者的作业的相关时序信息中提取的时序的动作的特征量进行分类，并将分类后的集群作为一维的时序数据进行输出；标记部，执行将所述一维的时序数据中的连续的多个相同集群汇总为一个集群的标记处理；序列模式挖掘部，从所述标记处理后的所述一维的时序数据中，将频繁出现的集群的序列确定为频繁模式；第一频繁模式提取部，当从所述一维的时序数据中提取所确定的所述频繁模式时，将构成位于紧接着作为提取对象的所述频繁模式之后的一系列的非频繁模式的集群的序列连结于作为提取对象的所述频繁模式的末尾并作为一个所述频繁模式依次提取；第二频繁模式提取部，当从所述一维的时序数据中提取所确定的所述频繁模式时，将构成位于紧挨着作为提取对象的所述频繁模式之前的一系列的非频繁模式的集群的序列连结于作为提取对象的所述频繁模式的开头并作为一个所述频繁模式依次提取；以及周期动作检测部，基于由所述第一频繁模式提取部提取的所述频繁模式的集合、或者由所述第二频繁模式提取部提取的所述频繁模式的集合中的任意一个集合，对周期性的动作进行检测。2.根据权利要求1所述的周期动作检测装置，所述周期动作检测装置还具备：输出部，基于所述周期动作检测部所检测到的周期性的动作，输出周期性的动作的次数、周期性的动作的起点、以及周期性的动作的终点。3.根据权利要求1或2所述的周期动作检测装置，其中，所述周期动作检测部对由所述第一频繁模式提取部提取的所述频繁模式的集合所包括的所述频繁模式彼此的类似度的平均值与由所述第二频繁模式提取部提取的所述频繁模式的集合所包括的所述频繁模式彼此的类似度的平均值进行比较，基于类似度的平均值高的一个集合，对周期性的动作进行检测。4.根据权利要求2所述的周期动作检测装置，所述周期动作检测装置还包括：评价部，根据时序地排列有所述周期动作检测部所检测到的周期性的动作的检测周期动作的区域与时序地排列有作为范例的周期性的动作的范例周期动作的区域的重叠程度，对检测到的周期性的动作的位置偏离进行评价，所述输出部还输出由所述评价部评价的内容。5.根据权利要求1中4中任一项所述的周期动作检测装置，所述周期动作检测装置还具备：排除部，从所述标记处理后的所述一维的时序数据中将开头的集群及末尾的集群作为排除集群排除，所述序列模式挖掘部从排除了所述排除集群的所述一维的时序数据中，将频繁出现的集群的序...
【专利技术属性】
技术研发人员：西行健太，木下航一，戎野聪一，
申请(专利权)人：欧姆龙株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。