异常检测装置、异常检测方法及异常检测程序制造方法及图纸

一种异常检测装置，其包括：摄像部，其对对象物进行拍摄而生成包括在第1图像帧群中的第1图像帧及第2图像帧；伪作业生成部，其针对包括在所述第1图像帧群中的所述第1图像帧及第2图像帧，分别生成包括在第2图像帧群中的所述第1图像帧及第3图像帧、所述第3图像帧及第2图像帧或所述第3图像帧及第4图像帧；正常空间生成部，其根据包括在所述第1图像帧群中的所述第1图像帧及第2图像帧和包括在所述第2图像帧群中的所述第1图像帧及第3图像帧、所述第3图像帧及第2图像帧或所述第3图像帧及第4图像帧而生成正常空间数据；及比较部，其根据所述正常空间数据而检测所述对象物的异常。

【技术实现步骤摘要】
【国外来华专利技术】异常检测装置、异常检测方法及异常检测程序
本专利技术涉及异常检测装置、异常检测方法及异常检测程序。
技术介绍
以往，具有用于检测在装配作业等FA作业中使用的机器人的异常的异常检测装置。通过这样的异常检测装置而检测机器人的异常，例如，通过对其原因进行确定、对策、改善等而进行有效的FA作业。在这样的异常检测装置中，由照相机等来拍摄成为对象的机器人的作业，并针对所拍摄的图像数据进行图像处理，从而检测其异常。例如，具有如下的异常检测装置。即，在异常检测装置中，使机器人进行正常作业，并从多个图像帧提取特征数据(或运动图像特征。以下，称为“运动图像特征”)，由此生成包括多个特征数据的正常空间数据。并且，在异常检测装置中，对正常空间数据和通过机器人的运用作业而提取的运动图像特征进行比较而算出异常测度。当所算出的异常测度超过设定值时，异常检测装置通过报警等来通知异常。运动图像特征的维数(例如，运动图像特征的种类数)达到数百，在异常检测装置中，通过主成分分析(PCA：PrincipalComponentAnalysis)等手法而减少其维数，从而有效地取得运动图像特征。将减少维数的情况例如称为“收缩”。例如，使机器人执行与运动图像特征的维数同等以上的实际作业，从而在异常检测装置中有效地进行运动图像特征的维数的收缩。因此，在运动图像特征的维数为数百的情况下，异常检测装置对机器人反复进行数百次的作业，从而取得图像数据。作为与图像处理相关的技术，例如具有如下的技术。即，对模型模式执行N个几何学转换而制作表示与参考相对姿势3维地不同的相对姿势下的对象物的外形的转换模型模式，针对图像数据使用转换模型模式来进行模式匹配的图像处理装置。根据该技术，可检测位置、姿势不确定的对象物，并识别3维位置及/或2维姿势。另外，具有如下的机器人的运动编辑装置：变更3维伪空间中的机器人的模型的各个部位的位置、倾斜，并计算机器人的各个关节的角度而制作关键帧数据，且将所制作的关键帧数据发送给多关节机器人。根据该技术，能够提供更容易地制作机器人的多种运动数据的机器人的运动编辑装置等。现有技术文献专利文献专利文献1：日本特开2004-295223号公报专利文献2：日本特开2008-254074号公报非专利文献非专利文献1：“基于简单易懂的数学模型的多元分析入门”，木下荣藏著，近代科学社，1995年4月(「わかりやすい数学模型による多変量解析入門」，木下栄蔵著，近代科学社，1995年4月)非专利文献2：“线性代数基础与应用”，新井仁之著，日本评论社，2006年2月(「線形代数基礎和応用」，新井仁之著，日本評論社，2006年2月)
技术实现思路
专利技术要解决的课题如上述，在运动图像特征的维数为数百的情况下，异常检测装置使机器人反复执行数百次的作业，从而取得图像数据。但是，在开始进行FA作业等时使机器人进行数百次这样的作业，这在时间上是困难的。在上述的图像处理装置中，例如作为制作表示与参考相对姿势3维地不同的相对姿势下的对象物的外形的转换模型模式来进行模式匹配的技术，对于用来解决在开始进行FA作业等时的时间上的困难的对策未进行公开。另外，在上述的运动编辑装置中，例如作为将所制作的关键帧数据发送到多关节机器人的技术，对于用来解决在开始进行FA作业等时的时间上的困难的对策未进行公开。因此，本公开提供一种以较少的作业数来生成高精度的正常空间数据的异常检测装置、异常检测方法及异常检测程序。用于解决课题的手段根据一个方式，提供一种异常检测装置，其包括：摄像部，其对对象物进行拍摄而生成包括在第1图像帧群中的第1图像帧及第2图像帧；伪作业生成部，其针对包括在所述第1图像帧群中的所述第1图像帧及第2图像帧，分别生成包括在第2图像帧群中的所述第1图像帧及第3图像帧、所述第3图像帧及第2图像帧或所述第3图像帧及第4图像帧；正常空间生成部，其根据包括在所述第1图像帧群中的所述第1图像帧及第2图像帧和包括在所述第2图像帧群中的所述第1图像帧及第3图像帧、所述第3图像帧及第2图像帧或所述第3图像帧及第4图像帧而生成正常空间数据；及比较部，其根据所述正常空间数据而检测所述对象物的异常。专利技术效果根据本公开，提供一种根据较少的作业数来生成高精度的正常空间数据的异常检测装置、异常检测方法及异常检测程序。附图说明图1是表示异常检测装置的结构例的图。图2是表示异常检测装置的结构例的图。图3的(A)是表示实际图像帧的例子的图，图3的(B)是表示伪图像帧的例子的图。图4是表示动作例的流程图。图5的(A)至图5的(E)是表示实际作业的例子的图。图6的(A)至图6的(C)是表示CHLAC特征和正常空间的例子的图。图7是表示正常空间的尺寸的例子的曲线图。图8是分别表示通过实际作业而获得的正常空间的尺寸和通过实际作业和伪作业而获得的正常空间的尺寸的例子的曲线图。图9是表示线性的例子的曲线图。图10的(A)至图10的(D)是表示通过实际作业而进行的异常测度的检测例的图。图11的(A)至图11的(B)是表示通过实际作业和伪作业而进行的异常测度的检测例的图。图12的(A)是表示实际图像帧的图，图12的(B)是表示伪图像帧的图。图13是表示动作例的流程图。图14是表示异常检测装置的硬件结构例的图。具体实施方式下面，参照附图，对本实施方式进行具体说明。本说明书中的课题及实施例为一例，并不是对本申请的权利范围进行限定。特别地，即便表述不相同，但只要技术上相同，则可应用本申请的技术，并不是对权利范围进行限定。[第1实施方式]图1是表示第1实施方式中的异常检测装置10的结构例的图。异常检测装置10例如将对象物250的同一作业拍摄1次或多次而生成多个图像帧，并根据所生成的多个图像帧而生成正常空间数据。并且，异常检测装置10从拍摄对象物250的实际的作业而所获得的多个图像帧提取特征数据，对所提取的特征数据和正常空间数据进行比较而检测对象物250的异常。异常检测装置10具备摄像部101、伪作业生成部107、正常空间生成部108及比较部109。摄像部101对对象物250进行拍摄而生成包括在第1图像帧群中的第1及第2图像帧。伪作业生成部107针对包括在第1图像帧群中的第1图像帧及第2图像帧而分别生成包括在第2图像帧群中的第1图像帧及第3图像帧、第3图像帧及第2图像帧或第3图像帧及第4图像帧。例如，包括在第1图像帧群中的第1图像帧及第2图像帧是通过对象物250的正常作业或实际作业而取得的图像帧，包括在第2图像帧群中的各个图像帧是通过伪作业而取得的图像帧。正常空间生成部108根据包括在第1图像帧群中的第1图像帧及第2图像帧和包括在第2图像帧群中的第1图像帧及第3图像帧、第3图像帧及第2图像帧、第3图像帧及第4图像帧而生成正常空间数据。在该情况下，正常空间生成部108根据包括在第1图像帧群中的各个图像帧和包括在第2图像帧群中的各个图像帧而算出特征数据，并生成包括多个特征数据的正常空间数据。例如，正常空间生成部108针对包括在第1图像帧及第2图像帧群中的各个图像帧，通过立方高阶局部自相关(CHLAC：CubicHigher-orderLocalAutoCorrelation)而算出特征数据。比较部109根据正常空间数据而检测对象物的异常。例如本文档来自技高网...

【技术保护点】
一种异常检测装置，其特征在于，其包括：摄像部，其对对象物进行拍摄而生成包括在第1图像帧群中的第1图像帧及第2图像帧；伪作业生成部，其针对包括在所述第1图像帧群中的所述第1图像帧及第2图像帧，分别生成包括在第2图像帧群中的所述第1图像帧及第3图像帧、所述第3图像帧及第2图像帧或所述第3图像帧及第4图像帧；正常空间生成部，其根据包括在所述第1图像帧群中的所述第1图像帧及第2图像帧和包括在所述第2图像帧群中的所述第1图像帧及第3图像帧、所述第3图像帧及第2图像帧或所述第3图像帧及第4图像帧，生成正常空间数据；及比较部，其根据所述正常空间数据检测所述对象物的异常。

【技术特征摘要】
【国外来华专利技术】1.一种异常检测装置，其特征在于，其包括：摄像部，其对对象物进行拍摄而生成包括在第1图像帧群中的第1图像帧及第2图像帧；伪作业生成部，其针对包括在所述第1图像帧群中的所述第1图像帧及第2图像帧，分别生成包括在第2图像帧群中的所述第1图像帧及第3图像帧、所述第3图像帧及第2图像帧或所述第3图像帧及第4图像帧；正常空间生成部，其根据包括在所述第1图像帧群中的所述第1图像帧及第2图像帧和包括在所述第2图像帧群中的所述第1图像帧及第3图像帧、所述第3图像帧及第2图像帧或所述第3图像帧及第4图像帧，生成正常空间数据；及比较部，其根据所述正常空间数据检测所述对象物的异常。2.根据权利要求1所述的异常检测装置，其特征在于，所述伪作业生成部使包括在所述第1图像帧群中的所述第1图像帧及第2图像帧中的所述第2图像帧、所述第1图像帧及第2图像帧中的所述第1图像帧或所述第1图像帧及第2图像帧，在图像帧上且在空间方向上随机地偏移，从而分别生成包括在所述第2图像帧群中的所述第1图像帧及第3图像帧、所述第3图像帧及第2图像帧或所述第3图像帧及第4图像帧。3.根据权利要求1所述的异常检测装置，其特征在于，所述伪作业生成部针对包括在所述第1图像帧群中的所述第1图像帧及第2图像帧中的所述第2图像帧、所述第1图像帧及第2图像帧中的所述第1图像帧或所述第1图像帧及第2图像帧，在时间方向上随机地选择包括在所述第1图像帧群中的图像帧，从而分别生成包括在所述第2图像帧群中的所述第1图像帧及第3图像帧、所述第3图像帧及第2图像帧或所述第3图像帧及第4图像帧。4.根据权利要求2所述的异常检测装置，其特征在于，所述伪作业生成部在空间方向上随机地偏移与所述摄像部的模糊量对应的量。5.根据权利要求2所述的异常检测装置，其特征在于，所述伪作业生成部在与所述对象物的移动方向对应的方向上随机地偏移与所述摄像部的模糊量对应的量。6.根据权利要求2所述的异常检测装置，其特征在于，所述伪作业生成部使包括在所述第1图像帧群中的所述第1图像帧及第2图像帧中的所述第2图像帧、所述第1图像帧及第2图像帧中的所述第1图像帧或所述第1图像帧及第2图像帧的各个像素，在图像帧上且在空间方向上随机地移动。7.根据权利要求4所述的异常检测装置，其特征在于，与所述摄像部的模糊量对应的量是针对包括在所述第1图像帧及第2图像帧中的各个图像为0.05像素到0.1像素的范围内。8.根据权利要求3所述的异常检测装置，其特征在于，所述伪作业生成部针对包括在所述第1图像帧群中的所述第1图像帧及第2图像帧而选择包括在所述第1图像帧群中的所述第1图像帧及第3图像帧，从而生成包括在所述第2图像帧群中的所述第1图像帧及第3图像帧，针对包括在所述第1图像帧群中的所述第1图像帧及第2图像帧而选择包括在所述第1图像帧群中的所述第3图像帧及第2图像帧，从而生成包括在所述第2图像帧群中的所述第3图像帧及第2图像帧，或针对包括在所述第1图像帧群中的所述第1图像帧及第2图像帧而选择包括在所述第1图像帧群中的所述第3图像帧及第4图像帧，从而生成包括在所述第2图像帧群中的所述第3图像帧及第4图像帧。9.根据权利要求3所述的异常检测装置，其特征在于，所述伪作业生成部选择按照时间方向的顺序包括在所述第2图像帧群中的所述第1图像帧及第3图像帧、所述第3图像帧及第2图...

【专利技术属性】
技术研发人员：布施贵史，肥塚哲男，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本,JP