在作业者侵入到机器人的动作区域内时，不使用区域传感器就能使机器人减速或停止。安全视觉装置具有：人体3维骨骼推定模型；机器人3维骨骼推定模型；输入部，其输入由外部照相机拍摄到的作业者与机器人的2维图像、照相机与机器人之间的距离和斜率；推定部，其将输入的2维图像、照相机与机器人之间的距离和斜率输入到人体3维骨骼推定模型以及机器人3维骨骼推定模型，推定表示作业者的关节点位置的3维坐标值的3维关节点数据、以及机器人所包含的多个关节轴的角度；接近判定部，其根据3维关节点数据和多个关节轴的角度来计算作业者的区域和机器人的区域，并根据作业者的区域与机器人的区域的重叠情况来输出针对机器人的减速或者停止指示。者停止指示。者停止指示。
【技术实现步骤摘要】
【国外来华专利技术】安全视觉装置以及安全视觉系统
[0001]本专利技术涉及安全视觉装置以及安全视觉系统。
技术介绍
[0002]已知有如下技术：在作为安全监视对象的作业者有可能进入机器人的动作区域内时，在作业者周围设定机器人的动作区域，在机器人侵入到动作区域时进行机器人的安全动作控制、紧急停止控制等。例如，参照专利文献1。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1：日本特开2004
‑
243427号公报
技术实现思路
[0006]专利技术要解决的课题
[0007]在现有技术中，为了检测作业者侵入到机器人的动作区域而使用了区域传感器等。但是，区域传感器需要设置在机器人附近，因此，会对作业者、机器人的动作、移动产生限制。
[0008]因此，期望在作业者侵入到机器人的动作区域内时，不使用区域传感器就能使机器人减速或停止。
[0009]用于解决课题的手段
[0010](1)本公开的安全视觉装置的一方式具有：人体3维骨骼推定模型，其输入人体的2维图像并输出表示所述人体的关节点位置的3维坐标值的3维关节点数据；机器人3维骨骼推定模型，其输入机器人的2维图像、以及拍摄了所述机器人的2维图像的照相机与所述机器人之间的距离和斜率，并输出所述机器人所包含的多个关节轴的角度；输入部，其输入由外部照相机拍摄到的作业者与机器人的2维图像、以及所述外部照相机与所述机器人之间的距离和斜率；推定部，其将由所述输入部输入的所述2维图像、以及所述外部照相机与所述机器人之间的距离和斜率，输入到所述人体3维骨骼推定模型以及所述机器人3维骨骼推定模型，推定表示所述作业者的关节点位置的3维坐标值的3维关节点数据、以及所述机器人所包含的多个关节轴的角度；以及接近判定部，其根据所述3维关节点数据和所述多个关节轴的角度来计算表示所述作业者的范围的区域和表示所述机器人的范围的区域，并根据计算出的所述作业者的区域与所述机器人的区域的重叠情况来输出针对所述机器人的减速或者停止指示。
[0011](2)本公开的安全视觉系统的一方式具有：机器人、照相机以及(1)的安全视觉装置。
[0012]专利技术效果
[0013]根据一方式，在作业者侵入到机器人的动作区域内时，不使用区域传感器就能够使机器人减速或者停止。
附图说明
[0014]图1是表示一实施方式的安全视觉系统的功能结构例的功能框图。
[0015]图2是表示作为机器人3维骨骼推定模型的2维骨骼推定模型与关节角度推定模型的关系的一例的图。
[0016]图3是表示由推定部推定出的作业者的关节点位置的一例的图。
[0017]图4是表示机器人的区域的一例的图。
[0018]图5是对安全视觉装置的判定处理进行说明的流程图。
[0019]图6是表示安全视觉系统的结构的一例的图。
[0020]图7是表示机器学习装置的功能结构例的功能框图。
[0021]图8A是表示关节轴J4的角度为90度的帧图像的一例的图。
[0022]图8B是表示关节轴J4的角度为
‑
90度的帧图像的一例的图。
[0023]图9是表示用于增加训练数据数量的一例的图。
[0024]图10是表示标准化后的XY坐标中的关节轴的坐标值的一例的图。
[0025]图11是表示机器人的关节轴的特征映射的一例的图。
[0026]图12是表示帧图像与2维骨骼推定模型的输出结果的比较的一例的图。
[0027]图13是表示关节角度推定模型的一例的图。
具体实施方式
[0028]以下，使用附图对本公开的一实施方式进行说明。
[0029]＜一实施方式＞
[0030]图1是示出一实施方式的安全视觉系统的功能结构例的功能框图。如图1所示，安全视觉系统1具有：机器人10、安全视觉装置20以及照相机40。
[0031]机器人10、安全视觉装置20以及作为外部照相机的照相机40可以经由无线LAN(Local Area Network)、Wi
‑
Fi(注册商标)、以及遵循4G、5G等标准的移动电话网等未图示的网络相互连接。该情况下，机器人10、安全视觉装置20以及照相机40具有用于通过该连接而相互进行通信的未图示的通信部。此外，机器人10与安全视觉装置20经由未图示的通信部进行数据收发，也可以经由控制机器人10的动作的机器人控制装置(未图示)进行数据收发。
[0032]＜机器人10＞
[0033]对于本领域技术人员而言，机器人10例如是公知的工业用机器人等，根据来自机器人控制装置(未图示)的驱动指令，对配置于机器人10所包含的未图示的多个关节轴的每一个轴的未图示的伺服马达进行驱动，由此，驱动机器人10的可动部件(未图示)。
[0034]此外，以下将机器人10作为具有6个关节轴J1～J6的6轴垂直多关节机器人来进行说明，但也可以是6轴以外的垂直多关节机器人，还可以是水平多关节机器人、平行连杆机器人等。
[0035]＜照相机40＞
[0036]作为外部照相机的照相机40例如是数码相机等，固定地设置于配置有机器人10的工厂等的墙壁、柱子上，以便能够拍摄机器人10以及作业者U，作业者是携带后述的安全视觉装置20的用户。此外，照相机40也可以是搭载于智能手机、平板终端、增强现实(AR：
Augmented Reality)眼镜、混合现实(MR：Mixed Reality)眼镜等的照相机。
[0037]照相机40以规定的帧率(例如30帧/秒等)拍摄机器人10以及作业者U，生成投影到与照相机40的光轴垂直的平面的2维图像即帧图像。照相机40将生成的帧图像输出到安全视觉装置20。此外，由照相机40生成的帧图像可以是RGB彩色图像、灰度图像等可见光图像。
[0038]此外，机器人10的机器人坐标系与照相机40的照相机坐标系通过预先进行的校准而在世界坐标系中对应起来。
[0039]＜安全视觉装置20＞
[0040]安全视觉装置20例如是智能手机、平板终端、增强现实(AR：Augmented Reality)眼镜、混合现实(MR：Mixed Reality)眼镜等。
[0041]如图1所示，安全视觉装置20具有：控制部21、通信部22以及存储部23。另外，控制部21具有：3维物体识别部211、自身位置推定部212、输入部213、推定部214、接近判定部215以及通知部216。
[0042]通信部22是与无线LAN(Local Area Network)、Wi
‑
Fi(注册商标)、以及遵循4G、5G等标准的移动电话网等网络进行数据收发的通信控制设备。通信部22例如可以与照相机40直接通信，也可以经由控制机器人10的动作的机器人控制装置(未图示)与机器人10通信。
[0043]存储部23例如是ROM(Read Only Memory)、H本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种安全视觉装置，其特征在于，具有：人体3维骨骼推定模型，其输入人体的2维图像并输出表示所述人体的关节点位置的3维坐标值的3维关节点数据；机器人3维骨骼推定模型，其输入机器人的2维图像、以及拍摄了所述机器人的2维图像的照相机与所述机器人之间的距离和斜率，并输出所述机器人所包含的多个关节轴的角度；输入部，其输入由外部照相机拍摄到的作业者与机器人的2维图像、以及所述外部照相机与所述机器人之间的距离和斜率；推定部，其将由所述输入部输入的所述2维图像、以及所述外部照相机与所述机器人之间的距离和斜率，输入到所述人体3维骨骼推定模型以及所述机器人3维骨骼推定模型，推定表示所述作业者的关节点位置的3维坐标值的3维关节点数据、以及所述机器人所包含的多个关节轴的角度；以及接近判定部，其根据所述3维关节点数据和所述多...
【专利技术属性】
技术研发人员：中田洋平，本高丈士，
申请(专利权)人：株式会社日立制作所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。