本发明专利技术涉及一种训练神经网络对图片进行实例分割的方法，所述方法包括：基于摄像头的不同设置，获取同一场景的多帧灰度图；将所述多帧灰度图组合为多通道图像；以及利用所述多通道图像来训练所述神经网络进行实例分割。本发明专利技术还涉及一种训练神经网络对图片进行实例分割的设备、对图像进行实例分割的方法和设备、机器人抓取方法和系统、计算机存储介质以及计算机程序产品。及计算机程序产品。及计算机程序产品。
【技术实现步骤摘要】
对图片进行实例分割的方法及设备
[0001]本专利技术涉及图像分割领域，更具体地，涉及一种训练神经网络对图片进行实例分割或利用已训练的神经网络对图片进行实例分割的方法和设备、机器人抓取方法和系统、计算机存储介质以及计算机程序产品。
技术介绍
[0002]在机器人抓取应用场景下，待抓取物体被随机放置或堆叠在一个盘子上。为了让机器人能够抓取物体，例如需要用三维摄像头检测物体的位姿。三维摄像头的种类很多：飞行时间（ToF, Time of flight）摄像头、结构光摄像头、立体摄像头等。为了确定物体的位姿（例如六维位姿），需要对包含物体的场景二维图像（例如RGB图像）进行实例分割（instance segmentation）。
[0003]但是，一些三维摄像头，例如ToF摄像头仅提供灰度图像。可以理解的是，RGB图像具有红、绿、蓝三个通道，而灰度图像仅有一个通道。采用深度学习方法进行实例分割在仅有单个通道的灰度图像上表现不佳。这进而对于后续物体位姿的确定、机器人抓取等有不良影响。
技术实现思路
[0004]根据本专利技术的一方面，提供了一种训练神经网络对图片进行实例分割的方法，所述方法包括：基于摄像头的不同设置，获取同一场景的多帧灰度图；将所述多帧灰度图组合为多通道图像；以及利用所述多通道图像来训练所述神经网络进行实例分割。
[0005]作为上述方案的补充或替换，上述方法还可包括：利用所述摄像头获取所述场景的深度信息。
[0006]作为上述方案的补充或替换，在上述方法中，将所述多帧灰度图组合为多通道图像包括：将所述多帧灰度图以及所述深度信息组合为多通道图像。
[0007]作为上述方案的补充或替换，在上述方法中，所述神经网络为掩码区域卷积神经网络Mask R
‑
CNN，并且所述多通道图像为四通道图像，所述四通道图像由分别对应于摄像头的三种不同设置的三帧灰度图以及所述深度信息所组成。
[0008]作为上述方案的补充或替换，在上述方法中，所述摄像头的不同设置包括不同的曝光时间以及幅值增益，其中当对反射率f1的暗物体成像时，使用曝光时间为t1和幅值增益为g1，而当对反射率f2的物体成像时，使用的曝光时间为t2，并且幅值增益为g2，其中反射率f1<f2，t1>t2且g1>g2。
[0009]根据本专利技术的另一方面，提供了一种训练神经网络对图片进行实例分割的设备，所述设备包括：第一获取装置，用于基于摄像头的不同设置，获取同一场景的多帧灰度图；组合装置，用于将所述多帧灰度图组合为多通道图像；以及训练装置，用于利用所述多通道图像来训练所述神经网络进行实例分割。
[0010]作为上述方案的补充或替换，上述设备还包括：第二获取装置，用于利用所述摄像
头获取所述场景的深度信息。
[0011]作为上述方案的补充或替换，在上述设备中，所述组合装置配置成将所述多帧灰度图以及所述深度信息组合为多通道图像。
[0012]作为上述方案的补充或替换，在上述设备中，所述神经网络为掩码区域卷积神经网络Mask R
‑
CNN，并且所述多通道图像为四通道图像，所述四通道图像由分别对应于摄像头的三种不同设置的三帧灰度图以及所述深度信息所组成。
[0013]作为上述方案的补充或替换，在上述设备中，所述摄像头的不同设置包括不同的曝光时间以及幅值增益，其中当对反射率f1的暗物体成像时，使用曝光时间为t1和幅值增益为g1，而当对反射率f2的物体成像时，使用的曝光时间为t2，并且幅值增益为g2，其中反射率f1<f2，t1>t2且g1>g2。
[0014]根据本专利技术的又一方面，提供了一种对图像进行实例分割的方法，所述方法包括：基于摄像头的不同设置，获取同一场景的多帧灰度图；将所述多帧灰度图组合为多通道图像；以及针对所述多通道图像利用已训练的神经网络来进行实例分割。
[0015]作为上述方案的补充或替换，上述方法还可包括：利用所述摄像头获取所述场景的深度信息，所述摄像头例如是ToF摄像头。
[0016]作为上述方案的补充或替换，在上述方法中，将所述多帧灰度图组合为多通道图像包括：将所述多帧灰度图以及所述深度信息组合为多通道图像。
[0017]作为上述方案的补充或替换，在上述方法中，所述已训练的神经网络为掩码区域卷积神经网络(Mask R
‑
CNN)，并且所述多通道图像为四通道图像，所述四通道图像由分别对应于摄像头的三种不同设置的三帧灰度图以及所述深度信息所组成。
[0018]作为上述方案的补充或替换，在上述方法中，所述摄像头的不同设置包括不同的曝光时间以及幅值增益，其中当对反射率f1的暗物体成像时，使用曝光时间为t1和幅值增益为g1，而当对反射率f2的物体成像时，使用的曝光时间为t2，并且幅值增益为g2，其中反射率f1<f2，t1>t2且g1>g2。也就是说，例如，当对低反射率的暗物体成像时，应使用更长的曝光时间和高增益。而较短的曝光时间和正常增益适用于高反射的物体。
[0019]根据本专利技术的又一方面，提供了一种机器人抓取方法，所述方法包括：利用安装在所述机器人上的三维摄像头对包含待抓取物体的场景图像执行如前所述的对图像进行实例分割的方法，以便获取所述待抓取物体的点云分割结果；以及基于所述点云分割结果来执行抓取任务。
[0020]根据本专利技术的又一方面，提供了一种对图像进行实例分割的设备，所述设备包括：第一获取装置，用于基于摄像头的不同设置，获取同一场景的多帧灰度图；组合装置，用于将所述多帧灰度图组合为多通道图像；以及分割装置，用于针对所述多通道图像利用已训练的神经网络来进行实例分割。
[0021]作为上述方案的补充或替换，上述设备还包括：第二获取装置，用于利用所述摄像头获取所述场景的深度信息。
[0022]作为上述方案的补充或替换，在上述设备中，所述组合装置配置成将来自于所述第一获取装置的多帧灰度图以及来自于所述第二获取装置的深度信息组合为多通道图像。
[0023]作为上述方案的补充或替换，在上述设备中，所述分割装置采用掩码区域卷积神经网络（Mask R
‑
CNN）来进行实例分割，并且所述多通道图像为四通道图像，所述四通道图
像由分别对应于摄像头的三种不同设置的三帧灰度图以及所述深度信息所组成。
[0024]作为上述方案的补充或替换，在上述设备中，所述摄像头的不同设置包括不同的曝光时间以及幅值增益，其中当对反射率f1的暗物体成像时，使用曝光时间为t1和幅值增益为g1，而当对反射率f2的物体成像时，使用的曝光时间为t2，并且幅值增益为g2，其中反射率f1<f2，t1>t2且g1>g2。也就是说，例如，当对低反射率的暗物体成像时，应使用更长的曝光时间和高增益。而较短的曝光时间和正常增益适用于高本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种训练神经网络对图片进行实例分割的方法，其特征在于，所述方法包括：基于摄像头的不同设置，获取同一场景的多帧灰度图；将所述多帧灰度图组合为多通道图像；以及利用所述多通道图像来训练所述神经网络进行实例分割。2.如权利要求1所述的方法，还包括：利用所述摄像头获取所述场景的深度信息。3.如权利要求2所述的方法，其中，将所述多帧灰度图组合为多通道图像包括：将所述多帧灰度图以及所述深度信息组合为多通道图像。4. 如权利要求3所述的方法，其中，所述神经网络为掩码区域卷积神经网络Mask R
‑
CNN，并且所述多通道图像为四通道图像，所述四通道图像由分别对应于摄像头的三种不同设置的三帧灰度图以及所述深度信息所组成。5.如权利要求1所述的方法，其中，所述摄像头的不同设置包括不同的曝光时间以及幅值增益，其中当对反射率f1的暗物体成像时，使用曝光时间为t1和幅值增益为g1，而当对反射率f2的物体成像时，使用的曝光时间为t2，并且幅值增益为g2，其中反射率f1<f2，t1>t2且g1>g2。6.一种训练神经网络对图片进行实例分割的设备，其特征在于，所述设备包括：第一获取装置，用于基于摄像头的不同设置，获取同一场景的多帧灰度图；组合装置，用于将所述多帧灰度图组合为多通道图像；以及训练装置，用于利用所述多通道图像来训练所述神经网络进行实例分割。7.如权利要求6所述的设备，还包括：第二获取装置，用于利用所述摄像头获取所述场景的深度信息。8.如权利要求7所述的设备，其中，所述组合装置配置成将所述多帧灰度图以及所述深度信息组合为多通道图像。9. 如权利要求8所述的设备，其中，所述神经网络为掩码区域卷积神经网络Mask R
‑
CNN，并且所述多通道图像为四通道图像，所述四通道图像由分别对应于摄像头的三种不同设置的三帧灰度图以及所述深度信息所组成。10.如权利要求6所述的设备，其中，所述摄像头的不同设置包括不同的曝光时间以及幅值增益，其中当对反射率f1的暗物体成像时，使用曝光时间为t1和幅值增益为g1，而当对反射率f2的物体成像时，使用的曝光时间为t2，并且幅值增益为g2，其中反射率f1<f2，t1>t2且g1>g2。11.一种对图像进行实例分割的方法，其特征在于，所述方法包括：基于摄像头的不同设置，获取同一场景的多帧灰度图；将所述多帧灰度图组合为多通道图像；以及针对所述多通道图像利用已训练的神经网络来进行实例分割。12.如权利要求11所述的方法，还包括：利用所述摄像头获取所述场景的深度信息。13.如权利要求12所述的方法，其中，将所述多帧灰度图组合为多通道图像包括：将所述多帧灰度图以及所述深度信息组合为多通道图像。14. 如权利要求13所述的方法...
【专利技术属性】
技术研发人员：丁凯，
申请(专利权)人：罗伯特，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。