一种基于RGB-D相机的数控NC代码虚实验证方法技术

本发明专利技术公开了一种基于RGB‑D相机的数控NC代码虚实验证方法，属于机床加工仿真领域，包括以下步骤：标定RGB‑D相机中彩色相机和深度相机的内外参数，将像素坐标转化为相机坐标系坐标；用冗余标记定义工件坐标系，RGB‑D相机对标记采集图像；从采集图像提取特征点的像素坐标；计算相机坐标系到工件坐标系的变换矩阵；得到刀具中心点相机坐标系坐标转换为工件坐标系坐标计算模型；构建刀具位置检测的神经网络并训练；训练后用于实时计算刀具坐标；机床输入NC代码和设置虚拟工件尺寸信息；验证刀具是否在NC代码指定的刀具路径上进行加工。本发明专利技术解决了仿真NC代码中机床模型不全及虚拟机床模型与实际机床存在差异等问题，提升了机床NC代码仿真的可靠性和真实性。

A virtual real verification method of NC code based on rgb-d camera

【技术实现步骤摘要】
一种基于RGB-D相机的数控NC代码虚实验证方法
本专利技术属于机床加工仿真领域，尤其涉及一种基于RGB-D相机的数控NC代码虚实验证方法。
技术介绍
机床在实际加工工件前需要对NC代码进行验证，传统的验证方法主要可以分为两大类，一类是实际机床上用刀具对工件进行试验加工验证NC代码，另一类是在虚拟机床仿真软件中对NC代码进行验证和检测是是否存在其他异常情况。对于实际加工试验方法，每次试验加工都需要用夹具装夹工件和更换工件，操作耗时和浪费材料并且试验加工存在撞刀等危险，对操作工人的人身安全造成威胁。对于虚拟机床加工仿真软件，则存在诸多限制。对于要验证NC代码的机床，需要软件支持该机床型号和系统，并且不能保证实际的机床状况和软件中的机床理想状况保持一致，仿真软件中的NC代码验证结果不能保证实际加工的正确性。因此，急需一种能够保证实际的机床状况和软件中的机床理想状况保持一致的虚拟验证方法。
技术实现思路
本专利技术目的在于提供一种能够保证实际的机床状况和软件中的机床理想状况保持一致的虚拟验证方法，专利技术的内容如下：一种基于RGB-D相机的数控NC代码虚实验证方法，包括以下步骤：S10、标定RGB-D相机中彩色相机和深度相机的内部参数，并计算所述彩色相机和所述深度相机之间外部参数，根据所述内部参数和所述外部参数建立彩色像素和深度像素之间的直接映射模型；S20、用冗余标记定义工件坐标系；将标记放到机床工作台上，所述标记作为特征点；所述RGB-D相机对所述标记采集图像；S30、从采集图像中提取出所述特征点的像素坐标；S40、根据所述特征点的像素坐标和所述特征点在工件坐标系下的坐标求解工件坐标系到彩色相机坐标系的位姿变换矩阵T；对位姿变换矩阵T中的旋转角参数进行校正；S50、使用所述RGB-D相机对机床刀具中心图像采集；根据所述映射模型计算彩色图像中刀具中心的像素坐标对应的深度像素坐标，在深度图像上根据刀具像素的深度信息修正刀具中心点的像素坐标，并根据所述相机模型计算像素点对应的深度相机坐标系坐标和彩色相机坐标系坐标；使用步骤S40中校正后的位姿变换矩阵T将刀具中心的彩色相机坐标系坐标转换成工件坐标系坐标，再结合刀具模型得到刀具底部端面中心在工件坐标系下的坐标；S60、基于卷积神经网络构建机床刀具位置检测的神经网络；使用训练集对所述神经网络进行训练，所述训练集为步骤S50中采集得到刀具中心图像及对应的刀具底部端面中心在工件坐标系下的坐标；使用步骤S50中标记过的刀具图像对所述神经网络进行参数训练；S70、将训练后的卷积神经网络用于定位彩色图像中刀具中心的像素坐标并实时计算当前刀具的工件坐标系坐标；S80、在机床输入NC代码和设置虚拟工件尺寸信息，工件的默认位置与工件坐标系重合；S90、根据步骤S70得到的实时计算当前刀具的工件坐标系坐标结合步骤S80所输入的NC代码，验证刀具是否在NC代码指定的刀具路径上进行加工。进一步地，步骤S40利用位姿传感器对位姿变换矩阵T中的旋转角参数进行校正。进一步地，步骤S60中建机床刀具位置检测的神经网络为面向机床铣刀刀具位置检测的卷积神经网络。进一步地，步骤S70中采用训练后的卷积神经网络预测彩色图像中铣刀刀具中心的位置和刀具包围盒，将包围盒几何中心的像素坐标作为刀具在彩色图像中的位置。进一步地，在步骤S90中，步骤S70得到的实时计算铣刀的工件坐标系坐标，得到铣刀位置信息，与机床NC代码进行交叉验证，通过增强现实的人机交互方式来实时仿真刀具铣削工件的过程，实现虚实仿真。进一步地，对当前刀具位置进行实时监视，同时计算刀具位置与NC指定刀具路径的误差距离，如果误差超出设定值就认为刀具没有按照NC代码运动，给出警报；如果误差未超出设定值则根据得到的刀具位置信息对虚拟工件进行加工仿真。进一地，步骤S60中对所述机床刀具检测的卷积神经网络构建过程如下：结合RGB-D相机采集的彩色图像尺寸设计卷积神经网络的输入尺寸，并考虑目标检测的准确率和实时性设计网络的结构。进一步地，所述机床刀具检测的卷积神经网络的主干网络中含有6层卷积层，6层卷积层的卷积核尺寸都是3×3，卷积运算时的步长都是1，6个卷积层的卷积核个数分别为16、32、64、128、256。进一步地，所述机床刀具检测的卷积神经网络的主干网络中含有5层池化层，其中第一层池化层的步长为5，第二层池化层的步长为3，其余池化层的步长都为2。进一步地，所示机床刀具检测的卷积神经网络最后用两层卷积核大小1×1的卷积。本专利技术的有益效果：(1)本专利技术的方法在对机床NC代码仿真加工时避免了传统物理试验验证NC代码时所需要的装夹工件的时间，采用虚拟工件进行加工，减少了工件试验的成本，利用物理刀具与虚拟工件的求交计算来仿真工件加工过程，避免了因为加工参数设置不当带来的工件报废和刀具碰撞问题。(2)本专利技术的方法在对机床NC代码仿真加工时，有效解决了软件仿真NC代码中机床模型不全以及虚拟机床模型与实际机床存在差异等问题，提升了机床NC代码仿真的可靠性和真实性。(3)本专利技术的方法只需要将冗余标记平行放置到工作台上，将刀具移动至冗余标记中四边形的右上角特征点，将当前机床坐标记录为工件坐标系原点后，即可进行NC代码的仿真。采用增强现实方式的实时显示工件的加工过程，使操作人员具有较强的临场感。(4)本专利技术的刀具检测网络能够实现刀具位置的自动检测。附图说明图1为一种基于RGB-D相机的机床NC代码虚实验证装置及方法的步骤流程图；图2为工件坐标系、彩色相机坐标系和深度相机坐标系的示意图；图3为用于定义和追踪工件坐标系的冗余标记示意图；图4为用于检测刀具位置的卷积神经网络的结构示意图；图5为刀具检测网络在刀具图像测试集上的检测结果的交并比示意图；图6为三轴铣床NC代码仿真方法的验证装置及应用场景示意图；图7为虚实仿真加工示意图。具体实施方式为了使本专利技术所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图，对本专利技术进行进一步详细说明。如图1所示，本专利技术所述方法中涉及到的一种基于RGB-D相机的机床NC代码增强现实加工仿真方法包括以下步骤：步骤S10：标定RGB-D相机的彩色相机和深度相机的内部参数，并计算两相机之间外部参数，根据内部参数和外部参数建立彩色像素到深度像素的映射模型，涉及到的坐标系如图2所示。本实施例中，建立彩色像素到深度像素的映射模型，具体来说是基于小孔成像模型和相机间的外参矩阵，在彩色图像缺少深度信息的条件下，提出了一种从彩色像素到深度像素的映射计算方法。通过棋盘标定方法得到RGB-D相机中深度相机和彩色相机的内参矩阵KL和KR，再根据内参矩阵求得从深度相机坐标系到彩色相机坐标系的位姿变换矩阵MLR,则深度像素到彩色像素的映射关系满足下式：本文档来自技高网...

【技术保护点】
1.一种基于RGB-D相机的数控NC代码虚实验证方法，其特征在于，包括以下步骤：/nS10、标定RGB-D相机中彩色相机和深度相机的内部参数，并计算所述彩色相机和所述深度相机之间外部参数，根据所述内部参数和所述外部参数建立彩色像素和深度像素之间的直接映射模型；/nS20、用冗余标记定义工件坐标系；将标记放到机床工作台上，所述标记作为特征点；所述RGB-D相机对所述标记采集图像；/nS30、从采集图像中提取出所述特征点的像素坐标；/nS40、根据所述特征点的像素坐标和所述特征点在工件坐标系下的坐标求解工件坐标系到彩色相机坐标系的位姿变换矩阵T；对位姿变换矩阵T中的旋转角参数进行校正；/nS50、使用所述RGB-D相机对机床刀具中心图像采集；根据所述映射模型计算彩色图像中刀具中心的像素坐标对应的深度像素坐标，在深度图像上根据刀具像素的深度信息修正刀具中心点的像素坐标，并根据所述相机模型计算像素点对应的深度相机坐标系坐标和彩色相机坐标系坐标；使用步骤S40中校正后的位姿变换矩阵T将刀具中心的彩色相机坐标系坐标转换成工件坐标系坐标，再结合刀具模型得到刀具底部端面中心在工件坐标系下的坐标；/nS60、基于卷积神经网络构建机床刀具位置检测的神经网络；使用训练集对所述神经网络进行训练，所述训练集为步骤S50中采集得到刀具中心图像及对应的刀具底部端面中心在工件坐标系下的坐标；使用步骤S50中标记过的刀具图像对所述神经网络进行参数训练；/nS70、将训练后的卷积神经网络用于定位彩色图像中刀具中心的像素坐标并实时计算当前刀具的工件坐标系坐标；/nS80、在机床输入NC代码和设置虚拟工件尺寸信息，工件的默认位置与工件坐标系重合；/nS90、根据步骤S70得到的实时计算当前刀具的工件坐标系坐标结合步骤S80所输入的NC代码，验证刀具是否在NC代码指定的刀具路径上进行加工。/n...

【技术特征摘要】
1.一种基于RGB-D相机的数控NC代码虚实验证方法，其特征在于，包括以下步骤：
S10、标定RGB-D相机中彩色相机和深度相机的内部参数，并计算所述彩色相机和所述深度相机之间外部参数，根据所述内部参数和所述外部参数建立彩色像素和深度像素之间的直接映射模型；
S20、用冗余标记定义工件坐标系；将标记放到机床工作台上，所述标记作为特征点；所述RGB-D相机对所述标记采集图像；
S30、从采集图像中提取出所述特征点的像素坐标；
S40、根据所述特征点的像素坐标和所述特征点在工件坐标系下的坐标求解工件坐标系到彩色相机坐标系的位姿变换矩阵T；对位姿变换矩阵T中的旋转角参数进行校正；
S50、使用所述RGB-D相机对机床刀具中心图像采集；根据所述映射模型计算彩色图像中刀具中心的像素坐标对应的深度像素坐标，在深度图像上根据刀具像素的深度信息修正刀具中心点的像素坐标，并根据所述相机模型计算像素点对应的深度相机坐标系坐标和彩色相机坐标系坐标；使用步骤S40中校正后的位姿变换矩阵T将刀具中心的彩色相机坐标系坐标转换成工件坐标系坐标，再结合刀具模型得到刀具底部端面中心在工件坐标系下的坐标；
S60、基于卷积神经网络构建机床刀具位置检测的神经网络；使用训练集对所述神经网络进行训练，所述训练集为步骤S50中采集得到刀具中心图像及对应的刀具底部端面中心在工件坐标系下的坐标；使用步骤S50中标记过的刀具图像对所述神经网络进行参数训练；
S70、将训练后的卷积神经网络用于定位彩色图像中刀具中心的像素坐标并实时计算当前刀具的工件坐标系坐标；
S80、在机床输入NC代码和设置虚拟工件尺寸信息，工件的默认位置与工件坐标系重合；
S90、根据步骤S70得到的实时计算当前刀具的工件坐标系坐标结合步骤S80所输入的NC代码，验证刀具是否在NC代码指定的刀具路径上进行加工。


2.根据权利要求1所述的数控NC代码虚实验证方法，其特征在于，步骤S40利用位姿传感器对位姿变换矩阵T中的旋转角参数进行校正。


3.根据权利...

【专利技术属性】
技术研发人员：杨文安，王鹏宇，刘伟超，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32