一种基于强化学习的喷涂机器人轨迹优化方法技术

本发明专利技术涉及一种基于强化学习的喷涂机器人轨迹优化方法，所述轨迹优化方法通过图像获取、图像处理、图形三维重建、图形离散化、选取初始点和选择最优轨迹策略，从而确定出最优喷涂轨迹，其中，所述图像处理包括摄像机标定、图像校正和立体匹配。本发明专利技术的优点在于：本发明专利技术基于强化学习的喷涂机器人轨迹优化方法，该方法能够在不同的环境中根据不同的状态规划出可行路径，并且决策时间短、成功率高，能够满足在线规划的实时性要求，从而克服了传统机械臂路径规划方法实时性差、计算量大的缺点。

【技术实现步骤摘要】
一种基于强化学习的喷涂机器人轨迹优化方法
本专利技术属于智能算法控制领域，特别涉及一种基于强化学习的喷涂机器人轨迹优化方法。
技术介绍
大部分喷涂机器人采用示教喷涂，根据技术员工预先设定好的轨迹进行喷涂，这种喷涂方法根据前人喷涂的经验进行有效的喷涂，但是前期编程工作较大，而且轨迹优化不明显，效率较低，涂料浪费相对较大。基于强化学习的轨迹优化利用强化学习通过机器人对环境进行建模，在机器内部模拟出与环境相同或类似的状况，进行喷涂轨迹优化。在已有的轨迹优化算法中，通常都是概率路图法、快速搜索树法及人工势场法等。此类方法在将对环境建模或者模拟空间时，需要对机械臂的多种姿态进行采样，并通过运动学方程判断当前动作是否合理，计算量大；当环境中的障碍物和目标位置发生改变时，需要对新的环境重新计算构型空间的映射，难以达到动态实时规划的目的。另外，此类方法需要事先对机械臂构建精确的物理模型，建模的偏差会直接影响机械臂控制的效果。针对目前强化学习的方法，强化学习方法以马尔科夫决策过程来描述问题，通过智能体与环境的互动积累经验，并且不断更新智能体的策略，使它做出的决策能够获得更高的奖励。相比于传统方法，该方本文档来自技高网...

【技术保护点】
1.一种基于强化学习的喷涂机器人轨迹优化方法，其特征在于：所述轨迹优化方法通过图像获取、图像处理、图形三维重建、图形离散化、选取初始点和选择最优轨迹策略，从而确定出最优喷涂轨迹，其中，所述图像处理包括摄像机标定、图像校正和立体匹配；具体步骤如下：步骤1：图像获取：采用双目视觉系统中的两台相同的相机同时获取同一个场景中的目标物体图像,然后,对获取的图像进行预处理；步骤2：摄像机标定：对于获取的畸变向量，消除它的径向和切线方向上的镜头畸变，获得无畸变图像，同时建立摄像机的成像模型，确定目标点与像素点之间的对应关系；步骤3：图像校正：通过线性变换使处理后的无畸变图像中的共轭极线位于同一水平线上，把二...

【技术特征摘要】
1.一种基于强化学习的喷涂机器人轨迹优化方法，其特征在于：所述轨迹优化方法通过图像获取、图像处理、图形三维重建、图形离散化、选取初始点和选择最优轨迹策略，从而确定出最优喷涂轨迹，其中，所述图像处理包括摄像机标定、图像校正和立体匹配；具体步骤如下：步骤1：图像获取：采用双目视觉系统中的两台相同的相机同时获取同一个场景中的目标物体图像,然后,对获取的图像进行预处理；步骤2：摄像机标定：对于获取的畸变向量，消除它的径向和切线方向上的镜头畸变，获得无畸变图像，同时建立摄像机的成像模型，确定目标点与像素点之间的对应关系；步骤3：图像校正：通过线性变换使处理后的无畸变图像中的共轭极线位于同一水平线上，把二维空间的匹配问题化简为一维空间的求解问题；步骤4：立体匹配：采用立体匹配算法得到校准后的图像与原图像的视差值，然后利用这个视差值得到每两幅图像之间的稀疏匹配，再通过优化算法，获得稠密匹配；步骤5：三维重建：采用三角测量原理计算获取的立体匹配图像的深度值，得到稠密的三维空间点云，再对获取的三维空间点云进行网格化和差值计算，得到物体的三维结构模型；步骤6：图形离散化：通过双目视觉系统对目标物体进行目标获取，对空间进行离散化，即将目标转化为点的集合；步骤7:选取初始点；步骤8：选择最优轨迹策略：将决策策略π定义为一个函数，它将一个状态映射到一个动作s→a，即当前状态s执行动作a；强化学习的目标函数为：Qπ(s,a)＝E(R(s0)+γR(s1)+γ2R(s2)+...|s0＝s,a0＝a,π)(1)Qπ(s,a)表示当前初始状态s下，采取动作a之后依照策略π的决策运动所能获得期望收益，即找到最优策略π*，使得π*＝argmaxQπ(s,a)。2.根据权利要求1所述的基于强化学习的喷涂机器人轨迹优化方法，其特征在于：所述步骤2中的摄像机标定，假设目标...

【专利技术属性】
技术研发人员：宦键，王馨馨，陈伟，王伟然，智鹏飞，刘俊杰，刘浩，
申请(专利权)人：南京芊玥机器人科技有限公司，
类型：发明
国别省市：江苏,32