【技术实现步骤摘要】
一种基于视场拼接和三维重建的操作辅助装置及方法
本专利技术属于计算机视觉及图像处理领域，特别涉及一种基于视场拼接和三维重建的操作辅助装置及方法。
技术介绍
机械臂尤其是大型工程机械臂在操作过程中，由于机械臂臂展大、末端处视野不明确，使得机械臂操作性和安全性差，需要辅助人员在机械臂末端处进行实时观察、人工预警，不仅效率低下，且在空间狭小、不易人工观察的场所，机械臂容易与周围环境发生碰撞。目前市面上还没有应用于大型工程机械臂操作的辅助设备，一些工程机械通过附加反射镜和摄像头对机械臂及周围环境的相对关系进行观察、指导操作人员进行操作，同时通过附加防碰撞传感器和基于力矩差、电流差、压力差等方法进行碰撞检测，保护机械臂及操作人员。但反射镜和摄像头仅能提供单一维度的图像信息，无法准确反映机械臂与周围环境的距离信息，且单一摄像头视场狭小受限、多个摄像头对安装位置要求较高，附加防碰撞传感器方法过于复杂、价格昂贵。且为碰撞后响应机制，无法在发生碰撞时提前或同步检测到这个碰撞，不能达到碰撞预警效果。随着计算机视觉技术的发展，基于...
【技术保护点】
1.一种基于视场拼接和三维重建的操作辅助装置，其特征在于，所述装置包括：/n图像特征信息采集单元，用于采集图像特征信息；/n图像特征信息处理单元，用于对所述图像特征信息依次进行预处理和模糊化三维重建，获得障碍物三维信息；/n臂架、障碍物包围盒位姿信息确定单元，用于根据所述障碍物三维信息得到障碍物包围盒的位姿信息，根据机械臂控制系统和臂架尺寸得到臂架包围盒的位姿信息；/n防碰撞检测单元，基于分离轴定理对臂架和障碍物包围盒信息进行防碰撞检测。/n
【技术特征摘要】
1.一种基于视场拼接和三维重建的操作辅助装置，其特征在于，所述装置包括：
图像特征信息采集单元，用于采集图像特征信息；
图像特征信息处理单元，用于对所述图像特征信息依次进行预处理和模糊化三维重建，获得障碍物三维信息；
臂架、障碍物包围盒位姿信息确定单元，用于根据所述障碍物三维信息得到障碍物包围盒的位姿信息，根据机械臂控制系统和臂架尺寸得到臂架包围盒的位姿信息；
防碰撞检测单元，基于分离轴定理对臂架和障碍物包围盒信息进行防碰撞检测。
2.根据权利要求1所述的基于视场拼接和三维重建的操作辅助装置，其特征在于，所述图像特征信息处理单元可为微处理器，所述微处理器上集成有视场拼接、三维重建和避碰预警模块，所述图像特征信息处理单元用于为机械臂尤其是大型工程机械臂操作过程中提供多维度的辅助视角和碰撞预警。
3.根据权利要求1所述的基于视场拼接和三维重建的操作辅助装置，其特征在于，所述装置除为机械臂的操作提供多维度环境信息显示、碰撞检测预警外，经过调整后还适用于底盘车、工程机械。
4.根据权利要求1所述的基于视场拼接和三维重建的操作辅助装置，其特征在于，所述装置还包括：
图像特征信息采集单元，用于采集各种工况下的周围环境和障碍物图像信息；
图像特征信息预处理单元，用于对图像特征信息进行预处理；
三维重建处理单元，用于将所述预处理后的图像信息进行模糊化三维重建处理；
臂架、障碍物包围盒位姿信息确定单元，用于得到固定基座和活动工况下全局坐标系下的障碍物包围盒的位姿信息和臂架包围盒的位姿信息；
显示单元，用于显示广域大视角的二维拼图以及障碍物以及臂架的三维包围盒信息，直观地显示多维度的环境信息；
防碰撞检测单元，基于分离轴定理对臂架和障碍物包围盒信息进行防碰撞检测。
5.根据权利要求1或4所述的基于视场拼接和三维重建的操作辅助装置，其特征在于，所述图像特征信息采集单元可为多传感器视觉系统，所述多传感器视觉系统包括双目相机和辅助标定装置，用于采集周围环境和障碍物的图像信息。
6.根据权利要求4所述的基于视场拼接和三维重建的操作辅助装置，其特征在于，所述图像特征信息预处理单元为视场拼接模块，用于对所述图像特征信息进行预处理；所述三维重建处理单元为三维重建模块，用于将所述预处理后的图像信息进行模糊化三维重建处理；所述防碰撞检测单元为避碰预警模块，基于分离轴定理对臂架和障碍物包围盒信息进行防碰撞检测。
7.一种基于视场拼接和三维重建的操作辅助方法，其特征在于，所述方法包括以下步骤：
采集图像特征信息；
对所述图像特征信息依次进行预处理和模糊化三维重建，获得障碍物三维信息；
根据所述障碍物三维信息得到障碍物包围盒的位姿信息，根据机械臂控制系统和臂架尺寸得到臂架包围盒的位姿信息...
【专利技术属性】
技术研发人员：朱志斌，李腾飞，郑旭，王红伟，唐强，奚子洋，
申请(专利权)人：北京轩宇智能科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。