铰接式工程机械、全景环视系统及其标定方法技术方案

本公开涉及一种铰接式工程机械、全景环视系统及其标定方法，其中，铰接式工程机械包括通过铰接架(3)依次连接的至少两个铰接结构段，至少两个铰接结构段包括第一铰接结构段(1)，第一铰接结构段包括：第一车体(11)和设在第一车体(11)上的驾驶室(12)，全景环视系统包括：多个拍摄部件(6)，安装于第一铰接结构段(1)，被配置为拍摄铰接式工程机械周围的环境；图像处理部件(8)，被配置为接收多个拍摄部件(6)拍摄的图像，并拼接为第一铰接结构段(1)周围整周的环视图像；和人机交互部件(9)，被配置为显示图像处理部件(8)拼接形成的环视图像。

【技术实现步骤摘要】
铰接式工程机械、全景环视系统及其标定方法
本公开涉及工程机械辅助驾驶
，尤其涉及一种铰接式工程机械、全景环视系统及其标定方法。
技术介绍
现代科学技术的发展，极大地推动了工程机械的智能化，越来越多的高端技术被引入工程机械领域，使工程机械向着更高效、更安全的目标不断迈进。通常工程机械在施工过程中大都只能依赖后视镜或倒车影像的辅助观察周围环境，但是由于存在车头、车窗、柱子等遮挡物，且工程机械驾驶室普遍偏高视野有限，使得驾驶员视野存在盲区，无法判断遮挡区域有无障碍物以及障碍物的间距。而且，为了提高工程机械转向和操作的灵活性，出现了驾驶室与后车架通过铰接机构连接的工程机械，在工程机械转向过程中，由于后车架相对于驾驶室的角度在不断发生变化，因此，驾驶员更加难以判断工程机械周围的环境，增加了操作难度，难以保证驾驶过程的安全性。
技术实现思路
本公开的实施例提供了一种铰接式工程机械、全景环视系统及其标定方法，能够提高工程机械在驾驶过程中的安全性。本公开第一方面提供了一种铰接式工程机械全景环视系统，铰接式工程机械包括通过铰接架依次连接的至少两个铰接结构段，至少两个铰接结构段包括第一铰接结构段，第一铰接结构段包括：第一车体和设在第一车体上的驾驶室，全景环视系统包括：多个拍摄部件，安装于第一铰接结构段，被配置为拍摄铰接式工程机械周围的环境；图像处理部件，被配置为接收多个拍摄部件拍摄的图像，并拼接为第一铰接结构段周围整周的环视图像；和人机交互部件，被配置为显示图像处理部件拼接形成的环视图像。在一些实施例中，多个拍摄部件均位于同一个铰接架沿铰接式工程机械长度方向的相同侧。在一些实施例中，至少两个铰接结构段还包括：分别位于第一铰接结构段两侧的第二铰接结构段和第三铰接结构段，多个拍摄部件均位于与第一铰接结构段连接的两个铰接架之间。在一些实施例中，多个拍摄部件围绕驾驶室的外周或第一铰接结构段的外周设置。在一些实施例中，若第一铰接结构段的长度小于单个拍摄部件的有效识别范围，多个拍摄部件包括四个拍摄部件，分别设在第一铰接结构段的前部、后部、左侧和右侧；和/或若第一铰接结构段的长度不小于单个拍摄部件的有效识别范围，多个拍摄部件至少包括六个拍摄部件，第一铰接结构段的前部和后部分别设有一个拍摄部件，第一铰接结构段的左侧和右侧分别间隔设置至少两个拍摄部件。在一些实施例中，多个拍摄部件设在第一铰接结构段的顶部，拍摄部件的拍摄面朝向第一铰接结构段的外侧且斜向下。在一些实施例中，全景环视系统还包括：行走控制部件，与图像处理部件电连接，被配置为控制铰接式工程机械的行进方向及行进速度，并将行进方向及行进速度信息传递给图像处理部件；其中，图像处理部件被配置为根据行进方向上下移动在人机交互部件中显示的环视图像，在行进方向为前时向下移动环视图像，在行进方向为后时向上移动环视图像，并且根据行进速度确定环视图像移动的快慢和最终图像停止的位置。在一些实施例中，全景环视系统还包括多个标定装置，设在第一铰接结构段之外的预设基准平面上，且围绕驾驶室或第一铰接结构段的外周设置，多个标定装置各自的顶面均低于对应位置的拍摄部件的安装高度，多个标定装置被配置为在多个拍摄部件正式使用前对拍摄的图像进行标定。在一些实施例中，人机交互部件被配置为接收操作人员将标定光标移动至标定装置中特征识别物上的标定指令，并将标定指令发送给图像处理部件；图像处理部件被配置为接收标定指令，并根据多个标定装置的实际参数校正多个拍摄部件拍摄图像中的畸变。在一些实施例中，多个标定装置的实际参数包括：相邻两个标定装置之间的距离和单个标定装置中特征识别物的外廓尺寸，特征识别物被配置为供操作人员在人机交互部件中通过标定光标执行标定。在一些实施例中，多个标定装置设在预设参考框外，预设参考框相对于驾驶室或第一铰接结构段的外廓形成的矩形区域整体向外偏移预设距离；结合人机交互部件的显示，多个拍摄部件的拍摄角度被配置为调整至能够拍摄到铰接式工程机械的车体至预设参考框之间的范围。在一些实施例中，多个标定装置设在预设参考框外，预设参考框相对于驾驶室外廓所在的区域整体向外偏移预设距离；在第一铰接结构段的长度小于单个拍摄部件的有效识别范围时，多个标定装置分别设在预设参考框的四个角；或者在第一铰接结构段的长度不小于单个拍摄部件的有效识别范围时，标定装置分别设在预设参考框的四个角以及左右两侧边位于相邻两个拍摄部件之间的位置。在一些实施例中，标定装置的高度可调。在一些实施例中，人机交互部件被配置为接收外部输入的多个拍摄部件中至少部分拍摄部件的图像修订参数，从而使环视图像处于同一高度。在一些实施例中，标定装置包括：底座；第一支撑架，第一支撑架的第一端固定在底座上；第二支撑架，位于第一支撑架上方，第二支撑架的第一端与第一支撑架的第二端连接且高度可调；和框架，连接在第二支撑架的第二端，且框架作为操作人员在人机交互部件中标定时的特征识别物。本公开第二方面提供了一种铰接式工程机械，包括：通过铰接架依次连接的至少两个铰接结构段以及上述实施例的铰接式工程机械全景环视系统；其中，至少两个铰接结构段包括第一铰接结构段，第一铰接结构段包括：第一车体和设在第一车体上的驾驶室。本公开第三方面提供了一种基于上述实施例铰接式工程机械全景环视系统的标定方法，包括：结合人机交互部件的显示，将多个拍摄部件的拍摄角度调整至能够拍摄到铰接式工程机械的车体至预设参考框之间的范围，预设参考框相对于驾驶室或第一铰接结构段的外廓所在的区域整体向外偏移预设距离；将多个标定装置在基准平面上围绕预设参考框外设置；将人机交互部件中的标定光标移动至标定装置的特征识别物上，以在多个拍摄部件正式使用前对拍摄的图像进行标定。在一些实施例中，标定方法还包括：在拼接形成环视图像之后，根据环视图像中各部分图像的高度匹配程度，通过人机交互部件设定多个拍摄部件中至少部分拍摄部件的图像修订参数，以使环视图像处于同一高度。在一些实施例中，将多个标定装置布置在预设参考框外的基准平面上包括：获得铰接式工程机械的整体俯视模型；将整体俯视模型只保留驾驶室或第一铰接结构段的外廓所在区域的部分模型；在实际车体中找出与部分模型对应的实际区域，并相对于实际区域向外偏移预设距离，在基准平面上标记出预设参考框；在基准平面上围绕预设参考框外布置多个标定装置。在一些实施例中，在对拍摄的图像进行标定之前，标定方法还包括：通过人机交互部件输入多个标定装置的实际参数，以供图像处理部件校正多个拍摄部件拍摄图像中的畸变实现标定；其中，多个标定装置的实际参数包括相邻两个标定装置之间的距离和单个标定装置中特征识别物的外廓尺寸，特征识别物被配置为供操作人员在人机交互部件中进行标定。在一些实施例中，在将多个标定装本文档来自技高网...

【技术保护点】
1.一种铰接式工程机械全景环视系统，其特征在于，所述铰接式工程机械包括通过铰接架(3)依次连接的至少两个铰接结构段，所述至少两个铰接结构段包括第一铰接结构段(1)，所述第一铰接结构段包括：第一车体(11)和设在所述第一车体(11)上的驾驶室(12)，所述全景环视系统包括：/n多个拍摄部件(6)，安装于所述第一铰接结构段(1)，被配置为拍摄所述铰接式工程机械周围的环境；/n图像处理部件(8)，被配置为接收所述多个拍摄部件(6)拍摄的图像，并拼接为所述第一铰接结构段(1)周围整周的环视图像；和/n人机交互部件(9)，被配置为显示所述图像处理部件(8)拼接形成的所述环视图像。/n

【技术特征摘要】
1.一种铰接式工程机械全景环视系统，其特征在于，所述铰接式工程机械包括通过铰接架(3)依次连接的至少两个铰接结构段，所述至少两个铰接结构段包括第一铰接结构段(1)，所述第一铰接结构段包括：第一车体(11)和设在所述第一车体(11)上的驾驶室(12)，所述全景环视系统包括：
多个拍摄部件(6)，安装于所述第一铰接结构段(1)，被配置为拍摄所述铰接式工程机械周围的环境；
图像处理部件(8)，被配置为接收所述多个拍摄部件(6)拍摄的图像，并拼接为所述第一铰接结构段(1)周围整周的环视图像；和
人机交互部件(9)，被配置为显示所述图像处理部件(8)拼接形成的所述环视图像。


2.根据权利要求1所述的铰接式工程机械全景环视系统，其特征在于，所述多个拍摄部件(6)均位于同一个所述铰接架(3)沿所述铰接式工程机械长度方向的相同侧。


3.根据权利要求2所述的铰接式工程机械全景环视系统，其特征在于，所述至少两个铰接结构段还包括：分别位于所述第一铰接结构段(1)两侧的第二铰接结构段(2)和第三铰接结构段(2’)，所述多个拍摄部件(6)均位于与所述第一铰接结构段(1)连接的两个铰接架(3)之间。


4.根据权利要求1所述的铰接式工程机械全景环视系统，其特征在于，所述多个拍摄部件(6)围绕所述驾驶室(12)的外周或所述第一铰接结构段(1)的外周设置。


5.根据权利要求1所述的铰接式工程机械全景环视系统，其特征在于，
若所述第一铰接结构段(1)的长度小于单个拍摄部件(6)的有效识别范围，所述多个拍摄部件(6)包括四个所述拍摄部件(6)，分别设在所述第一铰接结构段(1)的前部、后部、左侧和右侧；和/或
若所述第一铰接结构段(1)的长度不小于单个拍摄部件(6)的有效识别范围，所述多个拍摄部件(6)至少包括六个所述拍摄部件(6)，所述第一铰接结构段(1)的前部和后部分别设有一个所述拍摄部件(6)，所述第一铰接结构段(1)的左侧和右侧分别间隔设置至少两个所述拍摄部件(6)。


6.根据权利要求1所述的铰接式工程机械全景环视系统，其特征在于，所述多个拍摄部件(6)设在所述第一铰接结构段(1)的顶部，所述拍摄部件(6)的拍摄面朝向所述第一铰接结构段(1)的外侧且斜向下。


7.根据权利要求1所述的铰接式工程机械全景环视系统，其特征在于，还包括：
行走控制部件(10)，与所述图像处理部件(8)电连接，被配置为控制所述铰接式工程机械的行进方向及行进速度，并将所述行进方向及行进速度信息传递给所述图像处理部件(8)；
其中，所述图像处理部件(8)被配置为根据所述行进方向上下移动在所述人机交互部件(9)中显示的环视图像，在所述行进方向为前时向下移动所述环视图像，在所述行进方向为后时向上移动所述环视图像，并且根据所述行进速度确定所述环视图像移动的快慢和最终图像停止的位置。


8.根据权利要求1～7任一所述的铰接式工程机械全景环视系统，其特征在于，还包括多个标定装置(7)，设在所述第一铰接结构段(1)之外的预设基准平面上，且围绕所述驾驶室(12)或所述第一铰接结构段(1)的外周设置，所述多个标定装置(7)各自的顶面均低于对应位置的所述拍摄部件(6)的安装高度，所述多个标定装置(7)被配置为在所述多个拍摄部件(6)正式使用前对拍摄的图像进行标定。


9.根据权利要求8所述的铰接式工程机械全景环视系统，其特征在于，所述人机交互部件(9)被配置为接收操作人员将标定光标(X)移动至所述标定装置(7)中特征识别物上的标定指令，并将所述标定指令发送给所述图像处理部件(8)；所述图像处理部件(8)被配置为接收所述标定指令，并根据所述多个标定装置(7)的实际参数校正所述多个拍摄部件(6)拍摄图像中的畸变。


10.根据权利要求9所述的铰接式工程机械全景环视系统，其特征在于，所述多个标定装置(7)的实际参数包括：相邻两个所述标定装置(7)之间的距离和单个所述标定装置(7)中特征识别物的外廓尺寸，所述特征识别物被配置为供操作人员在所述人机交互部件(9)中通过所述标定光标(X)执行标定。


11.根据权利要求8所述的铰接式工程机械全景环视系统，其特征在于，所述多个标定装置(7)设在预设参考框(K)外，所述预设参考框(K)相对于所述驾驶室(12)或所述第一铰接结构段(1)的外廓形成的矩形区域整体向外偏移预设距离(L)；
结合所述人机交互部件(9)的显示，所述多个拍摄部件(6)的拍摄角度被配置为调整至能够拍摄到所述铰接式工程机械的车体至所述预设参考框(K)之间的范围。


12.根据权利要求8所述的铰接式工程机械全景环视系统，其特征在于，所述多个标定装置(7)设在预设参考框(K)外，所述预设参考框(K)相对于所述驾驶室(12)外廓所在的区域整体向外偏移预设距离(L)；
在所述第一铰接结构段(1)的长度小于单个拍摄部件(6)的有效识别范围时，所述多个标定装置(7)分别设在所述预设参考框(K)的四个角；或者
在所述第一铰接结构段(1)的长度不小于所述单个拍摄部件(6)的有效识别范围时，所述标定装置(7)分别设在所述预设参考框(K)的四个角以及左右两侧边位于相邻两个所述拍摄部件(6)之间的位置。


13.根据权利要求8所述的铰接式工程机械全景环视系统，其特征在于，所述标定装置(7)的高度可调。


14.根据权利要求8所述的铰接式工程机械全景环视系统，其特征在于，所述人机交互部件(9)被配置为接收外部输入的所述多个拍摄部件(6)中至少部分拍摄部件(6)的图像修订参数，从而使所述环视图像处于同一高度。


15.根据权利要求8所述的铰接式工程机械全景环视系统，其特征在于，所述标定装置(7)包括：
底座(71)；
第一支撑架(72)，所述第一支...

【专利技术属性】
技术研发人员：崔吉胜，武博文，庄坤，张天骄，薛力戈，
申请(专利权)人：徐工集团工程机械股份有限公司道路机械分公司，
类型：发明
国别省市：江苏;32