工作车辆的显示系统以及生成方法技术方案

本发明专利技术提供一种工作车辆的显示系统以及生成方法。相机对工作车辆周围环境的图像进行拍摄，并输出表示图像的图像数据。形状传感器对周围环境的三维形状进行测定，并输出表示三维形状的3D形状数据。控制装置获取图像数据和3D形状数据。控制装置基于3D形状数据，生成三维投影模型。三维投影模型表现周围环境的三维形状。通过基于图像数据将图像投影在三维投影模型，生成表示车辆周围环境的显示图像的显示图像数据。

Display system and generation method of working vehicle

【技术实现步骤摘要】
【国外来华专利技术】工作车辆的显示系统以及生成方法
本专利技术涉及工作车辆的显示系统以及生成方法。
技术介绍
具有一种技术，由相机对工作车辆的周围进行拍摄，将从上方俯视工作车辆的周围的俯瞰图像在显示器进行显示。例如，在专利文献1所述的显示系统中，车载于工作车辆的多个相机获取工作车辆周围环境的图像数据。显示系统的控制装置通过将获取的图像映射至半球面形状的投影模型，生成俯瞰图像。现有技术文献专利文献专利文献1：国际公开公报WO2016/031009号
技术实现思路
专利技术所要解决的技术问题在上述显示系统中，投影模型的形状始终为半球面形状且恒定。因此，难以由俯瞰图像掌握工作车辆周围环境的实际形状。例如，投影模型的底面始终为平坦的平面。因此，即使在工作车辆周围的地表面具有倾斜或凹凸的情况下，将其拍摄后的图像也投影为平坦的投影面。因此，难以从俯瞰图像掌握倾斜或凹凸的地形。本专利技术的目的在于生成能够容易地掌握工作车辆周围环境的形状的显示图像。用于解决技术问题的技术方案一个方式的工作车辆的显示系统包括：相机、形状传感器、以及控制装置。相机拍摄工作车辆周围环境的图像，并输出表示图像的图像数据。形状传感器对周围环境的三维形状进行测定，输出表示三维形状的3D形状数据。控制装置获取图像数据和3D形状数据。控制装置基于3D形状数据，生成三维投影模型。三维投影模型表现周围环境的三维形状。通过基于图像数据将图像投影于三维投影模型，生成表示工作车辆周围环境的显示图像的显示图像数据。在本方式的工作车辆的显示系统中，利用形状传感器对工作车辆周围环境的三维形状进行测定，并基于测定的三维形状，生成三维投影模型。因此，三维投影模型具有与工作车辆周围环境的实际形状相同、或近似的形状。因此，通过将相机拍摄的图像投影于三维投影模型，能够生成容易掌握工作车辆周围环境的形状的显示图像。其它方式的生成方法是为了生成表示工作车辆周围环境的显示图像的显示图像数据而由控制装置执行的生成方法，包括如下的处理。第一处理是获取表示工作车辆周围环境的图像的图像数据。第二处理是获取表示周围环境的三维形状的3D形状数据。第三处理是基于3D形状数据，生成表现周围环境的三维形状的三维投影模型。第四处理是通过基于图像数据将图像投影于三维投影模型，生成显示图像数据。在本方式的生成方法中，利用形状传感器对工作车辆周围环境的三维形状进行测定，并基于测定的三维形状，生成三维投影模型。因此，三维投影模型具有与工作车辆周围环境的实际形状相同、或近似的形状。因此，通过将相机拍摄的图像投影于三维投影模型，能够生成容易掌握工作车辆周围环境的形状的显示图像。专利技术的效果根据本专利技术，能够生成容易掌握工作车辆周围环境的形状的显示图像。附图说明图1是表示实施方式的工作车辆的侧视图。图2是表示第一实施方式的显示系统的结构的图。图3是用于说明利用形状传感器获取的3D形状数据的图。图4是表示第一实施方式的显示图像的一个例子的图。图5是表示利用第二实施方式的显示系统的控制装置执行的处理的流程图。图6是用于说明点群密度的警告条件的图。图7是用于说明倾斜的警告条件的图。图8是用于说明起伏的警告条件的图。图9是表示第二实施方式的显示图像的一个例子的图。图10是表示由显示系统评价的地形的例子的图。图11是表示其它实施方式的工作车辆的侧视图。具体实施方式下面，参照附图，对实施方式的工作车辆的显示系统进行说明。本实施方式的显示系统为用于显示工作车辆及其周围环境的系统。图1是表示实施方式的工作车辆1的侧视图。在本实施方式中，工作车辆1为推土机。工作车辆1具有：车辆主体3、工作装置4、以及行驶装置5。车辆主体3具有发动机室6。在发动机室6内配置有发动机7、以及液压泵8等驱动装置。在车辆主体3的后部安装有松土装置9。行驶装置5是用于使工作车辆1行驶的装置。行驶装置5具有在工作车辆1的宽度方向的一方及另一方侧部配置的一对履带11。履带11为在工作车辆1的长度方向延伸的环状链条。通过驱动履带11，工作车辆1进行行驶。工作装置4配置在车辆主体3的前方。工作装置4应用在挖掘、运土、或整地等作业中。工作装置4具有：刮板12、倾斜油缸13、提升油缸14、以及臂部15。刮板12经由臂部15，支承在车辆主体3。刮板12在上下方向上可摆动地设置。倾斜缸13和提升缸14由从液压泵8排出的工作油驱动，改变刮板12的姿势。图2是表示第一实施方式的显示系统2的结构、以及利用显示系统2进行的处理的流程的方框图。如图2所示，显示系统2具有多个相机C1-C4。多个相机C1-C4安装在车辆主体3。多个相机C1-C4为鱼眼相机。多个相机C1-C4各自的视角为180度。但是，多个相机C1-C4各自的视角可以小于180度。或者多个相机C1-C4各自的视角也可以大于180度。多个相机C1-C4具有：前相机C1、第一侧相机C2、后相机C3、以及第二侧相机C4。如图1所示，前相机C1安装在车辆主体3的前部。如图1所示，详细地说，车辆主体3具有前相机支承部16。前相机支承部16从车辆主体3的前部向上方、且前方延伸。前相机C1安装在前相机支承部16。后相机C3安装在车辆主体3的后部。第一侧相机C2安装在车辆主体3的一侧部。第二侧相机C4安装在车辆主体3的另一侧部。在本实施方式中，第一侧相机C2安装在车辆主体3的左侧部，第二侧相机C4安装在车辆主体3的右侧部。但是，也可以，第一侧相机C2安装在车辆主体3的右侧部，第二侧相机C4安装在车辆主体3的左侧部。前相机C1对车辆主体3的前方进行拍摄，获取包括工作车辆1周围环境的图像。后相机C3对车辆主体3的后方进行拍摄，获取包括工作车辆1周围环境的图像。第一侧相机C2对车辆主体3的左侧进行拍摄，获取包括工作车辆1周围环境的图像。第二侧相机C4对车辆主体3的右侧进行拍摄，获取包括工作车辆1周围环境的图像。相机C1-C4输出表示获取的图像的图像数据。如图2所示，显示系统2包括：控制装置20、形状传感器21、姿势传感器22、位置传感器23、以及显示器24。形状传感器21对工作车辆1周围环境的三维形状进行测定，输出表示三维形状的3D形状数据D1。形状传感器21对工作车辆1周围环境上的多个点的位置进行测定。3D形状数据D1表示工作车辆1周围环境上的多个点的位置。工作车辆1的周围环境例如包括工作车辆1周围的地表面。即，3D形状数据D1包括工作车辆1周围的地表面上的多个点的位置。特别是3D形状数据D1包括工作车辆1的前方的地表面上的多个点的位置。详细地说，形状传感器21测定周围环境上的多个点的位置距工作车辆1的距离。多个点的位置根据多个点距工作车辆1的距离求出。在本实施方式中，形状传感器21为光探测和测距(LIDAR：LaserImagingDetectionandRanging，激光成像探测与测距)。形状传感本文档来自技高网...

【技术保护点】
1.一种工作车辆的显示系统，其特征在于，具有：/n相机，其对工作车辆的周围环境的图像进行拍摄，并输出表示所述图像的图像数据；/n形状传感器，其对所述周围环境的三维形状进行测定，并输出表示所述三维形状的3D形状数据；/n控制装置，其获取所述图像数据和所述3D形状数据；/n所述控制装置基于所述3D形状数据，生成表现所述周围环境的所述三维形状的三维投影模型，/n通过基于所述图像数据将所述图像投影于所述三维投影模型，生成表示所述工作车辆周围环境的显示图像的显示图像数据。/n

【技术特征摘要】
【国外来华专利技术】20180219 JP 2018-0272021.一种工作车辆的显示系统，其特征在于，具有：
相机，其对工作车辆的周围环境的图像进行拍摄，并输出表示所述图像的图像数据；
形状传感器，其对所述周围环境的三维形状进行测定，并输出表示所述三维形状的3D形状数据；
控制装置，其获取所述图像数据和所述3D形状数据；
所述控制装置基于所述3D形状数据，生成表现所述周围环境的所述三维形状的三维投影模型，
通过基于所述图像数据将所述图像投影于所述三维投影模型，生成表示所述工作车辆周围环境的显示图像的显示图像数据。


2.如权利要求1所述的工作车辆的显示系统，其特征在于，
所述形状传感器对所述周围环境上的多个点的位置进行测定，
所述3D形状数据表示多个所述点的位置。


3.如权利要求2所述的工作车辆的显示系统，其特征在于，
所述三维投影模型包括将多个所述点之中邻接的点连结的多边形。


4.如权利要求1所述的工作车辆的显示系统，其特征在于，
所述形状传感器针对所述周围环境的三维形状，进行周期性的测定，
所述控制装置随着所述周期性的测定，对所述3D形状数据进行更新，
且基于更新后的所述3D形状数据，生成所述三维投影模型。


5.如权利要求1所述的工作车辆的显示系统，其特征在于，
还具有姿势传感器，其检测所述工作车辆的姿势，输出表示所述姿势的姿势数据，
所述控制装置获取所述姿势数据，
将表示所述工作车辆的车辆图像合成于所述显示图像，
且根据所述姿势数据，使所述显示图像上的所述车辆图像的姿势改变。


6.如权利要求1所述的工作车辆的显示系统，其特征在于，
所述控制装置基于所述3D形状数据，对在所述周围环境中含有的多个区域进行评价，
在所述显示图像中，以对应于所述评价的方式，显示多个所述区域的各区域。


7.如权利要求6所述的工作车辆的显示系统，其特征在于，
所述控制装置获取多个所述区域各自的倾斜角，
基于所述倾斜角，对多个所述区域的各区域进行评价。


8.如权利要求7所述的工作车辆的显示系统，其特征在于，
所述控制装置将多个所述区域各自的倾斜角与规定的阈值进行比较，
将具有所述阈值以下的倾斜角的区域...

【专利技术属性】
技术研发人员：山下淳，岩滝宗一郎，藤井浩光，渊田正隆，A莫罗，浅间一，久礼一树，
申请(专利权)人：国立大学法人东京大学，株式会社小松制作所，
类型：发明
国别省市：日本;JP