一种基于深度学习系统的农用机械避障方法技术方案

本发明专利技术的基于深度学习的农机自动避障方法，涉及农机自动化领域，通过对图像信息的收集，以及深度学习系统对收集到的图像进行识别，然后将得到的结果匹配对应的设定好的输出：根据障碍物动静属性进行进一步的动作，如果是动态障碍物，鸣笛提醒或者减速至驻车等待；如果一定时间内障碍物不能解除，则按静态障碍物的方法进行处理；如果静态障碍物，进行局部的避障路径规划得到农机避障的最优路径。如果未能识别依然能通过它强大的在线学习系统做出合适的处理。本发明专利技术的利用深度学习系统避障方法让农机在未知劳作环境中做出智能决策，提高工作效率并增大了避障的容错率。

A method of obstacle avoidance for agricultural machinery based on deep learning system

The invention is based on deep learning of agricultural automatic obstacle avoidance method, relates to the field of agricultural automation, based on image information collection, image and deep learning system to identify, and then obtained results, corresponding to the preset output: further action according to the obstacle of static and dynamic properties, if it is a dynamic obstacle and reminded or slow down to the parking for a certain period of time; if the obstacle is not relieved, is processed by the method of static obstacles; if static obstacles, local obstacle avoidance and path planning to get the optimal path of agricultural obstacle avoidance. If you don't recognize it, you can still make the right process through its powerful online learning system. The deep learning system obstacle avoidance method enables the agricultural machinery to make intelligent decision in the unknown labor environment, improves the work efficiency and increases the fault tolerance rate of the obstacle avoidance.

【技术实现步骤摘要】
一种基于深度学习系统的农用机械避障方法
本专利技术涉及农机自动化领域，尤其涉及一种基于深度学习系统的农用机械避障方法。
技术介绍
随着科技的发展，农业机械越来越趋向于智能化，农业机械自动导航技术是精细农业的关键技术。实际生产生活中农机所处的自然环境有很多未知的问题需要处理，农机在作业时可能会遇到电线杆、人以及其他机械等障碍物或接近地头，此时农机需要自动做出避障决策。由此才能做到对人和农机的安全保护，同时又能最大的发挥自主导航农业车辆的生产效率。如何实现农机自主避障，是智能农机安全的实现自主导航作业的一个关键问题。近年来，深度学习在学术界发展迅猛，尤其在模式识别方面表现不俗。在很多传统的识别任务中，识别率都获得了显著的提高。许多其他领域也尝试用深度学习来解决一些本领域的问题。深度学习应用在避障领域的应用已经有了一些研究，尤其是与强化学习的结合，展现了其独特的优势。深度强化学习是深度学习与强化学习相结合的一个领域，它是能够实现从感知到动作的端对端学习的一种全新的方法。简单的说，就是和人类一样，输入感知信息比如视觉，然后通过深度神经网络，直接输出动作。在中国专利CN201710156019.9(用于农机无人驾驶的避障路径规划及其控制方法)中公开了一种农机无人驾驶的避障路径规划及其控制方法，通过传感器获取农机环境信息做出避障决策，使用改进的最短切线法计算出一条理论避障路径，利用Bezier曲线的路径优化方法优化理论避障路径得到实际避障路径。这种避障方法只能做到探测是否存在障碍物以及进行单纯的绕行避障，并且只能做到针对局部某一静态障碍物进行规避。这种避障方法规避障碍的方式过于单一，智能程度较浅。
技术实现思路
本申请提出一种能够实现全局避障，提高避障效率和准确度，大大提高农机的自动化和智能化的基于深度学习系统的农用机械避障方法。本专利技术的基于深度学习系统的农用机械避障方法：包括以下步骤：a)、首先运用深度学习系统进行图像处理以此实现图像识别：将农机携带的摄像机所拍摄到的图像信息逐层提取特征，将提取到的图像特征与数据库内的障碍物图像数据进行比较，筛选出与采集到的图像最匹配的障碍物图像数据，由此判断出农机所遇到的障碍物信息；若能判断出为障碍物，进一步判断障碍物动静属性；若不能判是否为断障碍物，直接按障碍物处理，再进一步判断其动静属性：(b)、再判断障碍物动静属性及输出对应的处理方式：b-1、如果是动态障碍物，鸣笛提醒或者减速至驻车等待；如果一定时间内障碍物不能解除，则按静态障碍物的方法进行处理；b-2、如果静态障碍物，进行局部的避障路径规划；局部的避障路径规划步骤如下：(1)、根据所需精度以及农机的最宽宽度，划分限制搜索区域，并在区域内，沿着农机前进方向建立局部栅格地图；(2)、根据传感信息，确定障碍物大小及在局部栅格地图中的位置；(3)、根据农机宽幅，速度，最小转弯半径信息，确定与障碍物的最小安全距离，在农机原运动轨迹上，最大障碍接近点，确定为局部避障路径起始点A；以农机原运动轨迹上，最小障碍接近点，确定为局部避障路径终止点B；(4)、根据栅格划分图形用A*与Dijkstra算法相结合，搜索局部规划栅格，确定A点到B点路径；(5)、将最短距离集合的点连接形成最优路径；(6)、进一步采用最短切线法对得到的最优路径进行拟合，从而得到更加合理的实际路径。为更好的实施本专利技术创造：运用深度学习系统进行图像处理以此实现图像识别，需(1)、大量采集农田场景常见障碍物建立农田场景图像库；(2)、参照反向传播算法训练卷积神经网络；(3)、进行图像识别农机携带的摄像机所拍摄到的图像信息通过卷积神经网络中的卷积层与池化层组成的卷积组，逐层提取特征，最终通过若干个全连接层完成分类。本专利技术的基于深度学习的农机自动避障方法，通过对图像信息的收集，以及深度学习系统对收集到的图像进行识别，然后将得到的结果匹配对应的设定好的输出，如果未能识别依然能通过它强大的在线学习系统做出合适的处理。本专利技术的利用深度学习系统避障方法让农机在未知劳作环境中做出智能决策，提高工作效率并增大了避障的容错率。附图说明图1为本专利技术具体避障方法-最短切线法的附图；图2为本专利技术局部的避障路径规划时划分限制搜索区域的示意图；图3为本专利技术方案的流程图；图4为本专利技术农机遇到障碍物时避障方法示意图。根据下文结合流程图对本专利技术具体实施的详细描述，本领域技术人员将会更加明了本专利技术的上述及其它目的、优点和特征。具体实施方式本方法的应用对象为农用机械，工作地点在农田。结合图3，本专利技术的基于深度学习系统的农用机械避障算法规划方法，包括以下步骤：1、首先运用深度学习系统建立的数据库进行图像处理以此实现图像识别：将农机携带的摄像机所拍摄到的图像信息，通过卷积神经网络中的卷积层与池化层组成的卷积组，逐层提取特征，最终通过若干个全连接层完成分类。该分类是将每帧图像中的相同属性的图像特征归集到一起，如每个图像中的天空、大地、农作物、障碍物等。结合图4，将提取到的图像特征与数据库内的障碍物图像数据进行比较，筛选出与采集到的图像最匹配的图像数据。若能判断出为障碍物，进一步判断障碍物动静属性；若不能判断出是否为障碍物，直接按障碍物处理，再进一步判断其动静属性。如先采用激光定位5到10秒，看障碍物是否移动；移动的话，按动态障碍物处理；不移动的话，按静态障碍物处理。2、其次，判断障碍物动静属性及输出对应的处理方式：(1)如果是动态障碍物，鸣笛提醒或者减速至驻车等待；如果障碍物消除，则按原定路线前行；如果一定时间内障碍物不能解除，则按静态障碍物的方法进行处理；(2)如果静态障碍物，则选用改进优化后的A*及Dijkstra算法相结合，来实现局部的避障路径规划。结合图2，局部的避障路径规划步骤如下：1、发现障碍物时，根据所需精度以及农机的最宽宽度，按特定距离划分限制搜索区域，并在区域内，沿着农机前进方向建立局部栅格地图。2、根据传感信息，确定障碍物大小及在局部栅格地图中的位置。3、根据农机宽幅，速度，最小转弯半径信息，确定与障碍物最小安全距离，在原农机运动轨迹上，最大障碍接近点，确定为局部避障路径起始点A；以农机原运动轨迹上，最小障碍接近点，确定为局部避障终止点B。4、根据栅格划分图形用A*与Dijkstra算法相结合，搜索局部规划栅格，确定A点到B点路径。5、将最短距离集合的点连接形成最优路径。6、见图1，采用具体的避障方法最短切线法对得到的最优路径进行拟合，从而得到更加合理的路径。关于A*与Dijkstra算法相结合，详细可参照申请号为201710966489.1的一种基于Dijkstra算法的农用机械最短路径规划的方法。运用深度学习系统建立数据库的方法过程如下：1-1、大量采集农田场景常见障碍物建立农田场景图像库1-2、参照反向传播算法训练卷积神经网络由于农田环境非常复杂，道路等可行区域与障碍物的表征信息(如颜色，文理，形状等)等复杂多变，基于特定障碍物模型特定环境的检测方法对于一些实时未知障碍物检测不适用，因此本申请提出一种基于深度学习、用于检测非特定环境下，针对非特定属性的基于表征信息的障碍物检测方法。本算法提出使用CNN与DBN相结合的深度学习模型，来检测单幅图像中的障碍物。首先使用CNN提取侯选块的本文档来自技高网...

【技术保护点】
一种基于深度学习系统的农用机械避障方法：其特征是：包括以下步骤：a)、首先运用深度学习系统进行图像处理以此实现图像识别：将农机携带的摄像机所拍摄到的图像信息逐层提取特征，将提取到的图像特征与数据库内的障碍物图像数据进行比较，筛选出与采集到的图像最匹配的障碍物图像数据，由此判断出农机所遇到的障碍物信息；若能判断出为障碍物，进一步判断障碍物动静属性；若不能判断出是否为障碍物，直接按障碍物处理，再进一步判断其动静属性；b)、再判断障碍物动静属性及输出对应的处理方式：b‑1、如果是动态障碍物，鸣笛提醒或者减速至驻车等待；如果一定时间内障碍物不能解除，则按静态障碍物的方法进行处理；b‑2、如果静态障碍物，进行局部的避障路径规划；局部的避障路径规划步骤如下：(1)、根据所需精度以及农机的最宽宽度，划分限制搜索区域，并在区域内，沿着农机前进方向建立局部栅格地图；(2)、根据传感信息，确定障碍物大小及在局部栅格地图中的位置；(3)、根据农机宽幅，速度，最小转弯半径信息，确定与障碍物的最小安全距离，在农机原运动轨迹上，最大障碍接近点，确定为局部避障路径起始点A；以农机原运动轨迹上，最小障碍接近点，确定为局部避障路径终止点B；(4)、根据栅格划分图形用A*与Dijkstra算法相结合，搜索局部规划栅格，确定A点到B点路径；(5)、将最短距离集合的点连接形成最优路径；(6)、进一步采用最短切线法对得到的最优路径进行拟合，从而得到更加合理的路径。...

【技术特征摘要】
1.一种基于深度学习系统的农用机械避障方法：其特征是：包括以下步骤：a)、首先运用深度学习系统进行图像处理以此实现图像识别：将农机携带的摄像机所拍摄到的图像信息逐层提取特征，将提取到的图像特征与数据库内的障碍物图像数据进行比较，筛选出与采集到的图像最匹配的障碍物图像数据，由此判断出农机所遇到的障碍物信息；若能判断出为障碍物，进一步判断障碍物动静属性；若不能判断出是否为障碍物，直接按障碍物处理，再进一步判断其动静属性；b)、再判断障碍物动静属性及输出对应的处理方式：b-1、如果是动态障碍物，鸣笛提醒或者减速至驻车等待；如果一定时间内障碍物不能解除，则按静态障碍物的方法进行处理；b-2、如果静态障碍物，进行局部的避障路径规划；局部的避障路径规划步骤如下：(1)、根据所需精度以及农机的最宽宽度，划分限制搜索区域，并在区域内，沿着农机前进方向建立局部栅格地图；(2)、根据传感信息，确定障碍物大小及在局...

【专利技术属性】
技术研发人员：万忠政，李凌光，闻涛，
申请(专利权)人：洛阳中科龙网创新科技有限公司，
类型：发明
国别省市：河南,41