基于深度视觉融合的机器人导航方法、机器人及可读介质技术

本发明专利技术涉及机器人导航领域，尤其涉及基于深度视觉融合的机器人导航方法、机器人及可读介质。一种基于深度视觉融合的机器人导航方法，包括：获取机器人的当前时间点的针对周围环境检测得到的环境检测数据；基于对应当前时间点以及历史检测得到的所述环境检测数据得到针对每个目标物的移动轨迹，并基于所述移动轨迹获取每个目标物的轨迹预测路线；基于多个所述目标物的轨迹预测路线规划机器人的前进路线。实现快速的确定每个目标物的移动轨迹，进而根据每个目标物的移动轨迹规划机器人的移动路线，方便快捷，且符合复杂路况的机器人自动导航前进的场景。自动导航前进的场景。自动导航前进的场景。

【技术实现步骤摘要】
基于深度视觉融合的机器人导航方法、机器人及可读介质


[0001]本专利技术涉及机器人导航领域，尤其涉及基于深度视觉融合的机器人导航方法、机器人及可读介质。

技术介绍

[0002]近来随着各种传感器的进步以及控制技术的成熟，机器人不再局限于在工厂加工处理组件而逐渐从工厂迈进日常生活中，以协助人们处理日常生活中无聊的重复性工作，例如打扫或搬运。
[0003]机器人中相当重要的部分为自主导航，进而实现机器人自己行走而不需使用者控制，同时还需要确定自身的路线规划，并能够根据周围环境中的因素进行路线调整。但是目前的机器人自主导航的技术中，大都仅做路线规划以及紧急避障，而不能动态的根据路线上的情况进行自动校准路线。

技术实现思路

[0004]鉴于上述现有技术的不足之处，本专利技术的目的在于提供基于深度视觉融合的机器人导航方法、机器人及可读介质，使机器人能够根据路线上的实时情况进行灵活的线路规划。
[0005]为了达到上述目的，本专利技术采取了以下技术方案：
[0006]一方面，本专利技术提供一种基于深度视觉融合的机器人导航方法，包括：
[0007]获取机器人的当前时间点的针对周围环境检测得到的环境检测数据；所述环境检测数据包括具有多个目标物图像的摄像图像、以及每个目标物的雷达数据；
[0008]基于对应当前时间点以及历史检测得到的所述环境检测数据得到针对每个目标物的移动轨迹，并基于所述移动轨迹获取每个目标物的轨迹预测路线；
[0009]基于多个所述目标物的轨迹预测路线规划机器人的前进路线。
[0010]进一步的，获取每个目标物的轨迹预测路线包括：
[0011]通过第一识别模型对所述摄像图像识别得到多个目标物图像，并基于所述雷达数据得到每个目标图像的第一位置数据；
[0012]基于之前多个时间点的环境检测数据分别得到每个所述目标物图像的多个第二位置数据；并基于所述第一位置数据和多个第二位置数据构建移动轨迹；所述移动轨迹以平面二维图形式构建；
[0013]针对每个所述目标物图像的移动轨迹进行趋向性预测，预测得到下一时间点的第三位置数据，结合对应的移动轨迹得到所述轨迹预测路线。
[0014]进一步的，所述第一识别模型通过对初始化的神经网络模型进行训练得到；
[0015]所述训练过程包括：
[0016]获取第一训练集；所述第一训练集包括多个标注有多个物体的第一训练图像；
[0017]使用所述第一训练集对初始化的神经网络模型进行训练得到所述第一识别模型。
[0018]进一步的，所述环境检测数据还包括热力感知数据；
[0019]通过第一识别模型对所述摄像图像识别得到多个目标物图像后，还执行：
[0020]根据每个所述目标物图像的对应位置得到对应的热力图像，确定每个目标物的目标类型；所述目标类型包括动物、人、机器。
[0021]进一步的，基于多个所述目标物的轨迹预测路线规划机器人的前进路线具体包括：
[0022]基于当前前进速度获取下一时间节点可能到达的多个可能位置；
[0023]获取每个目标物的轨迹预测路线在下一时间点的第三位置数据；
[0024]基于多个第三位置数据分别与多个所述可能位置得到第四位置数据作为下一时间点的前进地点。
[0025]进一步的，得到所述第四位置数据的过程包括：
[0026]针对每个所述可能位置分别与多个所述第三位置数据计算得到距离数据，并以所述距离数据小于第一预定距离的第三位置数据作为第一风险位置数据；
[0027]将靠近前进方向上，以具有所述第一风险位置数据最少的所述可能位置作为所述第四位置数据。
[0028]进一步的，在针对每个所述可能位置分别与多个所述第三位置数据计算得到距离数据后，还执行：
[0029]以距离所述距离数据小于第二预定距离的第三位置数据作为第二风险位置数据；
[0030]具有所述第二风险位置数据的所述可能位置不能作为所述第四位置数据。
[0031]另一方面，本专利技术提供一种导航机器人，包括：
[0032]环境检测装置，用于获取机器人周围的环境检测数据；所述环境检测数据包括具有多个目标物图像的摄像图像、以及每个目标物的雷达数据；所述环境检测装置包括用于获取所述摄像图像的摄像头以及用于检测所述雷达数据的激光雷达；
[0033]处理器，与所述环境检测装置连接，用于基于对应当前时间点以及历史检测得到的所述环境检测数据得到针对每个目标物的轨迹预测路线；基于多个所述目标物的轨迹预测路线规划机器人的前进路线。
[0034]另一方面，本专利技术提供一种导航机器人，包括：
[0035]存储器，用于存储计算机程序；
[0036]处理器，用于在执行所述计算机程序时，实现前述任一所述的基于深度视觉融合的机器人导航方法。
[0037]另一方面，本专利技术提供一种计算机可读介质，存储有计算机程序，所述计算机程序在被处理器执行时实现前述任一所述的基于深度视觉融合的机器人导航方法。
[0038]相较于现有技术，本专利技术提供的基于深度视觉融合的机器人导航方法、机器人及可读介质，具有以下有益效果：
[0039]使用本专利技术提供的基于深度视觉融合的机器人导航方法，通过检测机器人当前时间点的环境检测数据，结合历史检测得到的环境数据即可得到针对每个目标物的移动轨迹，进而可以根据每个目标物的移动轨迹进行相应的轨迹预测，实现快速的确定每个目标物的移动轨迹，进而根据每个目标物的移动轨迹规划机器人的移动路线，方便快捷，且符合复杂路况的机器人自动导航前进的场景。
附图说明
[0040]图1是本专利技术提供的基于深度视觉融合的机器人导航方法的流程图。
[0041]图2是本专利技术提供的机器人的导航机器人的机构框图。
具体实施方式
[0042]为使本专利技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0043]本领域技术人员应当理解，前面的一般描述和下面的详细描述是本专利技术的示例性和说明性的具体实施例，不意图限制本专利技术。
[0044]本文中术语“包括”，“包含”或其任何其他变体旨在覆盖非排他性包括，使得包括步骤列表的过程或方法不仅包括那些步骤，而且可以包括未明确列出或此类过程或方法固有的其他步骤。同样，在没有更多限制的情况下，以“包含...一个”开头的一个或多个设备或子系统，元素或结构或组件也不会没有更多限制，排除存在其他设备或其他子系统或其他元素或其他结构或其他组件或其他设备或其他子系统或其他元素或其他结构或其他组件。在整个说明书中，短语“在一个实施例中”，“在另一个实施例中”的出现和类似的语言可以但不一定都指相同的实施例。
[0045]除非另有定义，否则本文中使用的所有技术和科学术语具有与本专利技术所属领域的普通技术人员通常所理解的相同含义。
...

【技术保护点】

【技术特征摘要】
1.一种基于深度视觉融合的机器人导航方法，其特征在于，包括：获取机器人的当前时间点的针对周围环境检测得到的环境检测数据；所述环境检测数据包括具有多个目标物图像的摄像图像、以及每个目标物的雷达数据；基于对应当前时间点以及历史检测得到的所述环境检测数据得到针对每个目标物的移动轨迹，并基于所述移动轨迹获取每个目标物的轨迹预测路线；基于多个所述目标物的轨迹预测路线规划机器人的前进路线。2.根据权利要求1所述的基于深度视觉融合的机器人导航方法，其特征在于，获取每个目标物的轨迹预测路线包括：通过第一识别模型对所述摄像图像识别得到多个目标物图像，并基于所述雷达数据得到每个目标图像的第一位置数据；基于之前多个时间点的环境检测数据分别得到每个所述目标物图像的多个第二位置数据；并基于所述第一位置数据和多个第二位置数据构建移动轨迹；所述移动轨迹以平面二维图形式构建；针对每个所述目标物图像的移动轨迹进行趋向性预测，预测得到下一时间点的第三位置数据，结合对应的移动轨迹得到所述轨迹预测路线。3.根据权利要求2所述的基于深度视觉融合的机器人导航方法，其特征在于，所述第一识别模型通过对初始化的神经网络模型进行训练得到；所述训练过程包括：获取第一训练集；所述第一训练集包括多个标注有多个物体的第一训练图像；使用所述第一训练集对初始化的神经网络模型进行训练得到所述第一识别模型。4.根据权利要求2所述的基于深度视觉融合的机器人导航方法，其特征在于，所述环境检测数据还包括热力感知数据；通过第一识别模型对所述摄像图像识别得到多个目标物图像后，还执行：根据每个所述目标物图像的对应位置得到对应的热力图像，确定每个目标物的目标类型；所述目标类型包括动物、人、机器。5.根据权利要求1所述的基于深度视觉融合的机器人导航方法，其特征在于，基于多个所述目标物的轨迹预测路线规划机器人的前进路线具体包括：基于当前前进速度获取...

【专利技术属性】
技术研发人员：徐新文，
申请(专利权)人：湖南朗国视觉识别研究院有限公司，
类型：发明
国别省市：