危险区域实时识别方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例公开了危险区域实时识别方法、装置、计算机设备及存储介质。所述方法包括：获取来自双目摄像机的彩色图像以及深度图像；将所述彩色图像输入至部署在RK3399开发板上的识别模型内，且由与RK3399开发板连接的加速板进行危险区域检测，以得到检测结果；根据所述深度图像对所述检测结果进行处理，以得到处理结果；发送所述处理结果至机器人系统，以供机器人系统进行目标规避。通过实施本发明专利技术实施例的方法可实现提高移动机器人的危险区域识别能力。识别能力。识别能力。

【技术实现步骤摘要】
危险区域实时识别方法、装置、计算机设备及存储介质


[0001]本专利技术涉及机器人，更具体地说是指危险区域实时识别方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着机器人技术的逐渐成熟，机器人被广泛应用于生产线上的、工业服务上，室内移动客户服务以及危险作业等；尤其应用在室内移动客户服务时，需要在室内进行时刻移动，在室内，存在各种人员走动以及物品的摆放等，将存在多个对于机器人来说为移动障碍物和固定障碍物的物品，将严重的影响机器人的安全、高效的规避障碍物的移动。
[0003]现有移动机器人主要通过雷达方式进行移动避障，其从设定的起点到终点进行移动，需要预设定地图进行全局导航，移动过程中通过接收雷达反射的障碍物信息来规划局部移动路径，但是在移动过程中无法辨别障碍物的类型，也无法识别出障碍物的危险程度，只能通过雷达反射的信息来进行判断前方是否存在障碍物，而雷达的反射距离有限，对于某些危险区域移动机器人的反应时间较短，可能无法做出反应就到达危险区域前，存在一定的危险。
[0004]因此，有必要设计一种新的方法，实现提高移动机器人的危险区域识别能力。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的缺陷，提供危险区域实时识别方法、装置、计算机设备及存储介质。
[0006]为实现上述目的，本专利技术采用以下技术方案：危险区域实时识别方法，包括：
[0007]获取来自双目摄像机的彩色图像以及深度图像；
[0008]将所述彩色图像输入至部署在RK3399开发板上的识别模型内，且由与RK3399开发板连接的加速板进行危险区域检测，以得到检测结果；
[0009]根据所述深度图像对所述检测结果进行处理，以得到处理结果；
[0010]发送所述处理结果至机器人系统，以供机器人系统进行目标规避。
[0011]其进一步技术方案为：所述识别模型是通过带有危险区域位置以及危险区域目标框尺寸的标签的图像数据作为样本集在GTX3090显卡上训练卷积神经网络所得的。
[0012]其进一步技术方案为：所述识别模型的权重使用onnx模型转换脚本转换为onnx类型的模型后部署于RK3399开发板上。
[0013]其进一步技术方案为：所述检测结果包括危险区域目标框在所述彩色图像中的坐标位置和危险区域目标框尺寸。
[0014]其进一步技术方案为：所述根据所述深度图像对所述检测结果进行处理，以得到处理结果，包括：
[0015]将所述检测结果与所述深度图像进行编码处理，以得到危险区域目标框大小和深度距离，形成处理结果。
[0016]其进一步技术方案为：所述获取来自双目摄像机的彩色图像以及深度图像之后，还包括：
[0017]保存所述深度图像中的深度距离信息。
[0018]本专利技术还提供了危险区域实时识别装置，包括：
[0019]图像获取单元，用于获取来自双目摄像机的彩色图像以及深度图像；
[0020]检测单元，用于将所述彩色图像输入至部署在RK3399开发板上的识别模型内，且由与RK3399开发板连接的加速板进行危险区域检测，以得到检测结果；
[0021]处理单元，用于根据所述深度图像对所述检测结果进行处理，以得到处理结果；
[0022]发送单元，用于发送所述处理结果至机器人系统，以供机器人系统进行目标规避。
[0023]其进一步技术方案为：所述处理单元，用于将所述检测结果与所述深度图像进行编码处理，以得到危险区域目标框大小和深度距离，形成处理结果。
[0024]本专利技术还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
[0025]本专利技术还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
[0026]本专利技术与现有技术相比的有益效果是：本专利技术通过获取来自双目摄像机的彩色图像以及深度图像，并将彩色图像输入至部署在RK3399开发板上的识别模型内，且由与RK3399开发板连接的加速板进行危险区域检测，并将该检测结果与深度图像进行编码后，输入至机器人系统，以供机器人系统进行目标规避，采用高算力的显卡训练检测模型，可根据数据集类型调整检测的危险区域类别，实现提高移动机器人的危险区域识别能力。
[0027]下面结合附图和具体实施例对本专利技术作进一步描述。
附图说明
[0028]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0029]图1为本专利技术实施例提供的危险区域实时识别方法的应用场景示意图；
[0030]图2为本专利技术实施例提供的危险区域实时识别方法的流程示意图；
[0031]图3为本专利技术另一实施例提供的危险区域实时识别方法的流程示意图；
[0032]图4为本专利技术实施例提供的危险区域实时识别装置的示意性框图；
[0033]图5为本专利技术另一实施例提供的危险区域实时识别装置的示意性框图；
[0034]图6为本专利技术实施例提供的计算机设备的示意性框图。
具体实施方式
[0035]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0036]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示
所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0037]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0038]还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0039]请参阅图1和图2，图1为本专利技术实施例提供的危险区域实时识别方法的应用场景示意图。图2为本专利技术实施例提供的危险区域实时识别方法的示意性流程图。该危险区域实时识别方法应用于服务器中。该服务器包括RK3399开发板、加速板、工业控制模块以及GTX3090显卡，该服务器与机器人系统以及双目摄像机进行数据交互，通过获取来自双目摄像机的彩色图像以及深度图像，彩色图像输入至部署在RK3399开发板上的识别模型内，并推送至加速板进行危险区域检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.危险区域实时识别方法，其特征在于，包括：获取来自双目摄像机的彩色图像以及深度图像；将所述彩色图像输入至部署在RK3399开发板上的识别模型内，且由与RK3399开发板连接的加速板进行危险区域检测，以得到检测结果；根据所述深度图像对所述检测结果进行处理，以得到处理结果；发送所述处理结果至机器人系统，以供机器人系统进行目标规避。2.根据权利要求1所述的危险区域实时识别方法，其特征在于，所述识别模型是通过带有危险区域位置以及危险区域目标框尺寸的标签的图像数据作为样本集在GTX3090显卡上训练卷积神经网络所得的。3.根据权利要求2所述的危险区域实时识别方法，其特征在于，所述识别模型的权重使用onnx模型转换脚本转换为onnx类型的模型后部署于RK3399开发板上。4.根据权利要求1所述的危险区域实时识别方法，其特征在于，所述检测结果包括危险区域目标框在所述彩色图像中的坐标位置和危险区域目标框尺寸。5.根据权利要求1所述的危险区域实时识别方法，其特征在于，所述根据所述深度图像对所述检测结果进行处理，以得到处理结果，包括：将所述检测结果与所述深度图像进行编码处理，以得到危险区域目标框大小和深度距离，形成处理结果...

【专利技术属性】
技术研发人员：李伟强，施健，王一科，贾林，涂静一，张静，
申请(专利权)人：深圳中智永浩机器人有限公司，
类型：发明
国别省市：