基于图像识别的目标对接方法、装置、设备及其介质制造方法及图纸

本申请适用于图像识别技术领域，提供了一种基于图像识别的目标对接方法、装置、设备及其介质，通过获取移动机器人向目标物移动过程中的环境图像，从环境图像中提取关于目标物的初始特征图，将初始特征图进行预设次数的交叉卷积融合，以提取目标物在环境图像中的多个候选位置参数以及每个候选位置参数对应的置信度，从而确定目标物在环境图像中的目标位置信息并根据目标位置信息控制移动机器人的运动状态，以使得移动机器人与目标物对接。本申请实施例中采用的交叉卷积融合能够进行不同的卷积残差处理以及将不同的卷积残差处理得到的结果进行融合，从而提高了识别精度和识别效率。率。率。

【技术实现步骤摘要】
基于图像识别的目标对接方法、装置、设备及其介质


[0001]本申请属于图像识别
，尤其涉及一种基于图像识别的目标对接方法、装置、设备及其介质。

技术介绍

[0002]随着现代科技的发展，各类小型移动机器人提高了社会的生产水平。例如，各类扫地机器人、拖地机器人、割草机器人等家用设备为人们的家居生活带来方便，各类运输机器人为工厂运输带来更高的效率。
[0003]移动机器人工作时，通常先驱动移动机器人到达指定的目的地后，机器人才开始执行一系列的相关作业操作，一般机器人通过识别目标物所在的目标位置来确定目的地。由于目标物通常较小，对目标物的检测识别往往涉及的计算量较大，进而导致对目标物的位置识别速度慢、效率低，并且识别精度不高。由于目标物的定位不准确，移动机器人容易发生偏航，导致无法精准到达目标物所在位置。

技术实现思路

[0004]本申请实施例提供了一种基于图像识别的目标对接方法、装置、设备及其介质，解决目前移动机器人识别目标物位置速度慢、效率低，并且识别精度不高的技术问题。
[0005]第一方面，本申请实施例提供了一种基于图像识别的目标对接方法，包括：
[0006]获取移动机器人向目标物移动过程中的环境图像；
[0007]从环境图像中提取关于目标物的初始特征图；
[0008]将初始特征图进行预设次数的交叉卷积融合，以提取目标物在环境图像中的多个候选位置参数以及每个候选位置参数对应的置信度，其中，交叉卷积融合包括对初始特征图进行不同的卷积残差处理以及将不同的卷积残差处理得到的结果进行融合；
[0009]根据多个候选位置参数和每个候选位置参数对应的置信度确定目标物在环境图像中的目标位置信息；
[0010]根据目标位置信息控制移动机器人的运动状态，以使得移动机器人与目标物对接。
[0011]第二方面，本申请实施例提供了一种基于图像识别的目标对接装置，包括：
[0012]获取模块，用于获取移动机器人向目标物移动过程中的环境图像；
[0013]处理模块，用于从环境图像中提取关于目标物的初始特征图；
[0014]处理模块，还用于将初始特征图进行预设次数的交叉卷积融合，以提取目标物在环境图像中的多个候选位置参数以及每个候选位置参数对应的置信度，其中，交叉卷积融合包括对初始特征图进行不同的卷积残差处理以及将不同的卷积残差处理得到的结果进行融合；
[0015]处理模块，还用于根据多个候选位置参数和每个候选位置参数对应的置信度确定目标物在环境图像中的目标位置信息；
[0016]处理模块，还用于根据目标位置信息控制移动机器人的运动状态，以使得移动机器人与目标物对接。
[0017]第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如第一方面的方法。
[0018]第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如第一方面的方法。
[0019]第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的方法。
[0020]可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
[0021]本申请实施例与现有技术相比存在的有益效果是：
[0022]本申请实施例提供了一种基于图像识别的目标对接方法及装置，通过获取移动机器人向目标物移动过程中的环境图像，从环境图像中提取关于目标物的初始特征图，将初始特征图进行预设次数的交叉卷积融合，以提取目标物在环境图像中的多个候选位置参数以及每个候选位置参数对应的置信度，从而确定目标物在环境图像中的目标位置信息并根据目标位置信息控制移动机器人的运动状态，以使得移动机器人与目标物对接。本申请实施例中采用的交叉卷积融合能够进行不同的卷积残差处理，不同的卷积残差处理可以提取环境图像中的高层语义信息和低层语义信息，并且将不同的卷积残差处理得到的结果进行融合，能够融合高层语义信息和低层语义信息，提高了对目标物位置信息的识别精度和识别效率，在此基础上，通过提取到的目标位置信息来控制移动机器人的运动状态，可以减少机器人的偏航问题，使得移动机器人精准对接目标物。
附图说明
[0023]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1为本申请实施例中移动机器人的示意图；
[0025]图2为本申请实施例提供的基于图像识别的目标对接方法的流程图；
[0026]图3为本申请实施例中提取初始特征图的一个示例图；
[0027]图4为本申请实施例中进行预设次数交叉卷积融合的示意图；
[0028]图5为本申请实施例中仅进行1次交叉卷积融合时步骤203的详细流程图；
[0029]图6为本申请实施例中第1次交叉卷积融合的网络结构示例图；
[0030]图7为本申请实施例中第i次交叉卷积融合以及候选位置信息提取步骤的处理流程图；
[0031]图8为本申请实施例第i次交叉卷积融合的网络结构示例图；
[0032]图9为本申请实施例中获取候选位置信息所用的多个卷积层以及相关函数的结构示例图；
[0033]图10为本申请实施例中sigmoid函数的示意图；
[0034]图11为本申请实施例中特征图1的示例图；
[0035]图12为本申请实施例中候选位置信息的示意图；
[0036]图13为本申请实施例中确定目标物在环境图像中的目标位置信息的一种实施方式的流程图；
[0037]图14为本申请实施例中控制移动机器人运动状态的流程图；
[0038]图15为本申请实施例中目标物在环境图像中的示意图之一；
[0039]图16为本申请实施例中目标物在环境图像中的示意图之二；
[0040]图17为本申请实施例中目标物在环境图像中的示意图之三；
[0041]图18为本申请实施例提供的一种控制单元102的内部模块示意图；
[0042]图19为本申请实施例提供的终端设备的示意图。
具体实施方式
[0043]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
[0044]图1为本申请实施例中移动机器人的示意图。该移动机器人100可以是各类扫地机器人、拖地机器人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像识别的目标对接方法，其特征在于，包括：获取移动机器人向目标物移动过程中的环境图像；从所述环境图像中提取关于所述目标物的初始特征图；将所述初始特征图进行预设次数的交叉卷积融合，以提取所述目标物在所述环境图像中的多个候选位置参数以及每个所述候选位置参数对应的置信度；其中，所述交叉卷积融合包括对所述初始特征图进行不同的卷积残差处理以及将不同的卷积残差处理得到的结果进行融合；根据所述多个候选位置参数和每个所述候选位置参数对应的置信度确定所述目标物在所述环境图像中的目标位置信息；根据所述目标位置信息控制所述移动机器人的运动状态，以使得所述移动机器人与所述目标物对接。2.权利要求1所述的方法，其特征在于，所述将所述初始特征图进行预设次数的交叉卷积融合，以提取所述目标物在所述环境图像中的多个候选位置参数以及每个所述候选位置参数对应的置信度，包括：将所述初始特征图作为第1次交叉卷积融合的输入特征，并进行卷积处理，得到卷积识别结果；将所述初始特征图经过残差处理，得到残差识别结果；将所述卷积识别结果和残差识别结果进行融合，得到融合结果；从融合结果中获取所述目标物在所述环境图像中的多个候选位置参数以及每个所述候选位置参数对应的置信度。3.权利要求2所述的方法，其特征在于，所述将所述初始特征图进行预设次数的交叉卷积融合，以提取所述目标物在所述环境图像中的多个候选位置参数以及每个所述候选位置参数对应的置信度还包括：将第i
‑
1次的融合结果作为第i次的输入特征，并进行卷积处理，得到第i次的卷积识别结果；将所述第i
‑
1次的融合结果经过残差处理，得到第i次的残差识别结果；将所述第i次的卷积识别结果和所述第i次的残差识别结果进行融合，得到第i次的融合结果；从所述第i次的融合结果中获取所述目标物在所述环境图像中的多个候选位置参数以及每个所述候选位置参数对应的置信度；其中，2≤i≤K，K为预设次数。4.如权利要求1所述的方法，其特征在于，所述融合结果包括所述环境图像对应的多个融合特征图，所述根据所述多个候选位置参数和每个所述候选位置参数对应的置信度确定所述目标物在所述环境图像中的目标位置信息，包括：提取所述多个融合特征图中相同位置对应的所述候选位置参数和所述候选位置参数对应的所述置信度，并组成关于所述目标物的候选参数集合，其中，一个所述相同位置对应一个所述候选参数集合；根据所述置信度与预设置信阈值的比对结果，从所述候选参数集合中筛选出目标候选参数集合；

【专利技术属性】
技术研发人员：王雷，陈熙，
申请(专利权)人：深圳市正浩创新科技股份有限公司，
类型：发明
国别省市：