目标跟随方法及机器人技术

本申请涉及计算机视觉技术领域，提供一种目标跟随方法及机器人，该方法包括：获取跟随目标在初始帧图像中的初始深度信息；获取当前帧图像中人体目标与跟随目标之间的目标相似度；基于初始深度信息和目标相似度，在当前帧图像的人体目标中确定跟随目标；基于当前帧图像中跟随目标的当前位置信息和当前深度信息，输出目标控制指令，目标控制指令用于控制机器人跟随该跟随目标；其中，初始帧图像包括跟随目标，初始帧图像和当前帧图像为包括深度信息的图像。该方法通过融合目标相似度和初始深度信息，在当前帧图像中准确地确定出跟随目标，保证机器人对跟随目标进行跟随的正确性和稳定性。定性。定性。

【技术实现步骤摘要】
目标跟随方法及机器人


[0001]本申请涉及计算机视觉
，尤其涉及目标跟随方法及机器人。

技术介绍

[0002]随着科技的发展，机器人逐渐应用于人们日常生活的不同领域，机器人的人体识别与人体跟随功能可以很好的满足人机互动需求，为人们的生产、生活提供多种多样的服务，例如，家庭陪伴、养老照护、医院导诊、餐厅送餐及展厅导览等服务。
[0003]目前，控制机器人对目标进行跟随，存在应用场景受限、鲁棒性差等缺陷，机器人的跟随过程容易被打断或出现误跟随现象。

技术实现思路

[0004]本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种目标跟随方法，以保证机器人跟随的正确性和稳定性。
[0005]根据本申请第一方面实施例的目标跟随方法，包括：
[0006]获取跟随目标在初始帧图像中的初始深度信息；
[0007]获取当前帧图像中人体目标与所述跟随目标之间的目标相似度；
[0008]基于所述初始深度信息和所述目标相似度，在所述当前帧图像的人体目标中确定所述跟随目标；
[0009]基于所述当前帧图像中所述跟随目标的当前位置信息和当前深度信息，输出目标控制指令，所述目标控制指令用于控制机器人跟随所述跟随目标；
[0010]其中，所述初始帧图像包括所述跟随目标，所述初始帧图像和所述当前帧图像为包括深度信息的图像。
[0011]根据本申请实施例的目标跟随方法，通过融合目标相似度和初始深度信息，在当前帧图像中准确地确定出跟随目标，在出现目标丢失、跟随被打断及误跟踪现象时，能够通过跟随目标的初始深度信息进行纠正，保证机器人对跟随目标进行跟随的正确性和稳定性。
[0012]根据本申请的一个实施例，所述基于所述初始深度信息和所述目标相似度，在所述当前帧图像的人体目标中确定所述跟随目标，包括：
[0013]确定所述当前帧图像中所述目标相似度大于目标阈值的M个第一人体目标，M为正整数；
[0014]在M等于1的情况下，确定所述第一人体目标为所述跟随目标；
[0015]在M大于1的情况下，获取所述M个第一人体目标的深度信息，基于所述M个第一人体目标的深度信息和所述初始深度信息，从所述M个第一人体目标中确定所述跟随目标。
[0016]根据本申请的一个实施例，在所述基于所述初始深度信息从所述M个第一人体目标中确定所述跟随目标之后，所述方法还包括：
[0017]基于所述M个第一人体目标与所述跟随目标之间的所述目标相似度，更新所述目
标阈值。
[0018]根据本申请的一个实施例，在所述获取当前帧图像中人体目标与所述跟随目标之间的目标相似度之后，所述方法还包括：
[0019]在所述目标相似度小于目标阈值的情况下，基于所述跟随目标的人脸特征信息在所述当前帧图像中确定所述跟随目标；
[0020]其中，所述人脸特征信息为从所述初始帧图像中确定出所述跟随目标后获取的。
[0021]根据本申请的一个实施例，所述初始帧图像中的所述跟随目标通过如下步骤确定：
[0022]对所述初始帧图像进行人体目标检测，确定所述初始帧图像中的人体目标区域；
[0023]基于所述人体目标区域的关键点信息，从所述人体目标区域中确定第二人体目标；
[0024]基于所述第二人体目标的外观特征，确定所述跟随目标。
[0025]根据本申请的一个实施例，所述获取当前帧图像中人体目标与所述跟随目标之间的目标相似度，包括：
[0026]获取目标图像序列中所述跟随目标的目标位置信息和目标外观特征，所述目标图像序列包括所述初始帧图像至所述当前帧图像的前一帧图像；
[0027]获取所述当前帧图像中人体目标的人体位置信息和人体外观特征；
[0028]基于所述目标位置信息、所述目标外观特征、所述人体位置信息和所述人体外观特征，确定所述目标相似度。
[0029]根据本申请的一个实施例，所述获取目标图像序列中所述跟随目标的目标位置信息和目标外观特征，包括：
[0030]将所述前一帧图像中所述跟随目标的位置信息作为目标位置信息；
[0031]基于所述目标图像序列中所述跟随目标的外观特征，确定目标外观特征。
[0032]根据本申请的一个实施例，所述基于所述目标图像序列中所述跟随目标的外观特征，确定目标外观特征，包括：
[0033]将所述目标图像序列中为目标姿态的所述跟随目标的外观特征作为目标姿态特征；
[0034]将所述当前帧图像的前K帧图像中为非目标姿态的所述跟随目标的外观特征作为非目标姿态特征，K为正整数；
[0035]基于所述目标姿态特征和所述非目标姿态特征，确定所述目标外观特征。
[0036]根据本申请第二方面实施例的目标跟随装置，包括：
[0037]第一获取模块，用于获取跟随目标在初始帧图像中的初始深度信息；
[0038]第二获取模块，用于获取当前帧图像中人体目标与所述跟随目标之间的目标相似度；
[0039]第一处理模块，用于基于所述初始深度信息和所述目标相似度，在所述当前帧图像的人体目标中确定所述跟随目标；
[0040]第二处理模块，用于基于所述当前帧图像中所述跟随目标的当前位置信息和当前深度信息，输出目标控制指令，所述目标控制指令用于控制机器人跟随所述跟随目标；
[0041]其中，所述初始帧图像包括所述跟随目标，所述初始帧图像和所述当前帧图像为
包括深度信息的图像。
[0042]根据本申请第三方面实施例的机器人，包括：
[0043]机器人本体，所述机器人本体设有如上述的目标跟随装置。
[0044]根据本申请第四方面实施例的电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述目标跟随方法的步骤。
[0045]根据本申请第五方面实施例的非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述目标跟随方法的步骤。
[0046]根据本申请第六方面实施例的计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述目标跟随方法的步骤。
[0047]本申请实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：
[0048]通过融合目标相似度和初始深度信息，在当前帧图像中准确地确定出跟随目标，在出现目标丢失、跟随被打断及误跟踪现象时，能够通过跟随目标的初始深度信息进行纠正，保证机器人对跟随目标进行跟随的正确性和稳定性。
[0049]进一步的，在机器人的跟随过程中，也可以通过人脸识别对跟随目标进行识别确认，一定程度上纠正错误跟踪的情况，保证机器人对跟随目标进行跟随的正确性和稳定性。
[0050]更进一步的，通过将当前帧图像之前所有的图像帧对应的目标图像序列的位置信息和外观特征进行提取，有效更新所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标跟随方法，其特征在于，包括：获取跟随目标在初始帧图像中的初始深度信息；获取当前帧图像中人体目标与所述跟随目标之间的目标相似度；基于所述初始深度信息和所述目标相似度，在所述当前帧图像的人体目标中确定所述跟随目标；基于所述当前帧图像中所述跟随目标的当前位置信息和当前深度信息，输出目标控制指令，所述目标控制指令用于控制机器人跟随所述跟随目标；其中，所述初始帧图像包括所述跟随目标，所述初始帧图像和所述当前帧图像为包括深度信息的图像。2.根据权利要求1所述的目标跟随方法，其特征在于，所述基于所述初始深度信息和所述目标相似度，在所述当前帧图像的人体目标中确定所述跟随目标，包括：确定所述当前帧图像中所述目标相似度大于目标阈值的M个第一人体目标，M为正整数；在M等于1的情况下，确定所述第一人体目标为所述跟随目标；在M大于1的情况下，获取所述M个第一人体目标的深度信息，基于所述M个第一人体目标的深度信息和所述初始深度信息，从所述M个第一人体目标中确定所述跟随目标。3.根据权利要求2所述的目标跟随方法，其特征在于，在所述基于所述初始深度信息从所述M个第一人体目标中确定所述跟随目标之后，所述方法还包括：基于所述M个第一人体目标与所述跟随目标之间的所述目标相似度，更新所述目标阈值。4.根据权利要求1所述的目标跟随方法，其特征在于，在所述获取当前帧图像中人体目标与所述跟随目标之间的目标相似度之后，所述方法还包括：在所述目标相似度小于目标阈值的情况下，基于所述跟随目标的人脸特征信息在所述当前帧图像中确定所述跟随目标；其中，所述人脸特征信息为从所述初始帧图像中确定出所述跟随目标后获取的。5.根据权利要求1所述的目标跟随方法，其特征在于，所述初始帧图像中的所述跟随目标通过如下步骤确定：对所述初始帧图像进行人体目标检测，确定所述初始帧图像中的人体目标区域；基于所述人体目标区域的关键点信息，从所述人体目标区域中确定第二人体目标；基于所述第二人体目标的外观特征，确定所述跟随目标。6.根据...

【专利技术属性】
技术研发人员：刘三军，梅江元，蒋思凡，区志财，唐剑，
申请(专利权)人：美的集团股份有限公司，
类型：发明
国别省市：