目标跟随方法、装置及存储介质制造方法及图纸

本申请涉及一种目标跟随方法、装置及存储介质，应用于移动机器人，移动机器人包括球机，所述方法包括：对球机采集的视频帧进行目标检测，确定对目标对象的跟踪是否成功；如果跟踪成功，更新移动机器人的系统状态，并确定目标对象在视频帧中的第一位置；如果移动机器人的系统状态为跟踪正常，根据第一位置，控制球机转动和/或变焦，以使目标对象位于球机的监控范围内；根据预设周期，获取第二位置；根据获取的移动机器人所处的环境的点云数据、第二位置及移动机器人的当前位置，控制移动机器人调整自身位姿，以使移动机器人跟随目标对象移动。本申请的实施例能够将移动机器人对目标对象的跟踪与自身的运动控制解耦合，从而提高可靠性。性。性。

【技术实现步骤摘要】
目标跟随方法、装置及存储介质


[0001]本申请涉及移动机器人领域，尤其涉及一种目标跟随方法、装置及存储介质。

技术介绍

[0002]移动机器人可应用于老幼看护、购物车/行李车自动跟随、辅助运输等目标跟随场景。相关技术中，在目标跟随场景下，移动机器人不仅要通过运动控制调整自身位姿，以使目标对象始终处于监控范围内，还要在运动控制过程中，感知周围环境，规划运动路径，以避开或绕行障碍物。
[0003]因此，在进行目标跟随时，移动机器人的运动控制需同时满足跟踪及避障这两个要求，即移动机器人对目标对象的跟踪与自身的运动控制耦合在一起。该方式会导致移动机器人难以快速响应目标对象的位置更新，从而容易跟丢目标对象或碰撞障碍物，可靠性较差。

技术实现思路

[0004]有鉴于此，提出了一种目标跟随方法、装置及存储介质。
[0005]第一方面，本申请的实施例提供了一种目标跟随方法，应用于移动机器人，所述移动机器人包括球机，所述方法包括：对所述球机采集的视频帧进行目标检测，确定对目标对象的跟踪是否成功；如果跟踪成功，更新所述移动机器人的系统状态，并确定所述目标对象在所述视频帧中的第一位置；如果所述移动机器人的系统状态为跟踪正常，根据所述第一位置，控制所述球机转动和/或变焦，以使所述目标对象位于所述球机的监控范围内；根据预设周期，获取第二位置，所述第二位置包括所述目标对象的第一位置及所述球机中的云台的第三位置；根据获取的所述移动机器人所处的环境的点云数据、所述第二位置及所述移动机器人的当前位置，控制所述移动机器人调整自身位姿，以使所述移动机器人跟随所述目标对象移动。
[0006]本申请的实施例，能够对球机采集的视频帧进行目标检测，确定对目标对象的跟踪是否成功；如果跟踪成功，更新移动机器人的系统状态，并确定目标对象在视频帧中的第一位置；如果移动机器人的系统状态为跟踪正常，根据第一位置，控制球机转动和/或变焦，以使目标对象位于球机的监控范围内；根据预设周期，获取第二位置(包括目标对象的第一位置及球机中的云台的第三位置)，并根据获取的移动机器人所处的环境的点云数据、第二位置及移动机器人的当前位置，控制移动机器人调整自身位姿，以使移动机器人跟随目标对象移动，从而能够通过球机的转动/或变焦，实现对目标对象的跟踪，并能够根据周期获取的第二位置，控制移动机器人调整自身位姿，实现移动机器人跟随目标对象移动。
[0007]通过这种方式，不仅使得移动机器人对目标对象的跟踪与自身的运动控制解耦合，在跟踪时快速响应目标对象的位置更新，而且能够降低运动控制的频率，实现移动机器人的平滑移动，从而降低跟丢目标对象及碰撞障碍物的概率，提高可靠性，同时还能够提高移动机器人跟随运动的平滑度。
[0008]根据第一方面，在所述目标跟随方法的第一种可能的实现方式中，所述根据所述第一位置，控制所述球机转动和/或变焦，包括：根据所述第一位置，确定针对所述球机的第一控制信息；根据所述第一控制信息，控制所述球机转动和/或变焦。
[0009]本申请的实施例中，根据第一位置确定针对所述球机的第一控制信息，并根据第一控制信息，控制球机转动和/或变焦，简单快速且准确度高，从而能够提高处理效率。
[0010]根据第一方面的第一种可能的实现方式，在所述目标跟踪方法的第二种可能的实现方式中，所述根据获取的所述移动机器人所处的环境的点云数据、所述第二位置及所述移动机器人的当前位置，控制所述移动机器人调整自身位姿，包括：根据获取的所述移动机器人所处的环境的点云数据，建立所述环境的代价地图；根据所述第二位置，确定所述目标对象在所述移动机器人坐标系中的第一目标位置；根据所述代价地图、所述第一目标位置及所述移动机器人的当前位置，进行路径规划，确定针对所述移动机器人的第二控制信息；根据所述第二控制信息，控制所述移动机器人调整自身位姿。
[0011]本申请的实施例中，能够获取的移动机器人所处的环境的点云数据，建立环境的代价地图，并根据第二位置，确定目标对象在移动机器人坐标系中的第一目标位置，然后根据代价地图、第一目标位置及移动机器人的当前位置，进行路径规划，确定针对移动机器人的第二控制信息，并根据第二控制信息，控制移动机器人调整自身位姿，使得移动机器人能够跟随目标对象移动。由于第二位置为周期获取，而根据第二位置确定的第一目标位置作为路径规划时的终点，因此，上述路径规划也是按预设周期进行，进而对移动机器人的运动控制也是按预设周期进行。通过这种方式，能够以较低的频率进行路径规划，以及以较低的频率对移动机器人进行运动控制，从而实现移动机器人的平滑移动。
[0012]根据第一方面的第二种可能的实现方式，在所述目标跟踪方法的第三种可能的实现方式中，所述方法包括：根据所述第二控制信息，对所述第一控制信息进行调整，得到针对球机的第三控制信息；根据所述第三控制信息，控制所述球机转动和/或变焦。
[0013]本申请的实施例中，能够根据第二控制信息，对第一控制信息进行调整，得到针对球机的第三控制信息，并根据第三控制信息，控制球机转动和/或变焦，能够实现移动机器人转动时对球机中的云台的转动量的补偿，以消除球机基座转动带来的影响，从而提高球机控制的准确性。
[0014]根据第一方面的第三种可能的实现方式，在所述目标跟踪方法的第四种可能的实现方式中，所述第一控制信息包括针对所述球机的第一转动信息，所述第二控制信息包括针对所述移动机器人的第二转动信息，所述根据所述第二控制信息，对所述第一控制信息进行调整，得到第三控制信息，包括：根据所述第一转动信息及所述第二转动信息，确定针对所述球机的第三转动信息；将所述第一控制信息中的所述第一转动信息更新为所述第三转动信息，得到第三控制信息。
[0015]本申请的实施例中，能够根据第一转动信息及第二转动信息，确定针对球机的第三转动信息，并将第一控制信息中的第一转动信息更新为第三转动信息，得到第三控制信息，简单快速，能够提高处理效率。
[0016]根据第一方面或第一方面的第一种可能的实现方式至第一方面的第四种可能的实现方式中的任一种，在所述目标跟随方法的第五种可能的实现方式中，所述如果跟踪成功，更新所述移动机器人的系统状态，包括如下至少一项：如果跟踪成功且所述移动机器人
的系统状态为跟踪正常，不切换所述移动机器人的系统状态；如果跟踪成功且所述移动机器人的系统状态为可能丢失或初始化状态，将所述移动机器人的系统状态切换为跟踪正常；如果跟踪成功且所述移动机器人的系统状态为跟踪丢失，将所述移动机器人的系统状态切换为可能找回；如果跟踪成功且所述移动机器人的系统状态为可能找回，在可能找回状态下跟踪成功的次数大于或等于跟踪成功次数阈值的情况下，将所述移动机器人的系统状态切换为跟踪正常。
[0017]本申请的实施例中，在跟踪成功的情况下，如果移动机器人的系统状态为跟踪正常，则不切换所述移动机器人的系统状态，仍为跟踪正常；如果移动机器人的系统状态为可能丢失或初始化状态，则将系统状态切换为跟踪正常；如果移动机器人的系统状态为跟踪本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标跟随方法，其特征在于，应用于移动机器人，所述移动机器人包括球机，所述方法包括：对所述球机采集的视频帧进行目标检测，确定对目标对象的跟踪是否成功；如果跟踪成功，更新所述移动机器人的系统状态，并确定所述目标对象在所述视频帧中的第一位置；如果所述移动机器人的系统状态为跟踪正常，根据所述第一位置，控制所述球机转动和/或变焦，以使所述目标对象位于所述球机的监控范围内；根据预设周期，获取第二位置，所述第二位置包括所述目标对象的第一位置及所述球机中的云台的第三位置；根据获取的所述移动机器人所处的环境的点云数据、所述第二位置及所述移动机器人的当前位置，控制所述移动机器人调整自身位姿，以使所述移动机器人跟随所述目标对象移动。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一位置，控制所述球机转动和/或变焦，包括：根据所述第一位置，确定针对所述球机的第一控制信息；根据所述第一控制信息，控制所述球机转动和/或变焦。3.根据权利要求2所述的方法，其特征在于，所述根据获取的所述移动机器人所处的环境的点云数据、所述第二位置及所述移动机器人的当前位置，控制所述移动机器人调整自身位姿，包括：根据获取的所述移动机器人所处的环境的点云数据，建立所述环境的代价地图；根据所述第二位置，确定所述目标对象在所述移动机器人坐标系中的第一目标位置；根据所述代价地图、所述第一目标位置及所述移动机器人的当前位置，进行路径规划，确定针对所述移动机器人的第二控制信息；根据所述第二控制信息，控制所述移动机器人调整自身位姿。4.根据权利要求3所述的方法，其特征在于，所述方法包括：根据所述第二控制信息，对所述第一控制信息进行调整，得到针对所述球机的第三控制信息；根据所述第三控制信息，控制所述球机转动和/或变焦。5.根据权利要求4所述的方法，其特征在于，所述第一控制信息包括针对所述球机的第一转动信息，所述第二控制信息包括针对所述移动机器人的第二转动信息，所述根据所述第二控制信息，对所述第一控制信息进行调整，得到第三控制信息，包括：根据所述第一转动信息及所述第二转动信息，确定针对所述球机的第三转动信息；将所述第一控制信息中的所述第一转动信息更新为所述第三转动信息，得到第三控制信息。6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述如果跟踪成功，更新所述移动机器人的系统状态，包括如下至少一项：如果跟踪成功且所述移动机器人的系统状态为跟踪正常，不切换所述移动机器人的系统状态；
如果跟踪成功且所述移动机器人的系统状态为可能丢失或初始化状态，将所述移动机器人的系统状态切换为跟踪正常；如果跟踪成功且所述移动机器人的系统状态为跟踪丢失，将所述移动机器人的系统状态切换为可能找回；如果跟踪成功且所述移动机器人的系统状态为可能找回，在可能找回状态下跟踪成功的次数大于或等于跟踪成功次数阈值的情况下，将所述移动机器人的系统状态切换为跟踪正常。7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述方法，包括：如果跟踪失败，更新所述移动机器人的系统状态。8.根据权利要求7所述的方法，其特征在于，所述如果跟踪失败，更新所述移动机器人的系统状态，包括如下至少一项：如果跟踪失败且所述移动机器人的系统状态为跟踪正常或初始化状态，将所述移动机器人的系统状态切换为可能丢失；如果跟踪失败且所述移动机器人的系统状态为可能丢失，在可能丢失状态下跟踪失败的次数大于或等于跟踪失败次数阈值的情况下，将所述移动机器人的系统状态切换为跟踪丢失；如果跟踪失败且所述移动机器人的系统状态为跟踪丢失，在跟踪丢失状态下跟踪失败的次数大于或等于跟踪失败次数阈值的情况下，将所述移动机器人的系统状态切换为空闲状态；如果跟踪失败且所述移动机器人的系统状态为可能找回，将所述移动机器人的系统状态切换为跟踪丢失。9.根据权利要求1至8中任意一项所述的方法，其特征在于，所述方法包括：如果所述移动机器人的系统状态为跟踪丢失且所述移动机器人未到达第二目标位置，控制所述移动机器人向所述第二目标位置移动，所述第二目标位置为上次跟踪成功时所述目标对象所在的位置；在所述移动机器人向所述第二目标位置移动的过程中，控制所述球机转动，以使所述球机朝向所述第二目标位置所在的方向，同时在所述球机的监控范围内，搜索所述目标对象。10.根据权利要求1至9中任意一项所述的方法，其特征在于，所述方法包括：如果所述移动机器人的系统状态为跟踪丢失且所述移动机器人已到达第二目标位置，控制所述移动机器人停止移动，所述第二目标位置为上次跟踪成功时所述目标对象所在的位置；控制所述球机向预设角度转动，同时在所述球机的监控范围内，搜索所述目标对象。11.根据权利要求1至10中任意一项所述的方法，其特征在于，所述方法包括：如果所述移动机器人的系统状态为可能丢失，控制所述移动机器人沿上次规划的路径移动；在所述移动机器人沿上次规划的路径移动的过程中，控制所述球机转动，以使所述球机朝向所述上次规划的路径的终点所在的方向。12.根据权利要求1至11中任意一项所述的方法，其特征在于，所述方法包括：
如果所述移动机器人的系统状态为可能找回，控制所述移动机器人停止移动，同时控制所述移动机器人转动和/或控制所述球机转动，以使所述目标对象位于所述球机的监控范围内。13.一种目标跟随装置，其特征在于，应用于移动机器人，所述移动机器人包括球机，所述装置包括：目标检测模块，用于对所述球机采集的视频帧进行目标检测，确定对目标对象的跟踪是否成功；第一更新模块，用于如果跟踪成功，更新所述移动机器人的系统状态，并确定所述目标对象在所述视频帧中的第一位置；第一控制模块，用于如果所述移动机器人的系统状态为跟踪正常，根据所述第一位置，控制所述球机转动和/或变焦，以使所述目标对象位于所述球机的监控范围内...

【专利技术属性】
技术研发人员：仇悦，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：