一种物体跟踪方法以及相关设备技术

本申请公开了一种物体跟踪方法，该方法中，终端设备向计算设备集群发送图像序列中的第一图像；然后，计算设备集群基于第一图像，生成目标物体的第一位姿信息并向终端设备发送第一位姿信息，其中，第一位姿信息用于描述所述目标物体在第一图像中对应的位姿

【技术实现步骤摘要】
一种物体跟踪方法以及相关设备
[0001]本申请要求于
2022
年6月
08
日提交的
、
中国申请号为
202210646960.X、
专利技术名称为“一种
3D
物体跟踪系统”的中国专利申请的优先权，其全部内容通过引用结合在本申请中
。


[0002]本申请涉及物体跟踪
，具体涉及一种物体跟踪方法以及相关设备
。

技术介绍

[0003]三维
(three
‑
dimensional
，
3D)
物体跟踪是计算机视觉领域的一个重要研究方向，在诸如增强现实
(augmented reality
，
AR)、
人机交互
、
视觉伺服等领域具有广泛的应用前景
。
[0004]而目前，传统的三维物体跟踪算法的架构通常较为复杂，计算复杂度较高，导致在
AR
眼镜
、
手机
、
平板电脑等计算资源较弱的终端设备上进行三维物体跟踪时运行速度较慢，跟踪效果较差
。

技术实现思路

[0005]本申请提供一种物体跟踪方法，以解决目前在
AR
眼镜
、
手机
、
平板电脑等计算资源较弱的终端设备上进行三维物体跟踪时运行速度较慢，跟踪效果较差的问题
。
本申请还提供了相应的装置
、
设备
、
计算机可读存储介质和计算机程序产品等
。
[0006]本申请第一方面提供一种物体跟踪方法，该方法应用于计算设备集群，该方法包括：接收终端设备发送的图像序列，图像序列中包括第一图像；基于第一图像，生成目标物体的第一位姿信息，第一位姿信息用于描述目标物体在第一图像中对应的位姿；向终端设备发送目标物体的第一位姿信息，以使得终端设备根据第一位姿信息，在图像序列中对目标物体进行三维物体跟踪
。
[0007]在第一方面中，计算设备集群可以根据终端设备发送的图像序列中的第一图像，获得目标物体在第一图像中的第一位姿信息，从而使得终端设备根据计算设备集群发送的第一位姿信息，在图像序列中对目标物体进行三维跟踪
。
这样，可以通过计算设备集群来实现获得目标物体在第一图像对应的位姿的相关运算，从而减小三维物体跟踪时终端设备的运算压力，提高终端设备的运算速度，满足三维物体跟踪时的实时性要求
。
[0008]在第一方面的一种可能的实现方式中，该方法还包括：接收终端设备发送的第一数据，第一数据指示目标物体处于跟丢状态，跟丢状态指示终端设备在图像序列中无法识别到目标物体；在接收终端设备发送的第一数据之后，若在图像序列的第三图像中识别到目标物体，则向终端设备发送第二数据，以使得终端设备根据第二数据对目标物体进行三维物体跟踪，第二数据包括第二位姿信息，并且，第二数据指示目标物体处于与跟丢状态对应的目标状态，第二位姿信息用于描述目标物体在第三图像对应的位姿
。
[0009]该种可能的实现方式中，计算设备集群可以根据该第一数据，在二维物体跟踪中确定该目标物体是否确实跟丢，若跟丢，则对终端设备中目标物体进行重定位，从而重新获
取该目标物体的初始位姿，并下发至终端设备，以继续对该目标物体进行三维物体跟踪
。
[0010]其中，该第二数据指示目标物体处于与跟丢状态对应的目标状态，这样，终端设备在接收到第二数据之后，基于该目标状态，可以确定该第二数据为基于第一数据对目标物体进行重定位之后所获得的信息，因此，可以根据第二数据中目标物体的第二位姿信息，对目标物体进行三维物体跟踪
。
[0011]在第一方面的一种可能的实现方式中，上述步骤：基于第一图像，生成目标物体的第一位姿信息，包括：根据图像序列中的至少一帧，在第一图像中进行二维物体跟踪，以获得第一图像中的目标物体对应的第三数据，第三数据包含目标物体的第一物体标识；若根据第三数据确定目标物体的跟踪状态为第一状态，则生成目标物体对应的第一位姿信息，第一状态指目标物体为新增的待跟踪物体，或者，指示目标物体为终端设备在图像序列中无法识别到的物体
。
[0012]该种可能的实现方式中，对于第一图像中识别到的目标物体，可以在确定该目标物体为新增的待跟踪物体时，再通过该三维物体定位模块对该新增的待跟踪物体进行三维物体定位，获得该新增的待跟踪物体的第一位姿信息，以作为该新增的待跟踪物体的初始位姿，这样，终端设备可以基于该初始位姿，开始对该新增的待跟踪物体进行三维物体跟踪
。
或者，对于第一图像中识别到的目标物体，可以在结合终端设备上传的相关指示信息，确定该目标物体为终端设备中无法识别到的物体时，再通过该三维物体定位模块对该无法识别到的物体进行三维物体定位，获得该物体的第一位姿信息，以作为该无法识别到的物体的重定位位姿，这样，终端设备可以基于该重定位位姿，继续对该无法识别到的物体进行三维物体跟踪
。
[0013]在第一方面的一种可能的实现方式中，上述步骤：若根据第三数据确定目标物体的跟踪状态为第一状态，则生成目标物体对应的第一位姿信息，包括：比对第一物体标识与每个第二物体标识，每个第二物体标识为图像序列中，第一图像的前
M
帧的每一帧中，基于二维物体跟踪而确定的一个物体的物体标识，
M
为正整数；若比对结果指示第一物体标识是相对于前
M
帧的新增的物体标识，则生成新增的物体标识对应的目标物体的第一位姿信息，新增的物体标识对应的目标物体为新增的待跟踪物体
。
[0014]该种可能的实现方式中，通过比对第一物体标识与每个第二物体标识，可以确定第一图像中是否存在新增的待跟踪物体，若存在，则获得该新增的待跟踪物体的第一位姿信息并下发给终端设备，从而使得终端设备获得该新增的待跟踪物体的第一位姿信息以作为该新增的该跟踪物体的初始位姿并进行三维物体跟踪
。
[0015]在第一方面的一种可能的实现方式中，上述步骤：若根据第三数据确定目标物体的跟踪状态为第一状态，则获得目标物体对应的第一位姿信息，包括：比对第一物体标识与每个第二物体标识，每个第二物体标识为图像序列中，第一图像的前
M
帧的每一帧中，基于二维物体跟踪而确定的一个物体的物体标识，
M
为正整数；若比对结果指示第一物体标识是相对于前
M
帧的非新增的物体标识，则：若非新增的物体标识对应的第三数据的第一字段中包含第一描述信息，则生成非新增的物体标识对应的目标物体的第一位姿信息，第一字段中包含的第一描述信息指示目标物体为终端设备在图像序列中无法识别到的物体
。
[0016]该种可能的实现方式中，可以根据第三数据确定目标物体为终端设备在图像序列中无法识别到的物体，从而获得目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种物体跟踪方法，其特征在于，所述方法应用于计算设备集群，所述方法包括：接收终端设备发送的图像序列，所述图像序列中包括第一图像；基于所述第一图像，生成目标物体的第一位姿信息，所述第一位姿信息用于描述所述目标物体在所述第一图像中对应的位姿；向所述终端设备发送所述目标物体的第一位姿信息，以使得所述终端设备根据所述第一位姿信息，在所述图像序列中对所述目标物体进行三维物体跟踪
。2.
根据权利要求1所述的方法，其特征在于，所述方法还包括：接收所述终端设备发送的第一数据，所述第一数据指示所述目标物体处于跟丢状态，所述跟丢状态指示所述终端设备在所述图像序列中无法识别到所述目标物体；在接收所述终端设备发送的第一数据之后，若在所述图像序列的第三图像中识别到所述目标物体，则向所述终端设备发送第二数据，以使得所述终端设备根据所述第二数据对所述目标物体进行三维物体跟踪，所述第二数据包括第二位姿信息，并且，所述第二数据指示所述目标物体处于与所述跟丢状态对应的目标状态，所述第二位姿信息用于描述所述目标物体在所述第三图像对应的位姿
。3.
根据权利要求1或2所述的方法，其特征在于，所述基于所述第一图像，生成目标物体的第一位姿信息，包括：根据所述图像序列中的至少一帧，在所述第一图像中进行二维物体跟踪，以获得所述第一图像中的所述目标物体对应的第三数据，所述第三数据包含所述目标物体的第一物体标识；若根据所述第三数据确定所述目标物体的跟踪状态为第一状态，则生成所述目标物体对应的第一位姿信息，所述第一状态指所述目标物体为新增的待跟踪物体，或者，指示所述目标物体为所述终端设备在所述图像序列中无法识别到的物体
。4.
根据权利要求3所述的方法，其特征在于，所述若根据所述第三数据确定所述目标物体的跟踪状态为第一状态，则生成所述目标物体对应的第一位姿信息，包括：比对所述第一物体标识与每个第二物体标识，每个所述第二物体标识为所述图像序列中，所述第一图像的前
M
帧的每一帧中，基于二维物体跟踪而确定的一个物体的物体标识，
M
为正整数；若比对结果指示所述第一物体标识是相对于所述前
M
帧的新增的物体标识，则生成所述新增的物体标识对应的目标物体的第一位姿信息，所述新增的物体标识对应的目标物体为新增的待跟踪物体
。5.
根据权利要求3所述的方法，其特征在于，所述若根据所述第三数据确定所述目标物体的跟踪状态为第一状态，则生成所述目标物体对应的第一位姿信息，包括：比对所述第一物体标识与每个第二物体标识，每个所述第二物体标识为所述图像序列中，所述第一图像的前
M
帧的每一帧中，基于二维物体跟踪而确定的一个物体的物体标识，
M
为正整数；若比对结果指示所述第一物体标识是相对于所述前
M
帧的非新增的物体标识，则：若所述非新增的物体标识对应的第三数据的第一字段中包含第一描述信息，则生成所述非新增的物体标识对应的目标物体的第一位姿信息，所述第一字段中包含的第一描述信息指示所述目标物体为所述终端设备在所述图像序列中无法识别到的物体
。
6.
一种物体跟踪方法，其特征在于，所述方法应用于终端设备，所述方法包括：实时采集图像序列；向计算设备集群发送所述图像序列，所述图像序列中包括第一图像；接收所述计算设备集群发送的目标物体的第一位姿信息，所述第一位姿信息用于描述所述目标物体在所述第一图像中对应的位姿；根据所述第一位姿信息，在所述图像序列中对所述目标物体进行三维物体跟踪
。7.
根据权利要求6所述的方法，其特征在于，所述第一位姿信息用于描述所述目标物体在所述第一图像对应的相机坐标系下的位姿
。8.
根据权利要求6或7所述的方法，其特征在于，所述方法还包括：在所述图像序列中对所述目标物体进行三维物体跟踪时，若在所述图像序列中的第二图像中无法识别到所述目标物体，则向所述计算设备集群发送所述目标物体对应的第一数据，所述第一数据指示所述目标物体处于跟丢状态；在无法识别到所述目标物体之后，若从所述计算设备集群接收到第二数据，且所述第二数据指示所述目标物体处于与所述跟丢状态对应的目标状态，则根据所述第二数据中所述目标物体的第二位姿信息，对所述目标物体进行三维物体跟踪
。9.
根据权利要求8所述的方法，其特征在于，所述第一数据包括所述目标物体的物体标识，所述第一数据中通过第一字段包含的第一描述信息描述所述跟丢状态，所述第二数据包括所述目标物体的物体标识，并且所述第二数据中通过第二字段包含的第二描述信息描述所述目标状态
。10.
根据权利要求6‑9任一项所述的方法，其特征在于，所述根据所述第一位姿信息，在所述图像序列中对所述目标物体进行三维物体跟踪，包括：在所述图像序列中的当前帧对所述目标物体进行三维物体跟踪时，根据所述目标物体在所述当前帧与所述当前帧之前的
N
帧之间的第一相对位姿变化，获得所述目标物体在所述当前帧中的三维跟踪结果，
N
为正整数
。11.
根据权利要求
10
所述的方法，其特征在于，所述在所述图像序列中的当前帧对所述目标物体进行三维物体跟踪时，根据所述目标物体在所述当前帧与所述当前帧之前的
N
帧之间的第一相对位姿变化，获得所述目标物体在所述当前帧中的三维跟踪结果，包括：在所述图像序列中的当前帧对所述目标物体进行三维物体跟踪时，若所述第一相对位姿变化不满足第一预设条件，则根据与所述当前帧相匹配的关键帧中所述目标物体的第三位姿信息，和
/
或，所述当前帧中所述目标物体的轮廓信息，获得所述目标物体在所述当前帧中的三维跟踪结果，所述第三位姿信息用于描述所述目标物体在所述关键帧对应的位姿
。12.
根据权利要求
11
所述的方法，其特征在于，所述在所述图像序列中的当前帧对所述目标物体进行三维物体跟踪时，若所述第一相对位姿变化不满足第一预设条件，则根据所述当前帧对应的关键帧中所述目标物体的第三位姿信息，和
/
或，所述当前帧中所述目标物体的轮廓信息，获得目标物体在所述当前帧中的三维跟踪结果，包括：在所述当前帧对所述目标物体进行三维物体跟踪时，若所述第一相对位姿变化不满足第一预设条件，则：若获得与所述当前帧相匹配的关键帧，则根据所述目标物体在所述当前帧与所述当前
帧对应的关键帧之间的第二相对位姿变化，以及所述第三位姿信息，获得所述目标物体在所述当前帧中的三维跟踪结果
。13.
根据权利要求
11
所述的方法，其特征在于，所述在所述图像序列中的当前帧对所述目标物体进行三维物体跟踪时，若所述第一相对位姿变化不满足第一预设条件，则根据所述当前帧对应的关键帧中所述目标物体的第三位姿信息，和
/
或，所述当前帧中所述目标物体的轮廓信息，获得目标物体在所述当前帧中的三维跟踪结果，包括：在所述当前帧对所述目标物体进行三维物体跟踪时，若所述第一相对位姿变化不满足第一预设条件，且不存在与所述当前帧相匹配的关键帧，则根据所述当前帧中所述目标物体的轮廓信息，获得所述目标物体在所述当前帧中的三维跟踪结果
。14.
根据权利要求6‑
13
任一项所述的方法，其特征在于，所述根据所述第一位姿信息，在所述图像序列中对所述目标物体进行三维物体跟踪，包括：在所述图像序列中的当前帧对所述目标物体进行三维物体跟踪时，若所述目标物体为静止物体，则：根据所述目标物体的第一位姿信息
、
所述第一图像对应的相机位姿信息和所述当前帧对应的相机位姿信息，获得所述目标物体在所述当前帧对应的初始估计位姿信息，其中，所述相机位姿信息用于描述相应相机在世界坐标系下的位姿，所述初始估计位姿信息用于描述所述目标物体在所述当前帧中对应的初始估计位姿；根据所述初始估计位姿信息，获得所述目标物体在所述当前帧中的三维跟踪结果
。15.
根据权利要求
14
所述的方法，其特征在于，所述接收所述计算设备集群发送的目标物体的第一位姿信息，包括：接收所述计算设备集群发送的目标物体的第一位姿信息和所述目标物体的类型信息；所述方法还包括：基于所述目标物体的类型信息，确定所述目标物体是否为静止物体
。16.
一种物体跟踪方法，其特征在于，所述方法包括：终端设备实时采集图像序列；所述终端设备向计算设备集群发送所述图像序列，所述图像序列中包括第一图像；所述计算设备集群基于所述第一图像，生成目标物体的第一位姿信息，所述第一位姿信息用于描述所述目标物体在所述第一图像中对应的位姿；所述计算设备集群向所述终端设备发送所述目标物体的第一位姿信息；所述终端设备根据所述第一位姿信息，在所述图像序列中对所述目标物体进行三维物体跟踪
。17.
根据权利要求
16
所述的方法，其特征在于，所述方法还包括：所述终端设备在所述图像序列中对所述目标物体进行三维物体跟踪时，若所述终端设备在所述图像序列中的第二图像中无法识别到所述目标物体，则向所述计算设备集群发送所述目标物体对应的第一数据，所述第一数据指示所述目标物体处于跟丢状态；所述计算设备集群接收所述第一数据之后，若所述计算设备集群在所述图像序列的第三图像中识别到所述目标物体，则向所述终端设备发送第二数据，所述第二数据包括第二位姿信息，并且，所述第二数据指示所述目标物体处于与所述跟丢状态对应的目标状态，所述第二位姿信息用于描述所述目标物体在所述第三图像对应的位姿；
所述终端设备在无法识别到所述目标物体之后，若从所述计算设备集群接收到所述第二数据，则根据所述第二数据中所述目标物体的第二位姿信息，对所述目标物体进行三维物体跟踪
。18.
根据权利要求
16
或
17
所述的方法，其特征在于，所述终端设备根据所述第一位姿信息，在所述图像序列中对所述目标物体进行三维物体跟踪，包括：所述终端设备在所述图像序列中的当前帧对所述目标物体进行三维物体跟踪时，若所述目标物体在所述当前帧与所述当前帧之前的
N
帧之间的第一相对位姿变化不满足第一预设条件，则根据与所述当前帧相匹配的关键帧中所述目标物体的第三位姿信息，和
/
或，所述当前帧中所述目标物体的轮廓信息，获得所述目标物体在所述当前帧中的三维跟踪结果，所述第三位姿信息用于描述所述目标物体在所述关键帧对应的位姿，
N
为正整数
。19.
根据权利要求
18
所述的方法，其特征在于，所述终端设备在所述图像序列中的当前帧对所述目标物体进行三维物体跟踪时，若所述目标物体在所述当前帧与所述当前帧之前的
N
帧之间的第一相对位姿变化不满足第一预设条件，则根据所述当前帧对应的关键帧中所述目标物体的第三位姿信息，和
/
或，所述当前帧中所述目标物体的轮廓信息，获得目标物体在所述当前帧中的三维跟踪结果，包括：所述终端设备在所述当前帧对所述目标物体进行三维物体跟踪时，若所述第一相对位姿变化不满足第一预设条件，则：若获得与所述当前帧相匹配的关键帧，则根据所述目标物体在所述当前帧与所述当前帧对应的关键帧之间的第二相对位姿变化，以及所述第三位姿信息，获得所述目标物体在所述当前帧中的三维跟踪结果
。20.
根据权利要求
...

【专利技术属性】
技术研发人员：田米忍，金鑫，赵夕朦，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：