轨迹的显示方法、装置、可读介质和电子设备制造方法及图纸

本公开涉及一种轨迹的显示方法、装置、可读介质和电子设备，涉及图像处理技术领域，该方法包括：识别第一图像帧中的指定物体，以获取指定物体的多个关键点的二维坐标，第一图像帧为图像采集装置在当前时刻采集的图像帧，将多个关键点的二维坐标，与多个关键点在指定物体对应的第一三维模型中的三维坐标进行对齐，得到三维平移，根据第一三维模型与图像采集装置的SLAM空间之间的变换尺度、三维平移和指定关键点的三维坐标，确定指定关键点在SLAM空间中的位置坐标，指定关键点为多个关键点中的任一个关键点，根据位置坐标确定指定关键点的轨迹，并将轨迹显示在第一图像帧上。本公开能够显示指定物体的关键点在SLAM空间中的轨迹。显示指定物体的关键点在SLAM空间中的轨迹。显示指定物体的关键点在SLAM空间中的轨迹。

【技术实现步骤摘要】
轨迹的显示方法、装置、可读介质和电子设备


[0001]本公开涉及图像处理
，具体地，涉及一种轨迹的显示方法、装置、可读介质和电子设备。

技术介绍

[0002]在图像处理
中，随着智能终端在日常生活中越来越普及，用户可以在拍摄视频的同时，在视频中增加各种特效。通常情况下，视频中增加的特效都是基于视频中的人体模型来实现的，即特效的显示位置都是跟随人体模型的变化而变化的。若用户想要在空间中绘制轨迹，绘制出的轨迹与人体模型的位置关系始终保持不变，而无法展示出轨迹在真实空间中的实际位置。

技术实现思路

[0003]提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0004]第一方面，本公开提供一种轨迹的显示方法，所述方法包括：
[0005]识别第一图像帧中的指定物体，以获取所述指定物体的多个关键点的二维坐标，所述第一图像帧为图像采集装置在当前时刻采集的图像帧；
[0006]将所述多个关键点的所述二维坐标，与所述多个关键点在所述指定物体对应的第一三维模型中的三维坐标进行对齐，得到三维平移；
[0007]根据所述第一三维模型与所述图像采集装置的SLAM空间之间的变换尺度、所述三维平移和指定关键点的所述三维坐标，确定所述指定关键点在所述SLAM空间中的位置坐标，所述指定关键点为所述多个关键点中的任一个关键点；r/>[0008]根据所述位置坐标确定所述指定关键点的轨迹，并将所述轨迹显示在所述第一图像帧上。
[0009]第二方面，本公开提供一种轨迹的显示装置，所述装置包括：
[0010]识别模块，用于识别第一图像帧中的指定物体，以获取所述指定物体的多个关键点的二维坐标，所述第一图像帧为图像采集装置在当前时刻采集的图像帧；
[0011]对齐模块，用于将所述多个关键点的所述二维坐标，与所述多个关键点在所述指定物体对应的第一三维模型中的三维坐标进行对齐，得到三维平移；
[0012]第一确定模块，用于根据所述第一三维模型与所述图像采集装置的SLAM空间之间的变换尺度、所述三维平移和指定关键点的所述三维坐标，确定所述指定关键点在所述SLAM空间中的位置坐标，所述指定关键点为所述多个关键点中的任一个关键点；
[0013]显示模块，用于根据所述位置坐标确定所述指定关键点的轨迹，并将所述轨迹显示在所述第一图像帧上。
[0014]第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处
理装置执行时实现本公开第一方面所述方法的步骤。
[0015]第四方面，本公开提供一种电子设备，包括：
[0016]存储装置，其上存储有计算机程序；
[0017]处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面所述方法的步骤。
[0018]通过上述技术方案，本公开首先识别图像采集装置在当前时刻采集的第一图像帧中的指定物体，从而获取指定物体的多个关键点的二维坐标，之后将多个关键点的二维坐标，与多个关键点在指定物体对应的第一三维模型中的三维坐标进行对齐，得到三维平移，再根据第一三维模型与图像采集装置的SLAM空间之间的变换尺度、三维平移和指定关键点的三维坐标，确定指定关键点在SLAM空间中的位置坐标，最后根据位置坐标得到指定关键点的轨迹，从而在第一图像帧上对轨迹进行显示。本公开通过三维平移和变换尺度，确定指定关键点在图像采集装置的SLAM空间中的位置坐标，从而能够显示指定关键点在SLAM空间中的轨迹。
[0019]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0020]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
[0021]图1是根据一示例性实施例示出的一种轨迹的显示方法的流程图；
[0022]图2是根据一示例性实施例示出的第一图像帧的示意图；
[0023]图3是根据一示例性实施例示出的另一种轨迹的显示方法的流程图；
[0024]图4是根据一示例性实施例示出的另一种轨迹的显示方法的流程图；
[0025]图5是根据一示例性实施例示出的另一种轨迹的显示方法的流程图；
[0026]图6是根据一示例性实施例示出的另一种轨迹的显示方法的流程图；
[0027]图7是根据一示例性实施例示出的另一种轨迹的显示方法的流程图；
[0028]图8是根据一示例性实施例示出的第一图像帧的示意图；
[0029]图9是根据一示例性实施例示出的一种轨迹的显示装置的框图；
[0030]图10是根据一示例性实施例示出的另一种轨迹的显示装置的框图；
[0031]图11是根据一示例性实施例示出的另一种轨迹的显示装置的框图；
[0032]图12是根据一示例性实施例示出的另一种轨迹的显示装置的框图；
[0033]图13是根据一示例性实施例示出的另一种轨迹的显示装置的框图；
[0034]图14是根据一示例性实施例示出的另一种轨迹的显示装置的框图；
[0035]图15是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
[0036]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的
是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0037]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0038]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0039]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0040]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0041]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轨迹的显示方法，其特征在于，所述方法包括：识别第一图像帧中的指定物体，以获取所述指定物体的多个关键点的二维坐标，所述第一图像帧为图像采集装置在当前时刻采集的图像帧；将所述多个关键点的所述二维坐标，与所述多个关键点在所述指定物体对应的第一三维模型中的三维坐标进行对齐，得到三维平移；根据所述第一三维模型与所述图像采集装置的SLAM空间之间的变换尺度、所述三维平移和指定关键点的所述三维坐标，确定所述指定关键点在所述SLAM空间中的位置坐标，所述指定关键点为所述多个关键点中的任一个关键点；根据所述位置坐标确定所述指定关键点的轨迹，并将所述轨迹显示在所述第一图像帧上。2.根据权利要求1所述的方法，其特征在于，所述将所述多个关键点的所述二维坐标，与所述多个关键点在所述指定物体对应的第一三维模型中的三维坐标进行对齐，得到三维平移，包括：获取每个所述关键点在所述第一三维模型中的所述三维坐标；针对每个所述关键点，确定将该关键点的所述三维坐标重投影至所述第一图像帧后，与该关键点的所述二维坐标的重投影误差；以重投影误差最小化为目标，确定所述三维平移，所述三维平移包括三个维度的平移量。3.根据权利要求1所述的方法，其特征在于，在所述根据所述第一三维模型与所述图像采集装置的SLAM空间之间的变换尺度、所述三维平移和指定关键点的所述三维坐标，确定所述指定关键点在所述SLAM空间中的位置坐标之前，所述方法还包括：根据参考平面在所述第一图像帧中的区域进行平面拟合，以得到所述参考平面在所述SLAM空间中的平面方程；根据参考关键点的所述三维坐标和所述平面方程，确定所述变换尺度，所述参考关键点为所述多个关键点中位于所述参考平面上的关键点。4.根据权利要求1所述的方法，其特征在于，在所述根据所述第一三维模型与所述图像采集装置的SLAM空间之间的变换尺度、所述三维平移和指定关键点的所述三维坐标，确定所述指定关键点在所述SLAM空间中的位置坐标之前，所述方法还包括：根据第二图像帧中所述指定物体的刚性关键点在所述指定物体对应的第二三维模型中的第二三维坐标，和所述第一图像帧中所述刚性关键点在所述第一三维模型中的所述三维坐标，确定所述第二图像帧与所述第一图像帧之间的帧间变换尺度，所述第二图像帧为所述图像采集装置在上一时刻采集的图像帧，所述刚性关键点为多个，任意两个所述刚性关键点在所述第二三维模型上的距离，与该两个所述刚性关键点在所述第一三维模型上的距离相同；根据所述帧间变换尺度和所述第二图像帧对应的第二变换...

【专利技术属性】
技术研发人员：郭亨凯，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：