位姿确定方法、装置、电子设备、介质制造方法及图纸

本公开提供了一种位姿确定方法、装置、电子设备和介质，涉及人工智能技术领域，具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙、数字人等场景。位姿确定方法可以包括获得关于目标人体的第一图像帧；至少部分地基于所述第一图像帧，确定所述目标人体的第一位姿数据；确定第一人体状态，所述第一人体状态表示在所述第一图像帧中所述目标人体的足部是否接触地面；至少部分地基于所述第一人体状态确定第一平滑参数；以及基于所述第一平滑参数对所述第一位姿数据进行平滑，以获得经平滑的第一位姿数据。以获得经平滑的第一位姿数据。以获得经平滑的第一位姿数据。

【技术实现步骤摘要】
位姿确定方法、装置、电子设备、介质


[0001]本公开涉及人工智能
，具体为计算机视觉、增强现实、虚拟现实、深度学习等
，可应用于元宇宙、数字人等场景，具体涉及一种位姿确定方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]在计算机视觉、关键点识别、动态捕捉等技术中，抖动问题一直是业界的关键性问题。所确定的位姿中存在的抖动会非常影响实时动态捕捉的效果。希望获得一种更为有效的位姿确定方法。

技术实现思路

[0003]本公开提供了一种位姿确定方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
[0004]根据本公开的一方面，提供了一种位姿确定方法，包括：获得关于目标人体的第一图像帧；至少部分地基于所述第一图像帧，确定所述目标人体的第一位姿数据；确定第一人体状态，所述第一人体状态表示在所述第一图像帧中所述目标人体的足部是否接触地面；至少部分地基于所述第一人体状态确定第一平滑参数；以及基于所述第一平滑参数对所述第一位姿数据进行平滑，以获得经平滑的第一位姿数据。
[0005]根据本公开的另一方面，提供了一种位姿确定装置，包括：图像帧获得单元，用于获得关于目标人体的第一图像帧；位姿数据确定单元，用于至少部分地基于所述第一图像帧，确定所述目标人体的第一位姿数据；人体状态确定单元，用于确定第一人体状态，所述第一人体状态表示在所述第一图像帧中所述目标人体的足部是否接触地面；平滑参数确定单元，用于至少部分地基于所述第一人体状态确定第一平滑参数；以及平滑单元，用于基于所述第一平滑参数对所述第一位姿数据进行平滑，以获得经平滑的第一位姿数据。
[0006]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据本公开的一个或多个实施例的位姿确定方法。
[0007]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开的一个或多个实施例的位姿确定方法。
[0008]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现根据本公开的一个或多个实施例的位姿确定方法。
[0009]根据本公开的一个或多个实施例，可以基于触地信息语义调整平滑参数，从而获得更好的平滑效果。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特
征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
[0012]图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；
[0013]图2示出了根据本公开的实施例的位姿确定方法的流程图；
[0014]图3示出了根据本公开的示例性实施例的数据流的示意图；
[0015]图4示出了根据本公开的示例性实施例的触地状态检测的网络结构图；
[0016]图5示出了根据本公开的示例性实施例的滤波模块的网络结构示意图；
[0017]图6示出了根据本公开的实施例的位姿确定装置的结构框图；
[0018]图7示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
[0019]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0020]在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
[0021]在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
[0022]下面将结合附图详细描述本公开的实施例。
[0023]图1示出了根据本公开的实施例可以将本文描述的各种方法和装置在其中实施的示例性系统100的示意图。参考图1，该系统100包括一个或多个客户端设备101、102、103、104、105和106、服务器120以及将一个或多个客户端设备耦接到服务器120的一个或多个通信网络110。客户端设备101、102、103、104、105和106可以被配置为执行一个或多个应用程序。
[0024]在本公开的实施例中，服务器120可以运行使得能够执行根据本公开的位姿确定方法的一个或多个服务或软件应用。
[0025]在某些实施例中，服务器120还可以提供其他服务或软件应用，这些服务或软件应用可以包括非虚拟环境和虚拟环境。在某些实施例中，这些服务可以作为基于web的服务或云服务提供，例如在软件即服务(SaaS)模型下提供给客户端设备101、102、103、104、105和/
或106的用户。
[0026]在图1所示的配置中，服务器120可以包括实现由服务器120执行的功能的一个或多个组件。这些组件可以包括可由一个或多个处理器执行的软件组件、硬件组件或其组合。操作客户端设备101、102、103、104、105和/或106的用户可以依次利用一个或多个客户端应用程序来与服务器120进行交互以利用这些组件提供的服务。应当理解，各种不同的系统配置是可能的，其可以与系统100不同。因此，图1是用于实施本文所描述的各种方法的系统的一个示例，并且不旨在进行限制。
[0027]用户可以使用客户端设备101、102、103、104、105和/或106来确定位姿等。客户端设备可以提供使客户端设备的用户能够与客户端设备进行交互的接口。客户端设备还可以经由该接口向用户输出信息。尽管图1仅描绘了六种客户端设备，但是本领域技术人员将能够理解，本公开可以支持任何数量的客户端设备。
[0028]客户端设备101、102、103、104、105和/或106可以包括各种类型的计算机设备，例如便携式手持设备、通用计算机(诸如个人计算机和膝上型计算机)、工作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种位姿确定方法，包括：获得关于目标人体的第一图像帧；至少部分地基于所述第一图像帧，确定所述目标人体的第一位姿数据；确定第一人体状态，所述第一人体状态表示在所述第一图像帧中所述目标人体的足部是否接触地面；至少部分地基于所述第一人体状态确定第一平滑参数；以及基于所述第一平滑参数对所述第一位姿数据进行平滑，以获得经平滑的第一位姿数据。2.根据权利要求1所述的方法，其中，至少部分地基于第一图像帧，确定所述目标人体的第一位姿数据包括：基于所述第一图像帧以及所述第一图像帧之前的至少一个图像帧确定所述目标人体的第一位姿数据。3.根据权利要求1或2所述的方法，其中，确定第一人体状态包括基于所述目标人体的至少两个足部关键点的关键点位置确定所述第一人体状态。4.根据权利要求3所述的方法，其中，基于所述目标人体的至少两个足部关键点的关键点位置确定所述第一人体状态包括：响应于确定所述目标人体的所述至少两个足部关键点的关键点位置均与地面接触，将所述第一人体状态确定为触地状态；以及响应于确定所述目标人体的所述至少两个足部关键点中的至少一个足部关键点的关键点位置未与地面接触，将所述第一人体状态确定为未触地状态。5.根据权利要求1
‑
4中任一项所述的方法，其中，所述第一平滑参数至少包括第一平滑窗口尺寸D，所述第一平滑窗口尺寸表示用于对所述第一位姿数据进行平滑的图像帧的数量，D为正整数，并且其中，基于所述第一平滑参数对所述第一位姿数据进行平滑包括：响应于确定D大于1，获得所述第一图像帧之前的(D
‑
1)个在先图像帧的相应的(D
‑
1)个位姿数据；以及基于所述(D
‑
1)个位姿数据对所述第一位姿数据进行平滑以获得经平滑的第一位姿数据。6.根据权利要求1
‑
5中任一项所述的方法，其中，至少部分地基于所述第一人体状态确定第一平滑参数包括：基于所述第一人体状态和第二图像帧的第二人体状态确定所述第一平滑参数，其中，所述第二图像帧紧接在所述第一图像帧之前，所述第二人体状态表示所述第二图像帧中所述目标人体的足部是否接触地面。7.根据权利要求6所述的方法，其中，基于所述第一人体状态和第二图像帧的第二人体状态确定所述第一平滑参数包括：响应于确定所述第一人体状态是触地状态，获得连续触地帧数，所述连续触地帧数表示直至所述第二图像帧为止连续保持触地状态的图像帧的数量；通过将所述连续触地帧数递增1，获得经更新的连续触地帧数；以及响应于确定所述经更新的连续触地帧数状态满足第一阈值，确定所述第一平滑参数，所述第一平滑参数对应于所述第一阈值。
8.根据权利要求7所述的方法，还包括：获得关于目标人体的第三图像帧，所述第三图像帧晚于所述第一图像帧；至少部分地基于第三图像帧，确定所述目标人体的第三位姿数据；确定第三人体状态，所述第三人体状态表示在所述第三图像帧中所述目标人体的足部是否接触地面；至少部分地基于所述第三人体状态确定第二平滑参数；以及基于所述第二平滑参数对所述第三位姿数据进行平滑，以获得经平滑的第三位姿数据，其中，至少部分地基于所述第三人体状态确定第二平滑参数包括：更新连续触地帧数，使得经更新的连续触地帧数表示直至所述第三图像帧为止连续保持触地状态的图像帧的数量；以及响应于所述经更新的连续触地帧数满足第二阈值，确定所述第二平滑参数，所述第二平滑参数对应于所述第二阈值，其中所述第二阈值大于所述第一阈值，并且所述第二平滑状态指示比所述第一平滑状态更大的平滑度。9.根据权利要求6所述的方法，其中，基于所述第一人体状态和第二图像帧的第二人体状态确定当前平滑状态包括：响应于确定所述第二人体状态是触地状态并且所述第一人体状态是非触地状态，将所述当前平滑状态确定为第三平滑状态。10.一种位姿确定装置，包括：图像帧获得单元，用于获得关于目标人体的第一图像帧；位姿数据确定单元，用于至少部分地基于所述第一图像帧，确定所述目标人体的第一位姿数据；人体状态确定单元，用于确定第一人体状态，所述第一人体状态表示在所述第一图像帧中所述目标人体的足部是否接触地面；平滑...

【专利技术属性】
技术研发人员：刘豪杰，李丰果，陈睿智，赵晨，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：