关键点检测方法、装置、设备及可读介质制造方法及图纸

本公开实施例公开了一种关键点检测方法、装置、设备及可读介质。其中，方法包括：从显示有用户图像的视频帧序列中，选取当前视频帧以及当前视频帧之前的第一历史视频帧；从当前视频帧中，检测各关键点的初始位置信息；通过光流，将第一历史视频帧中各关键点的位置信息映射至当前视频帧中，得到当前视频帧中各关键点的参考位置信息；根据各关键点的初始位置信息和参考位置信息，分别得到当前视频帧中各关键点的位置信息。本公开实施例能够提高关键点检测的准确性。

Key Point Detection Method, Device, Equipment and Readable Media

The embodiment of the present disclosure discloses a key point detection method, device, device and readable medium. Among them, the method includes: selecting the current video frame and the first historical video frame before the current video frame from the video frame sequence displaying the user image; detecting the initial position information of each key point from the current video frame; mapping the position information of each key point in the first historical video frame to the current video frame through optical flow, and obtaining the key points in the current video frame. Reference position information; According to the initial position information and reference position information of each key point, the position information of each key point in the current video frame is obtained respectively. The embodiment of the present disclosure can improve the accuracy of key point detection.

【技术实现步骤摘要】
关键点检测方法、装置、设备及可读介质
本公开实施例涉及计算机视觉技术，尤其涉及一种关键点检测方法、装置、设备及可读介质。
技术介绍
随着计算机视觉的发展，一些电子设备可以从用户的图像中检测出用户的各个关键点，例如各个关节、肢体和五官等。目前，检测出的关键点往往需要实时显示在图像中，例如，在用户在镜头前做出各种姿势或者动作的过程中，在拍摄出的图像中实时显示对应的关键点，以便进一步进行形体矫正等操作，以增加趣味感和互动性。这就对关键点检测的准确性和效率提出了更高的要求，然而，现有的关键点检测方法并不能满足高准确性和高效率的要求，难以适用于实时性的应用场景。
技术实现思路
本公开实施例提供一种关键点检测方法、装置、设备及可读介质，以提高关键点检测的准确性和效率，适应实时性的应用场景。第一方面，本公开实施例提供了一种关键点检测方法，包括：从显示有用户图像的视频帧序列中，选取当前视频帧以及当前视频帧之前的第一历史视频帧；从当前视频帧中，检测各关键点的初始位置信息；通过光流，将第一历史视频帧中各关键点的位置信息映射至当前视频帧中，得到当前视频帧中各关键点的参考位置信息；根据各关键点的初始位置信息和参本文档来自技高网...

【技术保护点】
1.一种关键点检测方法，其特征在于，包括：从显示有用户图像的视频帧序列中，选取当前视频帧以及当前视频帧之前的第一历史视频帧；从当前视频帧中，检测各关键点的初始位置信息；通过光流，将第一历史视频帧中各关键点的位置信息映射至当前视频帧中，得到当前视频帧中各关键点的参考位置信息；根据各关键点的初始位置信息和参考位置信息，分别得到当前视频帧中各关键点的位置信息。

【技术特征摘要】
1.一种关键点检测方法，其特征在于，包括：从显示有用户图像的视频帧序列中，选取当前视频帧以及当前视频帧之前的第一历史视频帧；从当前视频帧中，检测各关键点的初始位置信息；通过光流，将第一历史视频帧中各关键点的位置信息映射至当前视频帧中，得到当前视频帧中各关键点的参考位置信息；根据各关键点的初始位置信息和参考位置信息，分别得到当前视频帧中各关键点的位置信息。2.根据权利要求1所述的方法，其特征在于，所述通过光流，将第一历史视频帧中各关键点的位置信息映射至当前视频帧中，得到当前视频帧中各关键点的参考位置信息，包括：根据背景像素点在第一历史视频帧中的位置信息以及在当前视频帧中的初始位置信息，确定背景图像的运动矢量；根据各关键点在第一历史视频帧中的位置信息以及所述背景图像的运动矢量，分别确定当前视频帧中各关键点的参考位置信息。3.根据权利要求1所述的方法，其特征在于，在从当前视频帧中，检测各关键点的初始位置信息之前，还包括：选取当前视频帧之前的第二历史视频帧；所述从当前视频帧中，检测各关键点的初始位置信息，包括：在当前视频帧中，确定包括各关键点的候选框；通过光流，将第二历史视频帧中包括各关键点的回归框映射至当前视频帧中，得到当前视频帧的参考回归框；根据候选框和参考回归框，得到当前视频帧中的回归框；从当前视频帧中的回归框中，检测各关键点的初始位置信息。4.根据权利要求3所述的方法，其特征在于，所述根据候选框和参考回归框，得到当前视频帧中的回归框，包括：对候选框和参考回归框进行非极大值抑制，得到当前视频帧中的回归框。5.根据权利要求3所述的方法，其特征在于，所述通过光流，将第二历史视频帧中包括各关键点的回归框映射至当前视频帧中，得到当前视频帧的参考回归框，包括：根据背景像素点在第二历史视频帧中的位置信息以及在当前视频帧中的初始位置信息，确定背景图像的运动矢量；根据包括各关键点的回归框在第二历史视频帧中的位置信息以及所述背景图像的运动矢量，确定当前视频帧中包括各关键点的参考回归框。6.根据权利要求1所述的方法，其特征在于，所述根据各关键点的初始位置信息和参考位置信息，分别得到当前视频帧中各关键点的位置信息，包括：根据各关键点的初始位置信息的置信度和参考位置信息的置信度，分别得到当前视频帧中，置信度满足...

【专利技术属性】
技术研发人员：胡耀全，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京,11