物体关键点的定位方法、图像处理方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种物体关键点的定位方法、图像处理方法、装置及存储介质。该方法包括：对目标视频流的当前视频帧中的目标物体进行检测，获得对目标物体的当前检测区域；获取在目标视频流的历史视频帧中目标物体对应的历史检测区域；根据历史检测区域和当前检测区域，获取确定后的当前检测区域；基于确定后的当前检测区域，对目标物体进行关键点定位，得到第一物体关键点集；获取在目标视频流的历史视频帧中目标物体对应的第二物体关键点集；根据第二物体关键点集的位置对第一物体关键点集的位置进行稳定调整，得到当前视频帧中的当前目标物体关键点集的位置。本发明专利技术解决了相关技术对物体关键点进行检测的准确性低的技术问题。

Positioning Method, Image Processing Method, Device and Storage Media of Key Points of Objects

The invention discloses a positioning method for key points of an object, an image processing method, a device and a storage medium. The method includes: detecting the target object in the current video frame of the target video stream, obtaining the current detection region of the target object; acquiring the corresponding historical detection region of the target object in the historical video frame of the target video stream; acquiring the determined current detection region according to the historical detection region and the current detection region; and based on the determined current detection region, acquiring the current detection region. The key point set of the first object is obtained by locating the key point set of the target object; the key point set of the second object corresponding to the target object in the historical video frame of the target video stream is obtained; the position of the key point set of the first object is adjusted steadily according to the position of the key point set of the second object, and the position of the key point set of the current target object in the current video frame is obtained. The invention solves the technical problem of low accuracy in detecting key points of objects by related technologies.

【技术实现步骤摘要】
物体关键点的定位方法、图像处理方法、装置及存储介质
本专利技术涉及计算机领域，具体而言，涉及一种物体关键点的定位方法、图像处理方法、装置及存储介质。
技术介绍
目前，对于单张图像处理(Photoshop，简称为PS)图中的物体关键点定位，需要用户或者设计师肉眼确定人体的各个物体关键点，耗时耗力，限制了应用场景；另外，视频应用中通常对对象所在的画面区域进行整体拉伸，即使定位了物体关键点，在视频中的前后视频帧出现抖动的情况下，对物体关键点进行定位的准确性低。针对上述对物体关键点进行定位的准确性低的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种物体关键点的定位方法、图像处理方法、装置及存储介质，以至少解决相关技术对物体关键点进行检测的准确性低的效率低的技术问题。根据本专利技术实施例的一个方面，提供了一种物体关键点的定位方法。该方法包括：对目标视频流的当前视频帧中的目标物体进行检测，获得对目标物体的当前检测区域；获取在目标视频流的历史视频帧中目标物体对应的历史检测区域；根据历史检测区域和当前检测区域，获取确定后的当前检测区域；基于确定后的当前检测区域，对目标物体进行关键点定位，得到第一物体关键点集；获取在目标视频流的历史视频帧中目标物体对应的第二物体关键点集；根据第二物体关键点集的位置对第一物体关键点集的位置进行稳定调整，得到当前视频帧中的当前目标物体关键点集的位置。根据本专利技术实施例的另一方面，还提供了一种图像处理方法。该方法包括：对目标视频流的当前视频帧中的目标物体进行检测，获得对目标物体的当前检测区域；根据在目标视频流的历史视频帧中目标物体对应的历史检测区域和当前检测区域，获取确定后的当前检测区域；基于确定后的当前检测区域，对目标物体进行关键点定位，得到第一物体关键点集；根据在历史视频帧中目标物体对应的第二物体关键点集的位置，对第一物体关键点集的位置进行稳定调整，得到当前视频帧中的当前目标物体关键点集的位置；根据当前目标物体关键点集的位置，从当前视频帧中识别出目标物体的部位；对识别出的目标物体的部位进行调整处理；显示调整处理后的目标物体的图像。根据本专利技术实施例的另一方面，还提供了一种物体关键点的定位装置。该装置包括：检测单元，用于对目标视频流的当前视频帧中的目标物体进行检测，获得对目标物体的当前检测区域；第一获取单元，用于获取在目标视频流的历史视频帧中目标物体对应的历史检测区域；第二获取单元，用于根据历史检测区域和当前检测区域，获取确定后的当前检测区域；定位单元，用于基于确定后的当前检测区域，对目标物体进行关键点定位，得到第一物体关键点集；第三获取单元，用于获取在目标视频流的历史视频帧中目标物体对应的第二物体关键点集；调整单元，用于根据第二物体关键点集的位置对第一物体关键点集的位置进行稳定调整，得到当前视频帧中的当前目标物体关键点集的位置。根据本专利技术实施例的另一方面，还提供了一种图像处理装置。该装置包括：检测单元，用于对目标视频流的当前视频帧中的目标物体进行检测，获得对目标物体的当前检测区域；获取单元，用于根据在目标视频流的历史视频帧中目标物体对应的历史检测区域和当前检测区域，获取确定后的当前检测区域；定位单元，用于基于确定后的当前检测区域，对目标物体进行关键点定位，得到第一物体关键点集；第一调整单元，用于根据在历史视频帧中目标物体对应的第二物体关键点集的位置，对第一物体关键点集的位置进行稳定调整，得到当前视频帧中的当前目标物体关键点集的位置；识别单元，用于根据当前目标物体关键点集的位置，从当前视频帧中识别出目标物体的部位；第二调整单元，用于对识别出的目标物体的部位进行调整处理；显示单元，用于显示调整处理后的目标物体的图像。根据本专利技术实施例的另一方面，还提供了一种存储介质。该存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行本专利技术实施例的物体关键点的定位方法。在本专利技术实施例中，由于从目标视频流的当前视频帧中，检测目标物体的当前物体检测区域，并根据历史视频帧中的目标物体对应的历史检测区域和当前检测区域，获取确定后的当前检测区域，基于确定后的当前检测区域，对目标物体进行关键点定位，得到第一物体关键点集，根据在目标视频流的历史视频帧中目标物体对应的第二物体关键点集的位置，对第一物体关键点集的位置进行稳定调整，得到当前视频帧中的当前目标物体关键点集的位置，实现了对物体关键点进行稳定，避免了视频帧间物体关键点的抖动，从而实现了提高对物体关键点进行定位的准确性的技术效果，进而解决了相关技术对物体关键点进行检测的准确性低的技术问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的一种物体关键点的定位方法的硬件环境的示意图；图2是根据本专利技术实施例的一种物体关键点的定位方法的流程图；图3是根据本专利技术实施例的一种对当前视频帧的当前检测区域进行稳定处理和对当前视频帧中目标物体的关键点集进行稳定处理的示意图；图4是根据本专利技术实施例的一种图像处理方法的流程图；图5是根据本专利技术实施例的一种人体关键点定位方法的流程图；图6是根据本专利技术实施例的一种多框校验的示意图；图7是根据本专利技术实施例的一种视频帧图片的人体检测框的位置变化的示意图；图8是根据本专利技术实施例的一种特征金字塔网络结构的示意图；图9是根据本专利技术实施例的一种人体关键点分布的示意图；图10是根据本专利技术实施例的一种关键点定位的示意图；图11是根据本专利技术实施例的一种对目标人体的人体检测框进行检测的场景示意图；图12是根据本专利技术实施例的一种对目标人体的人体关键点进行检测的场景示意图；图13是根据本专利技术实施例的一种美体功能入口的示意图；图14是根据本专利技术实施例的一种瘦身前后的对比示意图；图15是根据本专利技术实施例的一种物体关键点的定位装置的示意图；图16是根据本专利技术实施例的一种图像处理装置的示意图；以及图17是根据本专利技术实施例的一种电子装置的结构框图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。根据本专利技术实施例的一个方面，提供了一种物体关键点的定位方法，可选地，上述物体关键点的定位方法可以但不限于应用于如图1所示的环境中。其中，图1是根据本专利技术实施例的一本文档来自技高网...

【技术保护点】
1.一种物体关键点的定位方法，其特征在于，包括：对目标视频流的当前视频帧中的目标物体进行检测，获得对所述目标物体的当前检测区域；获取在所述目标视频流的历史视频帧中所述目标物体对应的历史检测区域；根据所述历史检测区域和所述当前检测区域，获取确定后的当前检测区域；基于所述确定后的当前检测区域，对所述目标物体进行关键点定位，得到第一物体关键点集；获取在所述目标视频流的历史视频帧中所述目标物体对应的第二物体关键点集；根据所述第二物体关键点集的位置对所述第一物体关键点集的位置进行稳定调整，得到所述当前视频帧中的当前目标物体关键点集的位置。

【技术特征摘要】
1.一种物体关键点的定位方法，其特征在于，包括：对目标视频流的当前视频帧中的目标物体进行检测，获得对所述目标物体的当前检测区域；获取在所述目标视频流的历史视频帧中所述目标物体对应的历史检测区域；根据所述历史检测区域和所述当前检测区域，获取确定后的当前检测区域；基于所述确定后的当前检测区域，对所述目标物体进行关键点定位，得到第一物体关键点集；获取在所述目标视频流的历史视频帧中所述目标物体对应的第二物体关键点集；根据所述第二物体关键点集的位置对所述第一物体关键点集的位置进行稳定调整，得到所述当前视频帧中的当前目标物体关键点集的位置。2.根据权利要求1所述的方法，其特征在于，根据所述历史检测区域和所述当前检测区域，获取确定后的当前检测区域包括：当所述历史视频帧为与所述当前视频帧相邻的一个所述历史视频帧时，根据所述历史检测区域和所述当前检测区域，获取确定后的当前检测区域。3.根据权利要求2所述的方法，其特征在于，当所述历史视频帧为与所述当前视频帧相邻的一个所述历史视频帧时，根据所述历史检测区域和所述当前检测区域，获取确定后的当前检测区域包括：当所述历史视频帧为与所述当前视频帧相邻的一个所述历史视频帧时，获取所述历史检测区域与所述当前检测区域之间的重叠度；在所述重叠度大于目标阈值的情况下，将所述历史检测区域作为所述确定后的当前检测区域；在所述重叠度小于等于目标阈值的情况下，直接将所述当前检测区域作为确定后的当前检测区域。4.根据权利要求1所述的方法，其特征在于，根据所述第二物体关键点集的位置对所述第一物体关键点集的位置进行稳定调整，得到所述当前视频帧中的当前目标物体关键点集的位置包括：当所述历史视频帧为与所述当前视频帧相邻的一个所述历史视频帧时，将所述第二物体关键点集的位置确定为所述当前目标物体关键点集的位置；或者当所述历史视频帧为与所述当前视频帧相邻的多个所述历史视频帧时，通过多组所述第二物体关键点集的位置对所述第一物体关键点集的位置进行稳定调整，得到所述当前目标物体关键点集的位置，其中，多个所述历史视频帧与多组所述第二物体关键点集一一对应。5.根据权利要求4所述的方法，其特征在于，通过多组所述第二物体关键点集的位置对所述第一物体关键点集的位置进行稳定调整，得到所述当前视频帧中的当前目标物体关键点集的位置包括：从所述第一物体关键点集中确定待稳定调整的第一目标物体关键点的位置；从每组所述第二物体关键点集中，确定与所述第一目标物体关键点对应的第二目标物体关键点的位置，得到多个所述第二目标物体关键点的位置，其中，所述第二目标物体关键点所指示的所述目标物体的部位和所述第一目标物体关键点所指示的所述目标物体的部位相同；获取多个所述第二目标物体关键点的位置的加权和；通过所述目标视频流的帧率确定目标系数；根据所述加权和与所述目标系数对所述第一目标物体关键点的位置进行平滑处理，得到稳定调整后的所述第一目标物体关键点的位置。6.根据权利要求1所述的方法，其特征在于，对目标视频流的当前视频帧中的目标物体进行检测，获得对所述目标物体的当前检测区域包括：对所述当前视频帧进行检测，得到多个第一候选检测区域；将所述多个第一候选检测区域中，与所述历史检测区域的重叠度最大的所述第一候选检测区域，确定为所述当前检测区域。7.根据权利要求6所述的方法，其特征在于，将所述多个第一候选检测区域中，与所述历史检测区域的重叠度最大的所述第一候选检测区域，确定为所述当前检测区域包括：当所述历史视频帧为与所述当前视频帧相邻的一个所述历史视频帧时，将所述多个第一候选检测区域中，与所述历史检测区域的重叠度最大的所述第一候选检测区域，确定为所述当前检测区域。8.根据权利要求6所述的方法，其特征在于，在对目标视频流的当前视频帧中的目标物体进行检测，获得对所述目标物体的当前检测区域之前，所述方法还包括：对与所述当前视频帧相邻的一个所述历史视频帧进行检测，得到多个第二候选检测区域；在与所述当前视频帧相邻的一个所述历史视频帧，为所述目标视频流的第一个视频帧的情况下，将所述多个第二候选检测区域中置信度最大的所述第二候选检测区域，确定为...

【专利技术属性】
技术研发人员：彭伟龙，沈小勇，陈逸伦，孙亚楠，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44