一种图像处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种图像处理方法、装置、电子设备及存储介质，该方法包括：确定当前视频帧的至少一个目标肢体关键点；根据至少一个目标肢体关键点和与当前视频帧相邻的至少一幅历史视频帧的历史肢体关键点，确定至少一个当前特效关键点；根据预设特效参数获取至少一幅历史视频帧的历史特效关键点，并根据至少一个当前特效关键点和历史特效关键点，确定与预设特效参数相匹配的至少一组目标特效；基于至少一组目标特效，确定与当前视频帧对应的目标视频帧。解决了根据视频中的目标主体的运动轨迹确定的特效线条较为生硬，影响特效效果，导致用户体验感较差的问题，实现了根据主体的运动轨迹添加的特效线条更加平滑柔和的特效效果。轨迹添加的特效线条更加平滑柔和的特效效果。轨迹添加的特效线条更加平滑柔和的特效效果。

【技术实现步骤摘要】
一种图像处理方法、装置、电子设备及存储介质


[0001]本专利技术实施例涉及图像处理
，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

技术介绍

[0002]随着短视频的普及，越来越多的用户通过终端设备拍摄相应的视频信息。为了进一步提高视频内容的趣味性，通常会为视频中的用户添加相应的特效。在具体的场景中，添加的特效可以通过相应的肢体关键点来定位，现有确定肢体关键点的方式主要包括2D肢体关键点识别方法和3D肢体关键点识别方法，其原理是基于各视频帧中的肢体关键点的位置，为各肢体关键点添加特效，但是根据各肢体关键点确定的特效效果，存在特效效果生硬的问题，进而影响用户的使用体验。

技术实现思路

[0003]本专利技术提供一种图像处理方法、装置、电子设备及存储介质，以实现根据主体的运动轨迹添加的特效更加平滑柔和，从而提高用户使用体验的技术效果。
[0004]第一方面，本专利技术实施例提供了一种图像处理方法，该方法包括：
[0005]确定当前视频帧的至少一个目标肢体关键点；
[0006]根据所述至少一个目标肢体关键点和与当前视频帧相邻的至少一幅历史视频帧的历史肢体关键点，确定至少一个当前特效关键点；
[0007]根据预设特效参数获取至少一幅历史视频帧的历史特效关键点，并根据所述至少一个当前特效关键点和所述历史特效关键点，确定与所述预设特效参数相匹配的至少一组目标特效；
[0008]基于所述至少一组目标特效，确定与所述当前视频帧对应的目标视频帧。
[0009]第二方面，本专利技术实施例还提供了一种图像处理装置，该装置包括：
[0010]目标肢体关键点确定模块，用于确定当前视频帧的至少一个目标肢体关键点；
[0011]当前特效关键点确定模块，用于根据所述至少一个目标肢体关键点和与当前视频帧相邻的至少一幅历史视频帧的历史肢体关键点，确定至少一个当前特效关键点；
[0012]目标特效组确定模块，用于根据预设特效参数获取至少一幅历史视频帧的历史特效关键点，并根据所述至少一个当前特效关键点和所述历史特效关键点，确定与所述预设特效参数相匹配的至少一组目标特效；
[0013]目标视频帧确定模块，用于基于所述至少一组目标特效，确定与所述当前视频帧对应的目标视频帧。
[0014]第三方面，本专利技术实施例还提供了一种电子设备，所述电子设备包括：
[0015]一个或多个处理器；
[0016]存储装置，用于存储一个或多个程序，
[0017]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理
器实现如本公开实施例任一所述的图像处理方法。
[0018]第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的图像处理方法。
[0019]本公开实施例的技术方案，确定当前视频帧的至少一个目标肢体关键点，根据目标肢体关键点可以获得与该目标肢体关键点相对应的各历史视频帧中的历史肢体关键点，然后确定与目标肢体关键点相对应的肢体关键点组，进而对各肢体关键组添加特效。根据所述至少一个目标肢体关键点和与当前视频帧相邻的至少一幅历史视频帧的历史肢体关键点，确定至少一个当前特效关键点，然后根据各历史视频帧的生成时间确定相对应的权重值，对各肢体关键点进行平滑处理，使各关键点之间的连线更加柔和。根据预设特效参数获取至少一幅历史视频帧的历史特效关键点，并根据所述至少一个当前特效关键点和所述历史特效关键点，确定与所述预设特效参数相匹配的至少一组目标特效，根据预设特效参数以及历史肢体关键点，可以获得与预设特效参数相匹配的多组目标特效。基于所述至少一组目标特效，确定与所述当前视频帧对应的目标视频帧，并基于目标视频帧为用户展示更加流畅柔和的视频特效。解决了根据视频中的目标主体的运动轨迹确定的特效线条较为生硬，影响特效效果，导致用户体验感较差的问题，实现了根据主体的运动轨迹添加的特效线条更加平滑柔和的特效效果。
附图说明
[0020]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
[0021]图1为本公开实施例一提供的一种图像处理方法的流程示意图；
[0022]图2为本公开实施例一提供的一种目标肢体关键点与历史肢体关键点处理前的连线示意图；
[0023]图3为本公开实施例一提供的一种目标肢体关键点与历史肢体关键点处理后的连线示意图；
[0024]图4为本公开实施例二提供的一种图像处理方法的流程示意图；
[0025]图5为本公开实施例二提供的一种目标效果曲面的示意图；
[0026]图6为本公开实施例二提供的一种目标效果曲面尾端渐隐的示意图；
[0027]图7为本公开实施例二提供的一种目标效果曲面进行柔和处理后的示意图；
[0028]图8为本公开实施例三提供的一种图像处理方法的流程示意图；
[0029]图9为本公开实施例四所提供的一种图像处理装置结构示意图；
[0030]图10为本公开实施例五所提供的一种电子设备的结构示意图。
具体实施方式
[0031]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的
是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0032]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0033]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0034]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0035]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0036]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0037]随着短视频的普及，为了使短视频的画面更加酷炫，可以为该视频添加特效功能，本公开实施例可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：确定当前视频帧的至少一个目标肢体关键点；根据所述至少一个目标肢体关键点和与当前视频帧相邻的至少一幅历史视频帧的历史肢体关键点，确定至少一个当前特效关键点；根据预设特效参数获取至少一幅历史视频帧的历史特效关键点，并根据所述至少一个当前特效关键点和所述历史特效关键点，确定与所述预设特效参数相匹配的至少一组目标特效；基于所述至少一组目标特效，确定与所述当前视频帧对应的目标视频帧。2.根据权利要求1所述的方法，其特征在于，所述确定当前视频帧的至少一个目标肢体关键点，包括：采用肢体关键点识别算法，确定所述当前视频帧中的至少一个目标肢体关键点；或，采用预先训练的肢体关键点识别模型，对所述当前视频帧进行处理，得到与所述当前视频帧相对应的至少一个目标肢体关键点。3.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个目标肢体关键点和与当前视频帧相邻的至少一幅历史视频帧的历史肢体关键点，确定至少一个当前特效关键点，包括：确定属于同一部位的各肢体关键点，作为一个肢体关键点组；其中，所述肢体关键点组中包括目标肢体关键点和/或历史肢体关键点；针对各肢体关键点组，根据当前肢体关键点组中历史肢体关键点的权重值和相应关键点坐标，确定待处理关键点；根据各肢体关键点组所对应的待处理关键点和相应的目标关键点，确定与各肢体关键点组相对应的当前特效关键点。4.根据权利要求3所述的方法，其特征在于，所述根据当前肢体关键点组中历史肢体关键点的权重值和相应的关键点坐标，确定待处理关键点，包括：根据各历史视频帧的生成时间，确定各历史视频帧的权重值；其中，所述权重值的大小与所述生成时间成反比；通过计算历史肢体关键点的关键点坐标和相应权重值的乘积，得到中间值，并通过对各中间值进行累加，得到所述待处理关键点。5.根据权利要求1所述的方法，其特征在于，所述预设特效参数包括特效条显示长度，所述根据预设特效参数获取至少一幅历史视频帧的历史特效关键点，包括：根据所述特效条显示长度，获取当前视频帧之前的至少一幅历史视频帧的历史特效关键点。6.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个当前特效关键点和所述历史特效关键点，确定与所述预设特效参数相匹配的至少一组目标特效，包括：通过对同一部位的历史特效关键点和当前特效关键点进行处理，得到与所述预设特效参数相匹配的多组目标特效。7.根据权利要求1所述的方法，其特征在于，根据所述至少一个当前特效关键点和所述历史特效关键点，确定与所述预设特效参数相匹配的至少一组目标特效，包括：根据与当前视频帧对应的目标效果曲面，确定所述当前特效关键点的当前待处理渲染
效果，以及更新历史特效关键点在所述当前视频帧中的历史渲染效果；根据同一部位的历史渲染效果和所述当前待处理渲染效果，确定与所述预设特效参数相匹配的多组目标特效；其中，所述目标效果曲面中的各目标字段的总长度与所述预设特效参数中特效条的长度参数相匹配。8.根据权利要求7所述的方法，其特征在于，还包括：创建与所述目标特效相对应的待处理曲面；确定所述待处理曲面中各横坐标所对应的纵坐标值，并基于各纵坐标值，确定待使用曲面；确定所述待使用曲面中各个点的渲染效果，得到目标效果曲面。9.根据权利要求7所述的方法，其特征在于，所述根据生成的目标效果曲面，确定所述当前特效关键点的当前待处理渲染效果，以及更新历史特效关键点在所述当前视频帧中的历史渲染效果，包括：根据历史特效关键点所属...

【专利技术属性】
技术研发人员：邱达裕，罗孺冲，余煜斌，刘慧琳，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：