端云协同的媒体数据处理方法、装置、设备及存储介质制造方法及图纸

本公开实施例提供一种端云协同的媒体数据处理方法、装置、设备及存储介质，通过响应于触发目标功能的第一操作，调用目标处理流程，其中，目标处理流程包括本地算法节点和远程算法节点，本地算法节点用于调用在终端设备一侧执行的媒体处理算法，远程算法节点用于调用在服务器一侧执行的媒体处理算法，目标功能用于为待处理媒体数据添加特效；基于目标处理流程，执行对应的本地算法节点和远程算法节点，得到本地算法节点输出的第一处理数据和远程算法节点输出的第二处理数据；通过第一处理数据，和/或第二处理数据，生成第三处理数据，其中，第三处理数据为待处理媒体数据添加特效后的媒体数据，提高了对于复杂特效渲染的渲染效果。果。果。

【技术实现步骤摘要】
端云协同的媒体数据处理方法、装置、设备及存储介质


[0001]本公开实施例涉及互联网
，尤其涉及一种端云协同的媒体数据处理方法、装置、设备及存储介质。

技术介绍

[0002]当前，在例如短视频类、社交媒体类等应用(Application，APP)中，对于用户上传的图片、视频等媒体数据，应用能够提供针对媒体数据的特效渲染能力，为媒体数据添加视觉特效，例如对视频和图像添加虚拟装饰物、添加滤镜等，从而丰富应用的功能和玩法。
[0003]现有技术中，在基于应用的请求，对媒体数据进行特效渲染的过程中，通常是单独执行应用客户端提供的本地算法来实现，或者单独调用服务端提供的远程算法实现。
[0004]然而，对于复杂的特效渲染，现有技术中的方案会存在渲染效果差、渲染耗时长等问题。

技术实现思路

[0005]本公开实施例提供一种端云协同的媒体数据处理方法、装置、设备及存储介质，以克服在进行复杂的特效渲染时存在的渲染效果差、渲染耗时长等问题。
[0006]第一方面，本公开实施例提供一种端云协同的媒体数据处理方法，包括：
[0007]响应于触发目标功能的第一操作，调用目标处理流程，其中，所述目标处理流程包括本地算法节点和远程算法节点，所述本地算法节点用于调用在所述终端设备一侧执行的媒体处理算法，所述远程算法节点用于调用在服务器一侧执行的媒体处理算法，所述目标功能用于为待处理媒体数据添加特效；基于所述目标处理流程，执行对应的本地算法节点和远程算法节点，得到所述本地算法节点输出的第一处理数据和所述远程算法节点输出的第二处理数据；通过所述第一处理数据，和/或所述第二处理数据，生成第三处理数据，其中，所述第三处理数据为所述待处理媒体数据添加特效后的媒体数据。
[0008]第二方面，本公开实施例提供一种端云协同的媒体数据处理装置，包括：
[0009]调用模块，用于响应于触发目标功能的第一操作，调用目标处理流程，其中，所述目标处理流程包括本地算法节点和远程算法节点，所述本地算法节点用于调用在所述终端设备一侧执行的媒体处理算法，所述远程算法节点用于调用在服务器一侧执行的媒体处理算法，所述目标功能用于为待处理媒体数据添加特效；
[0010]执行模块，用于基于所述目标处理流程，执行对应的本地算法节点和远程算法节点，得到所述本地算法节点输出的第一处理数据和所述远程算法节点输出的第二处理数据；
[0011]生成模块，用于通过所述第一处理数据，和/或所述第二处理数据，生成第三处理数据，其中，所述第三处理数据为所述待处理媒体数据添加特效后的媒体数据。
[0012]第三方面，本公开实施例提供一种电子设备，包括：
[0013]处理器，以及与所述处理器通信连接的存储器；
[0014]所述存储器存储计算机执行指令；
[0015]所述处理器执行所述存储器存储的计算机执行指令，以实现如上第一方面以及第一方面各种可能的设计所述的端云协同的媒体数据处理方法。
[0016]第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的端云协同的媒体数据处理方法。
[0017]第五方面，本公开实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的端云协同的媒体数据处理方法。
[0018]本实施例提供的端云协同的媒体数据处理方法、装置、设备及存储介质方法及设备，通过响应于触发目标功能的第一操作，调用目标处理流程，其中，所述目标处理流程包括本地算法节点和远程算法节点，所述本地算法节点用于调用在所述终端设备一侧执行的媒体处理算法，所述远程算法节点用于调用在服务器一侧执行的媒体处理算法，所述目标功能用于为待处理媒体数据添加特效；基于所述目标处理流程，执行对应的本地算法节点和远程算法节点，得到所述本地算法节点输出的第一处理数据和所述远程算法节点输出的第二处理数据；通过所述第一处理数据，和/或所述第二处理数据，生成第三处理数据，其中，所述第三处理数据为所述待处理媒体数据添加特效后的媒体数据。由于本申请是通过目标功能对应目标处理流程中本地算法节点和远程算法节点分别对媒体数据进行处理，再基于本地算法节点和远程算法节点的处理结果，生成添加特效后的媒体数据，实现了对复杂的特效渲染过程的拆分处理，充分利用本地算法节点和远程算法节点的优势，提高对于复杂特效渲染的渲染效果，缩短特效渲染耗时。
附图说明
[0019]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0020]图1为一种应用本公开实施例提供的端云协同的媒体数据处理方法的APP功能页面示意图；
[0021]图2为本公开实施例提供的端云协同的媒体数据处理方法的流程示意图一；
[0022]图3为步骤S101的一种可能的具体实现步骤流程图；
[0023]图4为步骤S102的一种可能的具体实现步骤流程图；
[0024]图5为本公开实施例提供的一种算法系统示意图；
[0025]图6为本公开实施例提供的端云协同的媒体数据处理方法的流程示意图二；
[0026]图7为本公开实施例提供的一种第一处理流程示意图；
[0027]图8为步骤S202的一种可能的具体实现步骤流程图；
[0028]图9为本公开实施例提供的一种生成第三处理数据的过程示意图；
[0029]图10为本公开实施例提供的端云协同的媒体数据处理方法的流程示意图三；
[0030]图11为本公开实施例提供的端云协同的媒体数据处理方法的流程示意图四；
[0031]图12为本公开实施例提供的一种第二处理流程示意图；
[0032]图13为本公开实施例提供的一种适用于第二处理流程的特效融合示意图；
[0033]图14为本公开实施例提供的端云协同的媒体数据处理装置的结构框图；
[0034]图15为本公开实施例提供的一种电子设备的结构示意图；
[0035]图16为本公开实施例提供的电子设备的硬件结构示意图。
具体实施方式
[0036]为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0037]下面对本公开实施例的应用场景进行解释：
[0038]本公开实施例提供的端云协同的媒体数据处理方法，可以应用于涉及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种端云协同的媒体数据处理方法，其特征在于，应用于终端设备，所述方法包括：响应于触发目标功能的第一操作，调用目标处理流程，其中，所述目标处理流程包括本地算法节点和远程算法节点，所述本地算法节点用于调用在所述终端设备一侧执行的媒体处理算法，所述远程算法节点用于调用在服务器一侧执行的媒体处理算法，所述目标功能用于为待处理媒体数据添加特效；基于所述目标处理流程，执行对应的本地算法节点和远程算法节点，得到所述本地算法节点输出的第一处理数据和所述远程算法节点输出的第二处理数据；通过所述第一处理数据，和/或所述第二处理数据，生成第三处理数据，其中，所述第三处理数据为所述待处理媒体数据添加特效后的媒体数据。2.根据权利要求1所述的方法，其特征在于，所述目标处理流程包括第一处理流程，所述第一处理流程中包括串行的第一算法节点和第二算法节点，所述第一算法节点和所述第二算法节点中，其一为所述本地算法节点，另一为所述远程算法节点；所述基于所述目标处理流程，执行对应的本地算法节点和远程算法节点，得到所述本地算法节点输出的第一处理数据和所述远程算法节点输出的第二处理数据，包括：基于所述第一处理流程，执行所述第一算法节点，得到第一输出数据；基于所述第一输出数据，执行第二算法节点，得到第二输出数据；根据所述第一输出数据和所述第二输出数据，获得所述第一处理数据和所述第二处理数据。3.根据权利要求2所述的方法，其特征在于，所述第一算法节点为所述远程算法节点，所述第二算法节点为所述本地算法节点；基于所述第一处理流程，执行所述第一算法节点，得到第一输出数据，包括：获取待处理数据，并对待处理数据进行压缩，得到压缩数据；根据所述压缩数据，生成所述远程算法节点对应的算法请求参数，并基于所述算法请求参数向服务器发送算法请求；接收所述服务器针对所述算法请求返回的响应数据，并根据所述响应数据生成第一输出数据；基于所述第一输出数据，执行第二算法节点，得到第二输出数据，包括：基于所述第一输出数据，调用所述目标本地算法节点对应的功能函数，得到所述第二输出数据。4.根据权利要求3所述的方法，其特征在于，所述待处理数据是基于所述待处理媒体数据得到的图像数据，所述响应数据为所述待处理数据对应的风格迁移图像数据或目标识别数据。5.根据权利要求3所述的方法，其特征在于，所述根据所述响应数据生成第一输出数据，包括：基于所述本地算法节点的节点数据格式，打包所述响应数据，生成第一输出数据，其中，所述节点数据格式表征算法节点对应的功能函数的输入参数的数据格式。6.根据权利要求2所述的方法，其特征在于，所述第一算法节点为本地算法节点，所述第二算法节点为远程算法节点；基于所述第一处理流程，执行所述第一算法节点，得到第一输出数据，包括：
获取待处理数据，并基于所述待处理数据调用所述本地算法节点对应的功能函数，得到所述第一输出数据；基于所述第一输出数据，执行第二算法节点，得到第二输出数据，包括：针对所述第一输出数据进行压缩，得到压缩数据；根据所述压缩数据，生成所述远程算法节点对应的算法请求参数，并基于所述算法请求参数向服务器发送算法请求；接收所述服务器针对所述算法请求返回的响应数据，并根据所述响应数据生成第二处理数据。7.根据权利要求6所述的方法，其特征在于，所述根据所述响应数据生成第二处理数据，包括：基于所述目标处理流程的流程数据格式，打包所述响应数据，生成第一输出数据，其中，所述流程数据格式表征目标处理流程中各算法节点预设的标准数据格式。8.根据权利要求1所述的方法，其特征在于，所述目标处理流程包括第二处理流程，所述第二处理流程包括并行的所述远程算法节点和所述本地算法节点；基于所述目标处理流程，执行对应的本地算法节点和远程算法节点，得到所述本地算法节点输出的第一处理数据和所述远程算法节点输出的第二处理数据，包括：基于所述第二处理流程，并行执行所述本地算法节点和目标远程算法节点，得到所述本地算法节点输出的第一处理数据和所述远程算法节点输出的第二处理数据...

【专利技术属性】
技术研发人员：刘纯，陈清瑜，
申请(专利权)人：脸萌有限公司，
类型：发明
国别省市：