直播特效渲染方法、装置、设备、可读存储介质及产品制造方法及图纸

本公开实施例提供一种直播特效渲染方法、装置、设备、可读存储介质及产品，该方法包括：获取虚拟现实直播内容对应的直播图像帧以及预设的目标特效；确定所述直播图像帧中至少部分目标对象对应的关键点信息；根据所述目标特效以及所述关键点信息对所述直播图像帧进行特效渲染操作，获得目标图像帧；显示所述目标图像帧。从而能够将特效处理的区域集中在关键点信息关联的位置，有效地缩小了需要进行特效处理的区域，提高特效处理的效率。提高特效处理的效率。提高特效处理的效率。

【技术实现步骤摘要】
直播特效渲染方法、装置、设备、可读存储介质及产品


[0001]本公开实施例涉及图像处理
，尤其涉及一种直播特效渲染方法、装置、设备、可读存储介质及产品。

技术介绍

[0002]VR全景直播一般采用双目摄像头实时拍摄，VR直播实时一般采用8k视频帧(7680*4320)或以上，对比传统2K(2048*未指定值)，720P(1280*720)，属于超高清视频帧。由于直播过程中对时延的要求，实际留给特效渲染的时间比较短。因此，需要在有限的时间内完成8k画面的算法和特效的渲染，保证VR直播良好体验。而如何保证VR直播过程的快速特效渲染成为了亟待解决的技术问题。

技术实现思路

[0003]本公开实施例提供一种直播特效渲染方法、装置、设备、可读存储介质及产品，用于解决VR直播场景中，对采集的超高清视频帧进行特效渲染速度较慢，无法保证直播效果的技术问题。
[0004]第一方面，本公开实施例提供一种直播特效渲染方法，包括：
[0005]获取虚拟现实直播内容对应的直播图像帧以及预设的目标特效；
[0006]确定所述直播图像帧中至少部分目标对象对应的关键点信息；
[0007]根据所述目标特效以及所述关键点信息对所述直播图像帧进行特效渲染操作，获得目标图像帧；
[0008]显示所述目标图像帧。
[0009]第二方面，本公开实施例提供一种直播特效渲染装置，包括：
[0010]获取模块，用于获取虚拟现实直播内容对应的直播图像帧以及预设的目标特效；
[0011]确定模块，用于确定所述直播图像帧中至少部分目标对象对应的关键点信息；
[0012]渲染模块，用于根据所述目标特效以及所述关键点信息对所述直播图像帧进行特效渲染操作，获得目标图像帧；
[0013]显示模块，用于显示所述目标图像帧。
[0014]第三方面，本公开实施例提供一种电子设备，包括：处理器和存储器；
[0015]所述存储器存储计算机执行指令；
[0016]所述处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的直播特效渲染方法。
[0017]第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的直播特效渲染方法。
[0018]第五方面，本公开实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的直播特效渲
染方法。
[0019]本实施例提供的直播特效渲染方法、装置、设备、可读存储介质及产品，通过在获取虚拟现实直播内容对应的直播图像帧之后，确定直播图像帧中的关键点信息，将根据该关键点信息对直播图像帧中与关键点信息关联的位置进行特效渲染操作，从而能够将特效处理的区域集中在关键点信息关联的位置，有效地缩小了需要进行特效处理的区域，进而能够提高特效处理的效率。
附图说明
[0020]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0021]图1为本公开所基于的系统架构示意图；
[0022]图2为本公开实施例提供的直播特效渲染方法的流程示意图；
[0023]图3为本公开实施例提供的外扩示意图；
[0024]图4为本公开又一实施例提供的直播特效渲染方法的流程示意图；
[0025]图5为本公开实施例提供的应用场景示意图；
[0026]图6为本公开又一实施例提供的直播特效渲染方法的流程示意图；
[0027]图7为本公开又一实施例提供的直播特效渲染方法的流程示意图；
[0028]图8为本公开实施例提供的界面交互示意图；
[0029]图9为本公开实施例提供的又一界面交互示意图；
[0030]图10为本公开实施例提供的又一界面交互示意图；
[0031]图11为本公开实施例提供的直播特效渲染装置的结构示意图；
[0032]图12为本公开实施例提供的电子设备的结构示意图。
具体实施方式
[0033]为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0034]为了解决VR直播场景中，对采集的超高清视频帧进行特效渲染速度较慢，无法保证直播效果的技术问题，本公开提供了一种直播特效渲染方法、装置、设备、可读存储介质及产品。
[0035]需要说明的是，本公开提供的直播特效渲染方法、装置、设备、可读存储介质及产品可以应用在任意一种VR场景中图像渲染的场景中。
[0036]现有的VR全景直播采用双目摄像头进行实时拍摄，通常采用8k视频帧(7680*4320)或以上，对比传统2K(2048*未指定值)，720P(1280*720)，属于超高清视频帧。8K单帧数据量为7680*4320*4Byte＝126MB，直播帧率一般要求30
‑
60fps，单帧时延上限16ms
‑
33ms，实际留给特效渲染的时间窗口可能会更短，需要在有限的时间内完成8k画面的算法
和特效的渲染，保证VR直播良好体验。
[0037]在解决上述技术问题的过程中，专利技术人通过研究发现，为了能够提高特效渲染的速度，保证VR直播良好体验，可以采用图形处理器进行特效渲染操作，并采用中央处理器进行识别、检测操作。为了进一步地提高特效渲染速度，可以将特效渲染的范围集中在主播身上或者周围，因此可以缩小实际需要处理的像素区域。此外，由于直播图像帧的数据量较大，需要避免cpu和gpu之间数据传输耗时。因此，在将图形处理器获取到的直播图像帧发送至中央处理器之前，可以对直播图像帧进行压缩操作和/或裁剪操作，以降低传输数据量，提高传输速度。
[0038]图1为本公开所基于的系统架构示意图，如图1所示，本公开所基于的系统架构至少包括：双目图像采集装置11以及服务器12，其中，服务器12中设置有图形处理器以及中央处理器，该图形处理器以及中央处理器中设置有直播特效渲染装置，该直播特效渲染装置可采用C/C++、Java、Shell或Python等语言编写。
[0039]图2为本公开实施例提供的直播特效渲染方法的流程示意图，如图2所示，该方法包括：
[0040]步骤201、获取虚拟现实直播内容对应的直播图像帧以及预设的目标特效。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种直播特效渲染方法，其特征在于，包括：获取虚拟现实直播内容对应的直播图像帧以及预设的目标特效；确定所述直播图像帧中至少部分目标对象对应的关键点信息；根据所述目标特效以及所述关键点信息对所述直播图像帧进行特效渲染操作，获得目标图像帧；显示所述目标图像帧。2.根据权利要求1所述的方法，其特征在于，所述根据所述目标特效以及所述关键点信息对所述直播图像帧进行特效渲染操作，获得目标图像帧，包括：根据所述至少部分目标对象对应的关键点信息在所述直播图像帧中确定至少部分目标对象所在的目标区域；若所述目标特效为应用于局部的特效，则针对至少部分目标区域，根据所述目标特效对所述目标区域进行局部渲染操作，获得所述目标区域渲染结果；针对至少部分目标区域，将所述目标区域渲染结果覆盖至所述直播图像帧中，获得所述目标图像帧。3.根据权利要求2所述的方法，其特征在于，所述根据所述目标特效对所述目标区域进行局部渲染操作，包括：若检测到所述目标特效满足预设的外扩条件，则按照预设的区域外扩算法对所述目标区域进行外扩操作，获得待渲染区域；根据所述目标特效对所述待渲染区域进行局部渲染操作。4.根据权利要求1所述的方法，其特征在于，所述根据所述目标特效以及所述关键点信息对所述直播图像帧进行特效渲染操作，获得目标图像帧，包括：若所述目标特效为应用于全局的特效，则根据所述目标特效对所述直播图像帧进行特效渲染操作，获得所述目标图像帧。5.根据权利要求1所述的方法，其特征在于，所述确定所述直播图像帧中至少部分目标对象对应的关键点信息，包括：通过预设的中央处理器确定所述直播图像帧中至少部分目标对象对应的关键点信息；所述根据所述目标特效以及所述关键点信息对所述直播图像帧进行特效渲染操作，获得目标图像帧，包括：通过预设的图形处理器根据所述目标特效以及所述关键点信息对所述直播图像帧进行特效渲染操作，获得目标图像帧。6.根据权利要求1或2所述的方法，其特征在于，所述确定所述直播图像帧中至少部分目标对象对应的关键点信息，包括：对所述直播图像帧进行尺寸调整操作，获得调整后的直播图像帧；通过中央处理器确定所述调整后的直播图像帧中至少部分目标对象对应的关键点信息。7.根据权利要求1或2所述的方法，其特征在于，所述确定所述直播图像帧中至少部分目标对象对应的关键点信息，包括：通过图形处理器对所述直播图像帧进行第一缩放操作，获得第一预设分辨率的直播图像帧，将所述第一预设分辨率的直播图像帧发送至中央处理器；
通过所述中央处理器根据预设的第一检测算法检测所述第一预设分辨率的直播图像帧中至少部分目标对象对应的预测区域，将所述至少部分目标对象对应的预测区域发送至所述图形处理器；通过所述图形处理器根据所述预测区域对所述直播图像帧中的至少部分目标对象进行裁剪操作，获得至少部分预测区域对应的原始像素图，将所述至少部分预测区域对应的原始像素图发送至所述中央处理器；通过所述中央处理器根据预设的第二检测算法确定至少部分预测区域中目标对象对应的关键点。8.根据权利要求7所述的方法，其特征在于，所述将所述至少部分预测区域对应的原始像素图发送至所述中央处理器，包括：通过图形处理器对所述至少部分预测区域对应的原始像素图进行第二缩放操作，获得至少部分预测区域对应的第二预设分辨率的原始像素图；将所述至少部分预测区域对应的第二预设分辨率的原始像素图发送至所述中央处理器。9.根据权利要求1或2所述的方法，其特征在于，所述关键点信息中包括目标对象对应的多个关键点的坐标信息；所述根据所述目标特效以及所述关键点信息对所述直播图像帧进行特效渲染操作，获得目标图像帧，包括：通过图形处理器根据所述至少部分目标对象对应的关键点信息在所述直播图像帧中确定至少部分目标对象所在的目标区域；针对所述目标区域，采用与所述目标特效相匹配的渲染方式对所述目标区域或者所述直播图像帧进行特效渲染操作，获得所述目标图像帧。10.根据权利要求1所述的方法，其特征在于，所述获取虚拟现实直播内容对应的直播图像帧以及...

【专利技术属性】
技术研发人员：张毅，李嘉维，陈思颖，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：