System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、装置、设备及存储介质制造方法及图纸_技高网

数据处理方法、装置、设备及存储介质制造方法及图纸

技术编号:40604027 阅读:3 留言:0更新日期:2024-03-12 22:09
本申请提供了一种数据处理方法、装置、设备及存储介质,涉及数据处理技术领域。该方法包括:在获取到的第一真实帧图像和第二真实帧图像之间满足插帧条件时,对第一真实帧图像进行处理,得到第一图像和用于标记第一图像中的待填充像素和有效像素的掩膜图像,逐像素采样掩膜图像的掩膜数据,确定第一图像中的各像素是否为待填充像素,并利用从内存中读取的第一真实帧图像的颜色数据对第一图像中的待填充像素进行颜色填充,生成在第一真实帧图像和第二真实帧图像之间显示的预测帧图像;其中,第一图像中的有效像素的颜色数据被保留。该技术方案可显著减少访存次数和单次访存的数据量,降低了设备功耗,解决了设备发热问题。

【技术实现步骤摘要】

本申请涉及数据处理,尤其涉及一种数据处理方法、装置、设备及存储介质


技术介绍

1、随着计算机图形学的不断深入发展,图像渲染作为计算机图形学中最重要的研究课题,成为图像处理中的一项重要技术。帧预测技术主要用于提升帧率,减少图像渲染过程中的卡顿感以及降低游戏渲染功耗。

2、目前,为了降低图像渲染过程中需要处理的数据量,通常采用纹理压缩技术,但该纹理压缩技术只能对离线创建的图像纹理数据进行处理,在图像渲染过程中需要在线执行多次的图像纹理数据读取和渲染目标写入的操作,会出现功耗高的情况,存在设备发热的问题。


技术实现思路

1、本申请实施例提供一种数据处理方法、装置、设备及存储介质,以解决图像渲染过程中存在的功耗高、设备发热的问题。

2、本申请第一方面提供一种数据处理方法,该方法可以由电子设备中的图形处理器gpu执行,gpu在接收到中央处理器cpu的渲染指令,执行渲染操作的过程中,还可以执行下述数据处理方法。可选的,该数据处理方法包括:gpu获取第一真实帧图像和第二真实帧图像,并在所述第一真实帧图像和所述第二真实帧图像之间满足插帧条件时,对所述第一真实帧图像进行处理,得到第一图像和所述第一图像的掩膜图像,所述掩膜图像用于标记所述第一图像中的待填充像素和有效像素,从而在对第一图像进行像素填充的过程中,逐像素采样所述掩膜图像的掩膜数据,确定所述第一图像中的各像素是否为待填充像素,并对于所述第一图像中的任一待填充像素,再从内存中读取所述第一真实帧图像的颜色数据,并利用所述颜色数据对所述第一图像中的所述待填充像素进行颜色填充,生成在所述第一真实帧图像和所述第二真实帧图像之间显示的预测帧图像;其中,所述第一图像中的有效像素的颜色数据被保留。

3、在本申请的实施例中,在gpu生成的两相邻真实帧图像之间满足插帧条件时,对第一真实帧图像进行处理生成具有待填充像素的第一图像和第一图像对应的掩膜图像,这样在对第一图像中待填充像素进行像素填充的过程中,通过采样掩膜图像中的掩膜数据,可以确定出第一图像中的待填充像素和有效像素,从而不对有效像素进行处理,保留了第一图像中有效像素的颜色数据,针对第一图像中的任一待填充像素,再从内存中读取第一真实帧图像的颜色数据,并利用该颜色数据对第一图像中缺失像素数据的待填充像素进行颜色填充,从而可得到用于在第一真实帧图像和第二真实帧图像之间显示的预测帧图像。通过生成预测帧图像进行插帧显示提高了图像的显示帧率,同时,图像渲染过程中,仅对第一图像中的待填充像素进行数据填充,保留第一图像中的有效像素,复用了像素填充算法的中间数据,在保证预测帧图像颜色完整的前提下,显著减少了访存次数和单次访存的数据量,有效降低了设备功耗,解决了设备发热问题。

4、在第一方面的一种可能实现方式中,所述插帧条件包括连续两真实帧图像之间的运动幅度小于幅度阈值和真实帧图像中不存在半透明对象。通过设置插帧条件使得gpu在满足插帧条件时再进行插帧处理,从而可保证生成预测帧图像的质量,进而提高图像的视觉效果。

5、可选的,在所述获取第一真实帧图像和第二真实帧图像之后,所述方法还包括:判定所述第一真实帧图像中是否存在半透明对象;响应于所述第一真实帧图像中不存在半透明对象,计算所述第一真实帧图像和所述第二真实帧图像之间的第一运动幅度;判定所述第一运动幅度是否小于幅度阈值;响应于所述第一运动幅度小于幅度阈值,确定所述第一真实帧图像和所述第二真实帧图像之间满足插帧条件;响应于所述第一真实帧图像中存在半透明对象和/或所述第一运动幅度大于或等于幅度阈值,确定所述第一真实帧图像和所述第二真实帧图像之间不满足插帧条件。

6、可理解,在实际应用中,不限定两个插帧条件的执行顺序,其可以根据实际场景确定。

7、在该可能实现方式中,在第一真实帧图像中不存在半透明对象且第一真实帧图像和第二真实帧图像之间的第一运动幅度小于幅度阈值时,确定第一真实帧图像和第二真实帧图像之间满足插帧条件,而在第一真实帧图像中存在半透明对象和/或第一运动幅度大于或等于幅度阈值,确定第一真实帧图像和第二真实帧图像之间不满足插帧条件。这样,能够有效减少或避免质量差预测帧图像的出现,实现了在提高帧率的基础上,保证插帧质量的目的。

8、在第一方面的一种可能实现方式中,所述从内存中读取所述第一真实帧图像的颜色数据,并利用所述颜色数据对所述第一图像中的所述待填充像素进行颜色填充,包括:在所述第一图像中,确定所述待填充像素的至少一个候选参考像素;根据各候选参考像素所属的对象类别,确定出所述至少一个候选参考像素中的目标参考像素;根据所述目标参考像素和所述第一真实帧图像的关系,通过读内存,确定所述目标参考像素的颜色数据;基于所述目标参考像素的颜色数据对所述待填充像素进行颜色填充。

9、在该可能实现方式中,基于第一真实帧图像中有效像素的颜色数据对第一图像中的待填充像素进行颜色填充的过程中,首先确定候选参考像素,再基于像素所属对象类别确定目标参考像素,从内存读取目标参考像素的颜色数据,从而实现了对待填充像素的颜色填充。即,从内存中读取目标参考像素的颜色数据,在保证预测帧图像颜色完整的前提下,显著减少了访存次数和单次访存的数据量,有效降低了设备功耗。

10、可选的,在所述第一图像中,确定所述待填充像素的候选参考像素,包括:以所述待填充像素所在的位置为起点,随机移动到所述第一图像中的第一位置;若所述第一位置处的像素不是待填充像素,则确定所述第一位置处的像素为所述待填充像素的候选参考像素;若所述第一位置处的像素是待填充像素,则以所述第一位置为起点,继续在所述第一图像中随机移动,直到移动到不是待填充像素的第二位置,并将所述第二位置确定为所述待填充像素的候选参考像素。本实施例中,通过随机移动查找可以确定待填充像素的候选参考像素,为后续确定目标参考像素奠定了基础。

11、可选的,所述基于所述目标参考像素的颜色数据对所述待填充像素进行颜色填充,包括:根据所述目标参考像素对应的权重和所述目标参考像素的颜色数据,确定所述目标参考像素的有效颜色数据;将所述有效颜色数据累加到所述待填充像素的已有颜色数据中,直到所述待填充像素的颜色累加次数等于第一阈值,得到所述待填充像素的当前颜色数据;利用所述当前颜色数据除以所述第一阈值,得到所述待填充像素的第一颜色数据;将所述第一颜色数据写入所述第一图像中所述待填充像素的位置。基于目标参考像素的权重值是基于待填充像素与目标参考像素的距离来定义的,这样可准确的确定目标参考像素的有效颜色数据,再基于第一阈值的颜色累加次数来求实际要填充到待填充像素的颜色数据,这样可提高待填充像素的颜色质量,进而保证填充效果。

12、在第一方面的一种可能实现方式中,所述对所述第一真实帧图像进行处理,得到第一图像和所述第一图像的掩膜图像,包括:根据所述第一真实帧图像中各像素所属的对象类别,采用运动矢量对所述第一真实帧图像执行两次图像扭曲操作,生成第一图像;根据所述第一图像中各像素是否存在本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述插帧条件包括连续两真实帧图像之间的运动幅度小于幅度阈值和真实帧图像中不存在半透明对象。

3.根据权利要求2所述的方法,其特征在于,在所述获取第一真实帧图像和第二真实帧图像之后,所述方法还包括:

4.根据权利要求1至3任一项所述的方法,其特征在于,所述从内存中读取所述第一真实帧图像的颜色数据,并利用所述颜色数据对所述第一图像中的所述待填充像素进行颜色填充,包括:

5.根据权利要求4所述的方法,其特征在于,在所述第一图像中,确定所述待填充像素的候选参考像素,包括:

6.根据权利要求4所述的方法,其特征在于,所述基于所述目标参考像素的颜色数据对所述待填充像素进行颜色填充,包括:

7.根据权利要求1至6任一项所述的方法,其特征在于,所述对所述第一真实帧图像进行处理,得到第一图像和所述第一图像的掩膜图像,包括:

8.根据权利要求1至6任一项所述的方法,其特征在于,所述对所述第一真实帧图像进行处理,得到第一图像和所述第一图像的掩膜图像,包括:

9.根据权利要求8所述的方法,其特征在于,所述根据各像素所属的对象类别,采用运动矢量对所述第一真实帧图像和所述掩膜纹理图分别执行两次图像扭曲操作,生成第一图像和所述第一图像的掩膜图像,包括:

10.根据权利要求1至9任一项所述的方法,其特征在于,所述逐像素采样所述掩膜图像的掩膜数据,确定所述第一图像中的各像素是否为待填充像素,包括:

11.根据权利要求10所述的方法,其特征在于,所述掩膜图像是二值图,所述第一数值等于1,所述第二数值等于0。

12.一种数据处理装置,其特征在于,包括:

13.一种电子设备,其特征在于,包括:存储器和处理器,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序,以执行如权利要求1-11任一项所述的数据处理方法。

14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有指令,当所述指令被执行时,使得计算机执行如权利要求1-11任一项所述的数据处理方法。

15.一种计算机程序产品,其特征在于,包括计算机程序,当所述计算机程序被运行时,使得电子设备执行如权利要求1-11任一项所述的数据处理方法。

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述插帧条件包括连续两真实帧图像之间的运动幅度小于幅度阈值和真实帧图像中不存在半透明对象。

3.根据权利要求2所述的方法,其特征在于,在所述获取第一真实帧图像和第二真实帧图像之后,所述方法还包括:

4.根据权利要求1至3任一项所述的方法,其特征在于,所述从内存中读取所述第一真实帧图像的颜色数据,并利用所述颜色数据对所述第一图像中的所述待填充像素进行颜色填充,包括:

5.根据权利要求4所述的方法,其特征在于,在所述第一图像中,确定所述待填充像素的候选参考像素,包括:

6.根据权利要求4所述的方法,其特征在于,所述基于所述目标参考像素的颜色数据对所述待填充像素进行颜色填充,包括:

7.根据权利要求1至6任一项所述的方法,其特征在于,所述对所述第一真实帧图像进行处理,得到第一图像和所述第一图像的掩膜图像,包括:

8.根据权利要求1至6任一项所述的方法,其特征在于,所述对所述第一真实帧图像进行处理,得到第一图像和所述第一图像的掩膜图像,包括:

...

【专利技术属性】
技术研发人员:刘智超
申请(专利权)人:荣耀终端有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1