数据处理方法、电子设备及计算机可读存储介质技术

技术编号:37989454 阅读:6 留言:0更新日期:2023-06-30 10:04
本申请公开了一种数据处理方法、电子设备及计算机可读存储介质。该方法应用于客户端时,包括:获取动作特征数据;动作特征数据包括多帧数据;将每帧数据转换成对应的第一图像,得到视频流;基于目标视频流传输协议将视频流发送至服务器端,以使服务器端基于视频流确定驱动虚拟对象动作的动作特征数据。如此,客户端不是以数据包的形式直接向服务器端发送驱动虚拟对象动作的动作特征数据,而是以视频流的形式将动作特征数据发送给服务器端,由于目前基于目标视频流传输协议进行视频流的传输具有实时性,因此,能够避免客户端向服务器端传输动作特征数据产生的延时问题,从而提升虚拟对象动作变化的实时性,提升用户体验。提升用户体验。提升用户体验。

【技术实现步骤摘要】
数据处理方法、电子设备及计算机可读存储介质


[0001]本申请涉及信息
,尤其涉及一种数据处理方法、电子设备及计算机可读存储介质。

技术介绍

[0002]对于将虚拟对象应用于虚拟现实会议中的场景,需要将现实内容在虚拟空间中进行映射,并实时反馈真实对象的动作变化数据,如口型、面部表情和肢体动作变化数据等等。基于目前的网络环境,反馈真实对象的动作变化数据过程中常常会出现延时问题,从而导致虚拟现实会议进行过程中出现音频中断、屏幕乱码、动作卡顿等现象,造成虚拟对象的口型和真实对象对应不上,或者肢体动作缓慢,降低了虚拟现实会议的真实感和互动感。

技术实现思路

[0003]有鉴于此,本申请实施例提供了一种数据处理方法、电子设备及计算机可读存储介质。
[0004]根据本申请第一方面,本申请实施例提供了一种数据处理方法,应用于客户端,包括:获取动作特征数据;动作特征数据包括多帧数据;将每帧数据转换成对应的第一图像,得到视频流;基于目标视频流传输协议将视频流发送至服务器端,以使服务器端基于视频流确定驱动虚拟对象动作的动作特征数据。
[0005]可选地,获取动作特征数据,包括:获取真实对象的多张第二图像;提取每张第二图像的特征,得到动作特征数据。
[0006]可选地,将每帧数据转换成对应的第一图像,得到视频流,包括:将每帧数据作为像素值写入图片数据,形成对应的第一图像;按照每帧数据的时间戳对第一图像进行排序,形成视频流。
[0007]可选地,将每帧数据作为像素值写入图片数据,形成对应的第一图像,包括:将每帧数据作为像素值,多次写入图片数据,形成对应的第一图像。
[0008]根据本申请第二方面,本申请实施例提供了一种数据处理方法,应用于服务器端,包括:基于目标视频流传输协议获取客户端发送的视频流;视频流包括多帧第一图像;多帧第一图像用于表征动作特征数据;将每帧第一图像转换成对应的数据帧,得到用于驱动虚拟对象动作的动作特征数据;基于动作特征数据驱动虚拟对象动作。
[0009]可选地,将每帧第一图像转换成对应的数据帧,得到用于驱动虚拟对象动作的动作特征数据,包括:提取每帧第一图像的像素值,得到对应的数据帧;按照每帧第一图像的时间戳对数据帧进行排序,得到用于驱动虚拟对象动作的动作特征数据。
[0010]可选地,每帧第一图像包括多个相同的子图像,
[0011]在提取每帧第一图像的像素值,得到对应的数据帧之后,数据处理方法还包括:在确定数据帧存在丢帧的情况下,提取每帧第一图像中多个子图像的像素值;将每帧第一图像中多个子图像对应像素点的像素值进行取平均值处理,得到每帧第一图像对应的修改后
的数据帧。
[0012]可选地,在将每帧第一图像中多个子图像对应像素点的像素值进行取平均值处理,得到每帧第一图像对应的修改后的数据帧之后,数据处理方法还包括:在确定修改后的数据帧存在丢帧的情况下,确定丢帧数据之前的至少一个数据帧及丢帧数据之后的至少一个数据帧;基于丢帧数据之前的至少一个数据帧及丢帧数据之后的至少一个数据帧,确定丢帧数据;将确定的丢帧数据补充到修改后的数据帧中。
[0013]根据本申请第三方面,本申请实施例提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器执行如第一方面或第一方面任意实施方式中的数据处理方法,或如第二方面或第二方面任意实施方式中的数据处理方法。
[0014]根据本申请第四方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令用于使计算机执行如第一方面或第一方面任意实施方式中的数据处理方法,或如第二方面或第二方面任意实施方式中的数据处理方法。
[0015]本申请实施例提供的数据处理方法、电子设备及计算机可读存储介质,通过获取动作特征数据;动作特征数据包括多帧数据;将每帧数据转换成对应的第一图像,得到视频流;基于目标视频流传输协议将视频流发送至服务器端,以使服务器端基于视频流确定驱动虚拟对象动作的动作特征数据;如此,客户端不是以数据包的形式直接向服务器端发送驱动虚拟对象动作的动作特征数据,而是以视频流的形式将动作特征数据发送给服务器端,由于目前基于目标视频流传输协议进行视频流的传输具有实时性,因此,能够避免客户端向服务器端传输动作特征数据产生的延时问题,从而提升虚拟对象动作变化的实时性,提升用户体验;且由于是将动作特征数据中的每帧数据转换成对应的第一图像,而动作特征数据的数据量并不是很大,从而得到的视频流,所占用的客户端和服务器端的缓存并不会很大,可以满足客户端和服务器端的硬件要求。
[0016]上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
[0017]图1为本申请实施例中一种数据处理方法的流程示意图;
[0018]图2为本申请实施例中一帧数据作为第一图像的像素点的像素值的示意图;
[0019]图3为本申请实施例中第一图像在传输过程中像素值发生变化的示意图;
[0020]图4为本申请实施例中将一帧数据作为像素值,多次写入图片数据的示意图;
[0021]图5为本申请实施例中将一帧数据作为像素值,多次写入图片数据后,服务器端还原该帧数据时进行取平均值处理的示意图;
[0022]图6为本申请实施例中另一种数据处理方法的流程示意图;
[0023]图7为本申请实施例中正确抬腿的示意图;
[0024]图8为本申请实施例中抬腿对应的动作特征数据发生了丢帧时抬腿的示意图;
[0025]图9为本申请实施例中一种电子设备的硬件结构示意图。
具体实施方式
[0026]为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0027]本申请实施例提供了一种数据处理方法,应用于客户端,可应用于虚拟现实会议、虚拟对象直播、VR等场景,数据处理方法如图1所示,包括:
[0028]S101,获取动作特征数据;动作特征数据包括多帧数据。
[0029]在本实施例中,客户端包括但不限于手机、电脑、平板电脑、VR设备等。
[0030]在本实施例中,虚拟对象包括但不限于虚拟的人物对象、虚拟的动植物对象、虚拟的物品对象,其中,虚拟的人物对象包括但不限于虚拟的自然人、虚拟的机器人。真实对象包括但不限于真实的人物对象、真实的动植物对象、真实的物品对象,其中真实的人物对象包括但不限于真实的自然人、真实的机器人本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,应用于客户端,包括:获取动作特征数据;所述动作特征数据包括多帧数据;将每帧数据转换成对应的第一图像,得到视频流;基于目标视频流传输协议将所述视频流发送至服务器端,以使服务器端基于所述视频流确定驱动虚拟对象动作的动作特征数据。2.根据权利要求1所述的数据处理方法,所述获取动作特征数据,包括:获取真实对象的多张第二图像;提取每张所述第二图像的特征,得到动作特征数据。3.根据权利要求1所述的数据处理方法,所述将每帧数据转换成对应的第一图像,得到视频流,包括:将每帧数据作为像素值写入图片数据,形成对应的第一图像;按照每帧数据的时间戳对所述第一图像进行排序,形成视频流。4.根据权利要求3所述的数据处理方法,所述将每帧数据作为像素值写入图片数据,形成对应的第一图像,包括:将每帧数据作为像素值,多次写入图片数据,形成对应的第一图像。5.一种数据处理方法,应用于服务器端,包括:基于目标视频流传输协议获取客户端发送的视频流;所述视频流包括多帧第一图像;多帧所述第一图像用于表征动作特征数据;将每帧所述第一图像转换成对应的数据帧,得到用于驱动虚拟对象动作的动作特征数据;基于所述动作特征数据驱动虚拟对象动作。6.根据权利要求5所述的数据处理方法,所述将每帧所述第一图像转换成对应的数据帧,得到用于驱动虚拟对象动作的动作特征数据,包括:提取每帧所述第一图像的像素值,得到对应的数据帧;按照每帧所述第一图像的时间戳对所述数据帧进行排序,得到用于驱动虚拟对象动作的动作特征...

【专利技术属性】
技术研发人员:肖剑峰李凌煜赵子夜
申请(专利权)人:联想北京有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1