【技术实现步骤摘要】
本专利技术涉及头戴显示设备，特别涉及一种数据串流传输方法、装置及电子设备。
技术介绍
1、随着现代社会科技的发展，ar(augmented reality，增强现实)设备和vr(virtualreality，虚拟现实)设备等头戴显示设备的应用越来越广泛。头戴显示设备的数据串流传输是指将计算设备(如主机或手机)生成的场景内容和声音发送到头戴显示设备(如ar眼镜)上进行显示和音频播放。
2、现有技术中，数据串流传输的方案通常是采用udp(user datagram protocol，用户数据报协议)协议进行音视频数据传输，由于视频数据中的图像帧比较大，远超网络接口的mtu(maximum transmission unit，最大传输单元)，因此图像帧在传输之前需要进行分片，如图1所示的按行分片和按列分片。由于udp协议是一种不可靠的传输层协议，且计算设备与头戴显示设备之间的网络可能会经过多级路由器，头戴显示设备收到的不同图像帧的顺序和同一图像帧的不同分片的顺序可能会与计算设备发送图像帧的分片的顺序不同，使得头戴显示设备若直接按照接收到的图像帧的分片的顺序去恢复图像帧显示，会出现显示的图像帧乱序和花屏等问题，造成头戴显示设备的显示异常。
3、因此，如何能够解决因传输数据乱序导致的头戴显示设备的显示异常问题，提升用户体验，是现今急需解决的问题。
技术实现思路
1、本专利技术的目的是提供一种数据串流传输方法、装置及电子设备，以解决因传输数据乱序导致的头戴显示设备的显示
2、为解决上述技术问题，本专利技术提供一种数据串流传输方法，应用于头戴显示设备，包括：
3、利用数据帧缓冲区缓存计算设备发送的待显示图像帧的分片数据帧；其中，所述头戴显示设备与所述计算设备无线连接，所述分片数据帧包括图像帧标识、分片标识和图像分片数据；
4、根据所述图像帧标识和所述分片标识，对所述图像分片数据进行组帧，获取所述待显示图像帧，并将所述待显示图像帧存储到异步时间扭曲队列；
5、在获取显示同步信号后，根据所述头戴显示设备的姿态检测传感器采集的姿态数据和所述异步时间扭曲队列中的最新待显示图像帧，确定目标图像帧；其中，所述最新待显示图像帧为最新在所述异步时间扭曲队列中存储的一个待显示图像帧，所述目标图像帧为未在所述头戴显示设备的显示屏上显示过的图像帧；
6、利用所述显示屏，显示所述目标图像帧；其中，所述显示屏上显示的当前目标图像帧对应的图像帧编码的显示顺序序号大于或等于所述显示屏上显示的上一待显示图像帧对应的图像帧编码的显示顺序序号，当前目标图像帧为任一所述目标图像帧。
7、在一些实施例中，所述根据所述图像帧标识和所述分片标识，对所述图像分片数据进行组帧，获取所述待显示图像帧，并将所述待显示图像帧存储到异步时间扭曲队列，包括：
8、在当前图像帧的全部分片数据帧缓存完成后，若缓存的当前图像帧的全部分片数据帧的数量等于当前图像帧的分片数量，则根据当前图像帧的全部分片数据帧中的分片编码，对当前图像帧的全部图像分片数据进行组帧，得到当前图像帧，并将当前图像帧存储到异步时间扭曲队列；其中，当前图像帧为任一所述图像帧编码对应的待显示图像帧。
9、在一些实施例中，所述根据所述图像帧标识和所述分片标识，对所述图像分片数据进行组帧，获取所述待显示图像帧，并将所述待显示图像帧存储到异步时间扭曲队列，还包括：
10、根据接收的待显示图像帧的分片数据帧中的图像帧编码，确定当前图像帧的全部分片数据帧是否缓存完成；
11、若是，则执行所述若缓存的当前图像帧的全部分片数据帧的数量等于当前图像帧的分片数量，则根据当前图像帧的全部分片数据帧中的分片编码，对当前图像帧的全部图像分片数据进行组帧，得到当前图像帧，并将当前图像帧存储到异步时间扭曲队列的步骤。
12、在一些实施例中，所述根据接收的待显示图像帧的分片数据帧中的图像帧编码，确定当前图像帧的全部分片数据帧是否缓存完成，包括：
13、判断接收当前分片数据帧中的图像帧编码是否大于当前图像帧对应的图像帧编码；其中，当前分片数据帧为接收的待显示图像帧的任一分片数据帧，所述图像帧编码为数字编码；
14、若大于当前图像帧对应的图像帧编码，则确定当前图像帧的全部分片数据帧缓存完成；
15、若等于当前图像帧对应的图像帧编码，则将当前分片数据帧作为当前图像帧的一个分片数据帧，并根据当前分片数据帧中的分片编码，将当前分片数据帧缓存在数据帧缓冲区中当前图像帧对应的位置；
16、若小于当前图像帧对应的图像帧编码，则丢弃当前分片数据帧。
17、在一些实施例中，所述根据所述图像帧标识和所述分片标识，对所述图像分片数据进行组帧，获取所述待显示图像帧，并将所述待显示图像帧存储到异步时间扭曲队列，还包括：
18、在当前图像帧的全部分片数据帧缓存完成后，若缓存的当前图像帧的全部分片数据帧的数量小于当前图像帧的分片数量，则丢弃当前图像帧的分片数据帧，并判断预设时间段内第一图像帧的数量与第一图像帧图像帧的数量之商是否大于比例阈值；其中，所述第一图像帧为丢弃对应的分片数据帧的待显示图像帧，所述第二图像帧为在所述数据帧缓冲区中缓存过对应的分片数据帧的待显示图像帧；
19、若大于所述比例阈值，则向所述计算设备发送丢包严重提示信息，以提示所述计算设备降低所述待显示图像帧的分包数量。
20、在一些实施例中，所述根据所述图像帧标识和所述分片标识，对所述图像分片数据进行组帧，获取所述待显示图像帧，并将所述待显示图像帧存储到异步时间扭曲队列，包括：
21、根据所述图像帧标识和所述分片标识，对所述图像分片数据进行组帧，获取所述待显示图像帧对应的编码图像帧；
22、对所述编码图像帧进行解码，获取所述待显示图像帧，并将所述待显示图像帧存储到所述异步时间扭曲队列。
23、在一些实施例中，所述在获取显示同步信号后，根据所述头戴显示设备的姿态检测传感器采集的姿态数据和所述异步时间扭曲队列中的最新待显示图像帧，确定目标图像帧，包括：
24、在获取所述显示同步信号后，若所述最新待显示图像帧为所述显示屏上未显示过的图像帧，则将所述最新待显示图像帧作为所述目标图像帧；
25、若所述最新待显示图像帧为所述显示屏上显示过的图像帧显示过的图像帧，则根据所述最新待显示图像帧和所述姿态数据，生成所述目标图像帧。
26、本专利技术还提供了一种数据串流传输装置，应用于头戴显示设备，包括：
27、帧缓冲模块，用于利用数据帧缓冲区缓存计算设备发送的待显示图像帧的分片数据帧；其中，所述头戴显示设备与所述计算设备无线连接，所述分片数据帧包括图像帧标识、分片标识和图像分片数据；
28、组帧模块，用于根据所述图像帧标识和所述分片标识，对所述图像分片数据进行组帧，获取所述待显示图像本文档来自技高网...
【技术保护点】
1.一种数据串流传输方法，其特征在于，应用于头戴显示设备，包括：
2.根据权利要求1所述的数据串流传输方法，其特征在于，所述根据所述图像帧标识和所述分片标识，对所述图像分片数据进行组帧，获取所述待显示图像帧，并将所述待显示图像帧存储到异步时间扭曲队列，包括：
3.根据权利要求2所述的数据串流传输方法，其特征在于，所述根据所述图像帧标识和所述分片标识，对所述图像分片数据进行组帧，获取所述待显示图像帧，并将所述待显示图像帧存储到异步时间扭曲队列，还包括：
4.根据权利要求3所述的数据串流传输方法，其特征在于，所述根据接收的待显示图像帧的分片数据帧中的图像帧编码，确定当前图像帧的全部分片数据帧是否缓存完成，包括：
5.根据权利要求2所述的数据串流传输方法，其特征在于，所述根据所述图像帧标识和所述分片标识，对所述图像分片数据进行组帧，获取所述待显示图像帧，并将所述待显示图像帧存储到异步时间扭曲队列，还包括：
6.根据权利要求1所述的数据串流传输方法，其特征在于，所述根据所述图像帧标识和所述分片标识，对所述图像分片数据进行组帧，获
7.根据权利要求1至6任一项所述的数据串流传输方法，其特征在于，所述在获取显示同步信号后，根据所述头戴显示设备的姿态检测传感器采集的姿态数据和所述异步时间扭曲队列中的最新待显示图像帧，确定目标图像帧，包括：
8.一种数据串流传输装置，其特征在于，应用于头戴显示设备，包括：
9.一种数据串流传输方法，其特征在于，应用于计算设备，包括：
10.一种数据串流传输装置，其特征在于，应用于计算设备，包括：
11.一种电子设备，其特征在于，包括：
...【技术特征摘要】
1.一种数据串流传输方法，其特征在于，应用于头戴显示设备，包括：
2.根据权利要求1所述的数据串流传输方法，其特征在于，所述根据所述图像帧标识和所述分片标识，对所述图像分片数据进行组帧，获取所述待显示图像帧，并将所述待显示图像帧存储到异步时间扭曲队列，包括：
3.根据权利要求2所述的数据串流传输方法，其特征在于，所述根据所述图像帧标识和所述分片标识，对所述图像分片数据进行组帧，获取所述待显示图像帧，并将所述待显示图像帧存储到异步时间扭曲队列，还包括：
4.根据权利要求3所述的数据串流传输方法，其特征在于，所述根据接收的待显示图像帧的分片数据帧中的图像帧编码，确定当前图像帧的全部分片数据帧是否缓存完成，包括：
5.根据权利要求2所述的数据串流传输方法，其特征在于，所述根据所述图像帧标识和所述分片标识，对所述图像分片数据进行组帧...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。