流媒体数据处理方法、装置及电子设备制造方法及图纸

本公开实施例中提供了一种流媒体数据处理方法、装置及电子设备，属于数据处理技术领域，该方法包括：对通过第一传输链路接收到的流媒体数据进行丢包检测；响应于丢包检测的结果，在服务端开启备用缓存，所述备用缓存用于接收基于第二传输链路传输的丢包数据；在主缓存中将第一传输链路发送的流媒体数据以及所述备用缓存中保存的丢包数据进行数据融合，形成恢复数据；将所述恢复数据作为流媒体数据的解码渲染数据进行数据显示。通过本公开的处理方案，能够保证流媒体传输数据的完整性。

【技术实现步骤摘要】
流媒体数据处理方法、装置及电子设备
本公开涉及数据处理
，尤其涉及一种流媒体数据处理方法、装置及电子设备。
技术介绍
随着智能硬件和互联网流媒体技术的快速发展，把两者更好的结合，可以为用户带来更好更新更好的体验，是大势所趋，也用户所期待的。在弱网环境下，由于视频流媒体传输丢包，在客户端，会出现预览花屏和视频不清晰的问题，影响客户体验。针对当前无人机产品，在弱网下，图传的流媒体数据传输质量受到网络的影响非常大，尤其是在网络不好的情况下，图传的数据完整性和流畅性很难得到保障，无人机实时拍摄的音视频传输的流畅性和稳定性对于客户的体验度来说，显得非常重要。如何在弱网环境下，保证实时传输音视频数据的质量，降低传输丢包数量，如何对丢失的数据进行重传，保证流媒体传输数据的完整性，时效性，预览画面的流畅性，是需要解决的问题。
技术实现思路
有鉴于此，本公开实施例提供一种流媒体数据处理方法、装置及电子设备，以至少部分解决现有技术中存在的问题。第一方面，本公开实施例提供了一种流媒体数据处理方法，包括：对通过第一传输链路接收到的流媒体数据进行丢包检测；响应于丢包检测的结果，在服务端开启备用缓存，所述备用缓存用于接收基于第二传输链路传输的丢包数据；在主缓存中将第一传输链路发送的流媒体数据以及所述备用缓存中保存的丢包数据进行数据融合，形成恢复数据；将所述恢复数据作为流媒体数据的解码渲染数据进行数据显示。根据本公开实施例的一种具体实现方式，所述对通过第一传输链路接收到的流媒体数据进行丢包检测之前，所述方法还包括：在流媒体播放应用程序启动之后，开启用于进行丢包检测的SDK模块。根据本公开实施例的一种具体实现方式，所述对通过第一传输链路接收到的流媒体数据进行丢包检测，包括：在所述应用程序中，对流媒体数据所包含的协议包进行编号；在所述应用程序执行预览操作时，通过SDK模块对预设时间段内传输的流媒体数据的协议包编号是否连续进行检测；基于检测的结果，确定所述流媒体数据是否存在丢包问题。根据本公开实施例的一种具体实现方式，所述在服务端开启备用缓存之前，所述方法还包括：采用SDK模块自动触发的机制，通知服务端，同时把丢失数据包的索引号反馈给服务端。根据本公开实施例的一种具体实现方式，所述响应于丢包检测的结果，在服务端开启备用缓存，包括：服务端从备用缓存中按照SDK模块上发的缺失数据包索引，找到需要重传的数据包进行数据重传，并将重传的数据保存在备用缓存中。根据本公开实施例的一种具体实现方式，所述在主缓存中将第一传输链路发送的流媒体数据以及所述备用缓存中保存的丢包数据进行数据融合，包括：获取上传给服务器的包索引；基于所述包索引，在第二传输链路中重传的数据包中查找缺失数据；将查找到的数据包，按顺序插入到主缓存链表中，形成恢复数据。根据本公开实施例的一种具体实现方式，所述将所述恢复数据作为流媒体数据的解码渲染数据进行数据显示，包括：将所述恢复数据传输到图传解码器中；在所述图传解码器中显示所述恢复数据。根据本公开实施例的一种具体实现方式，所述将所述恢复数据作为流媒体数据的解码渲染数据进行数据显示之后，所述方法还包括：关闭所述图传解码器。第二方面，本公开实施例提供了一种流媒体数据处理装置，包括：检测模块，用于对通过第一传输链路接收到的流媒体数据进行丢包检测；缓存模块，用于响应于丢包检测的结果，在服务端开启备用缓存，所述备用缓存用于接收基于第二传输链路传输的丢包数据；融合模块，用于在主缓存中将第一传输链路发送的流媒体数据以及所述备用缓存中保存的丢包数据进行数据融合，形成恢复数据；显示模块，用于将所述恢复数据作为流媒体数据的解码渲染数据进行数据显示。第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：至少一个处理器；以及，与该至少一个处理器通信连接的存储器；其中，该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述第一方面或第一方面的任一实现方式中的流媒体数据处理方法。第四方面，本公开实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述第一方面或第一方面的任一实现方式中的流媒体数据处理方法。第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述第一方面或第一方面的任一实现方式中的流媒体数据处理方法。本公开实施例中的流媒体数据处理方案，包括对通过第一传输链路接收到的流媒体数据进行丢包检测；响应于丢包检测的结果，在服务端开启备用缓存，所述备用缓存用于接收基于第二传输链路传输的丢包数据；在主缓存中将第一传输链路发送的流媒体数据以及所述备用缓存中保存的丢包数据进行数据融合，形成恢复数据；将所述恢复数据作为流媒体数据的解码渲染数据进行数据显示。通过本公开的处理方案，提高了流媒体数据传输的稳定性。附图说明为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本公开实施例提供的一种流媒体数据处理方法的流程图；图2为本公开实施例提供的一种流媒体数据处理方法的配置示意图；图3为本公开实施例提供的另一种流媒体数据处理方法的流程图；图4为本公开实施例提供的另一种流媒体数据处理方法的流程图；图5为本公开实施例提供的一种流媒体数据处理装置的结构示意图；图6为本公开实施例提供的电子设备示意图。具体实施方式下面结合附图对本公开实施例进行详细描述。以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述本文档来自技高网...

【技术保护点】
1.一种流媒体数据处理方法，其特征在于，包括：/n对通过第一传输链路接收到的流媒体数据进行丢包检测；/n响应于丢包检测的结果，在服务端开启备用缓存，所述备用缓存用于接收基于第二传输链路传输的丢包数据；/n在主缓存中将第一传输链路发送的流媒体数据以及所述备用缓存中保存的丢包数据进行数据融合，形成恢复数据；/n将所述恢复数据作为流媒体数据的解码渲染数据进行数据显示。/n

【技术特征摘要】
1.一种流媒体数据处理方法，其特征在于，包括：
对通过第一传输链路接收到的流媒体数据进行丢包检测；
响应于丢包检测的结果，在服务端开启备用缓存，所述备用缓存用于接收基于第二传输链路传输的丢包数据；
在主缓存中将第一传输链路发送的流媒体数据以及所述备用缓存中保存的丢包数据进行数据融合，形成恢复数据；
将所述恢复数据作为流媒体数据的解码渲染数据进行数据显示。


2.根据权利要求1所述的方法，其特征在于，所述对通过第一传输链路接收到的流媒体数据进行丢包检测之前，所述方法还包括：
在流媒体播放应用程序启动之后，开启用于进行丢包检测的SDK模块。


3.根据权利要求2所述的方法，其特征在于，所述对通过第一传输链路接收到的流媒体数据进行丢包检测，包括：
在所述应用程序中，对流媒体数据所包含的协议包进行编号；
在所述应用程序执行预览操作时，通过SDK模块对预设时间段内传输的流媒体数据的协议包编号是否连续进行检测；
基于检测的结果，确定所述流媒体数据是否存在丢包问题。


4.根据权利要求3所述的方法，其特征在于，所述在服务端开启备用缓存之前，所述方法还包括：
采用SDK模块自动触发的机制，通知服务端，同时把丢失数据包的索引号反馈给服务端。


5.根据权利要求4所述的方法，其特征在于，所述响应于丢包检测的结果，在服务端开启备用缓存，包括：
服务端从备用缓存中按照SDK模块上发的缺失数据包索引，找到需要重传的数据包进行数据重传，并将重传的数据保存在备用缓存中。


6.根据权利要求5所述的方法，其...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：臻迪科技股份有限公司，
类型：发明
国别省市：北京;11