多媒体数据处理方法及相关设备技术

本发明专利技术的实施方式涉及一种多媒体数据处理方法，该方法包括：获取第一视频帧；检测所述第一视频帧的类型；如果所述第一视频帧为关键视频帧，保留所述第一视频帧以及所述第一视频帧之后的视频帧；如果所述第一视频帧为非关键视频帧，丢掉所述第一视频帧。根据本发明专利技术的实施方式，解决现有技术中当多媒体播放器按时间戳查找最接近目标位置的视频帧，并以该视频帧为起始帧开始播放多媒体内容时出现画面卡顿或花屏的问题，并且也进一步解决了音频和视频有可能不同步的问题。本发明专利技术的实施方式还涉及一种多媒体数据处理装置、电子设备及计算机可读存储介质。

Multimedia data processing method and related equipment

Embodiments of the present invention relates to a multimedia data processing method, the method comprises: obtaining a first video frame type detection; the first video frame; if the first video frame is the key frames of the video, the video frame after the first video frame and the first frame of the video; if the first video the frame is non key frame, lost the first video frame. According to embodiments of the invention, when solving the problems of multimedia player according to the video frame time stamp find the closest target position, and the picture appears Caton or flowers screen problem in the video frame as the starting frame to start playing multimedia content, and further solve the audio and video synchronization may not. The embodiment of the invention also relates to a multimedia data processing device, an electronic device and a computer readable storage medium.

【技术实现步骤摘要】
多媒体数据处理方法及相关设备
本专利技术的实施方式涉及计算机应用领域，更具体地，本专利技术的实施方式涉及多媒体数据处理方法及相关设备。
技术介绍
多媒体播放器为用户提供了播放多媒体内容的功能，用户不仅可以从多媒体内容的起始位置开始观看该多媒体内容，还可以根据自己的需要将播放位置快进或者快退到该多媒体内容的任意位置，多媒体播放器就会从目标位置开始继续播放该多媒体内容。在相关的现有技术中，一旦快进或快退到某一目标位置之后，多媒体播放器就会利用查找功能(seek功能)查找该目标位置。例如，基于FFMpeg开发的FFPlayer播放器是现有开源方案中最为成熟的播放器，不仅支持流媒体格式、容器格式、音视频格式，并且也是音视频后处理技术最全的播放器，而查找功能是播放器最重要最常用的功能之一。目前支持3种查找的方式：1)按时间戳进行查找，2)按字节进行查找，3)按帧进行查找，因为后两种方式存在较多的限制，因此通常按时间戳进行查找，即，按时间戳查找最接近目标位置的视频帧，并以该视频帧为起始帧开始播放多媒体内容。但是，本专利技术的专利技术人在研究中发现，当多媒体播放器按时间戳查找最接近目标位置的视频帧，并以该视频帧为起始帧开始播放多媒体内容时，往往会出现视频画面卡顿或花屏(即视频画面局部出现马赛克)的问题，并且伴随着卡顿，常常还会产生音频和视频不同步的问题，严重影响了用户的观影体验。
技术实现思路
为此，本专利技术的实施方式提供了一种多媒体数据处理方法及相关设备，以解决现有技术中当多媒体播放器按时间戳查找最接近目标位置的视频帧，并以该视频帧为起始帧开始播放多媒体内容时出现画面卡顿或花屏的问题，并且也进一步解决了音频和视频有可能不同步的问题。为了实现上述目的，本专利技术的实施方式提供如下技术方案：在本专利技术的实施方式的第一方面中，提供了一种多媒体数据处理方法，应用于数据解码之前，包括：获取第一视频帧；检测所述第一视频帧的类型；如果所述第一视频帧为关键视频帧，保留所述第一视频帧以及所述第一视频帧之后的视频帧；如果所述第一视频帧为非关键视频帧，丢掉所述第一视频帧。在本专利技术的一个实施例中，还包括：在丢掉所述第一视频帧之后，获取第二视频帧，所述第二视频帧为所述第一视频帧的下一个视频帧；检测所述第二视频帧的类型；如果所述第二视频帧为关键视频帧，保留所述第二视频帧以及所述第二视频帧之后的视频帧；如果所述第二视频帧为非关键视频帧，丢掉所述第二视频帧。在本专利技术的另一实施例中，还包括：获取第一非视频帧，所述非视频帧包括音频帧和字幕帧中的至少一个；比较所述第一非视频帧的时间戳与所述关键视频帧的时间戳；如果所述第一非视频帧的时间戳早于所述关键视频帧的时间戳，丢掉所述第一非视频帧；如果所述第一非视频帧的时间戳晚于或等于所述关键视频帧的时间戳，保留所述第一非视频帧。在本专利技术的又一个实施例中，还包括：在丢掉所述第一非视频帧之后，获取第二非视频帧，所述第二非视频帧为所述第一非视频帧的下一个非视频帧；比较所述第二非视频帧的时间戳与所述关键视频帧的时间戳；如果所述第二非视频帧的时间戳早于所述关键视频帧的时间戳，丢掉所述第二非视频帧；如果所述第二非视频帧的时间戳晚于或等于所述关键视频帧的时间戳，保留所述第二非视频帧。在本专利技术的实施方式的第二方面中，提供了一种多媒体数据处理装置，应用于数据解码之前，包括：第一获取单元，用于获取第一视频帧；第一检测单元，用于检测所述第一视频帧的类型；第一保留处理单元，用于如果所述第一视频帧为关键视频帧，保留所述第一视频帧以及所述第一视频帧之后的视频帧；第一丢掉处理单元，用于如果所述第一视频帧为非关键视频帧，丢掉所述第一视频帧。在本专利技术的一个实施例中，还包括：第二获取单元，用于在第一丢掉处理单元丢掉所述第一视频帧之后，获取第二视频帧，所述第二视频帧为所述第一视频帧的下一个视频帧；第二检测单元，用于检测所述第二视频帧的类型；第二保留处理单元，用于如果所述第二视频帧为关键视频帧，保留所述第二视频帧以及所述第二视频帧之后的视频帧；第二丢掉处理单元，用于如果所述第二视频帧为非关键视频帧，丢掉所述第二视频帧。在本专利技术的另一实施例中，还包括：第三获取单元，用于获取第一非视频帧，所述非视频帧包括音频帧和字幕帧中的至少一个；第一比较单元，用于比较所述第一非视频帧的时间戳与所述关键视频帧的时间戳；第三丢掉处理单元，用于如果所述第一非视频帧的时间戳早于所述关键视频帧的时间戳，丢掉所述第一非视频帧；第三保留处理单元，用于如果所述第一非视频帧的时间戳晚于或等于所述关键视频帧的时间戳，保留所述第一非视频帧。在本专利技术的又一个实施例中，还包括：第四获取单元，用于在第三丢掉处理单元丢掉所述第一非视频帧之后，获取第二非视频帧，所述第二非视频帧为所述第一非视频帧的下一个非视频帧；第二比较单元，用于比较所述第二非视频帧的时间戳与所述关键视频帧的时间戳；第四丢掉处理单元，用于如果所述第二非视频帧的时间戳早于所述关键视频帧的时间戳，丢掉所述第二非视频帧；第四保留处理单元，用于如果所述第二非视频帧的时间戳晚于或等于所述关键视频帧的时间戳，保留所述第二非视频帧。在本专利技术的实施方式的第三方面中，提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一种方法。在本专利技术的实施方式的第四方面中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述任一种方法。根据本专利技术的实施方式，当查找到距离目标位置最近的视频帧时，在以该视频帧为起始帧进行解码之前，先基于帧类型检测丢掉待解码视频帧中很可能解码失败的视频帧，而保留待解码视频帧中很可能解码成功的视频帧。其中，在待解码视频帧中，位于第一个关键视频帧之前的非关键视频帧因缺少位于其前面的关键视频帧而很可能解码失败，因此需要丢掉，而位于第一个关键视频帧之后的视频帧因不缺少位于其前面的关键视频帧而很可能解码成功，因此需要保留。通过这样的方式处理后所保留的视频帧再进行解码时，就可以保证每个视频帧都可以解码成功，避免了视频画面的卡顿或花屏。另外，当查找到距离目标位置最近的音频帧时，在以该音频帧为起始帧进行解码之前，针对任一音频帧，比较该音频帧的时间戳与检测出的关键视频帧的时间戳，如果该音频帧的时间戳早于该关键视频帧的时间戳，说明音频帧在播出时视频帧还没有到达显示时间，因此音频和视频两者不能同步，丢掉该音频帧，如果该音频帧的时间戳晚于或者等于该关键视频帧的时间戳，说明音频和视频能够同步播出，保留该音频帧。通过这样的方式处理后所保留的音频帧在播放时即可保证音频与视频的同步。同样的方式应用在字幕帧上，就可以保证字幕与视频的同步。附图说明为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。图1为本专利技术的一实施例提供的一种应用场景的架构图；图2为本专利技术的另一实施例提本文档来自技高网...

【技术保护点】
一种多媒体数据处理方法，其特征在于，应用于数据解码之前，包括：获取第一视频帧；检测所述第一视频帧的类型；如果所述第一视频帧为关键视频帧，保留所述第一视频帧以及所述第一视频帧之后的视频帧；如果所述第一视频帧为非关键视频帧，丢掉所述第一视频帧。

【技术特征摘要】
1.一种多媒体数据处理方法，其特征在于，应用于数据解码之前，包括：获取第一视频帧；检测所述第一视频帧的类型；如果所述第一视频帧为关键视频帧，保留所述第一视频帧以及所述第一视频帧之后的视频帧；如果所述第一视频帧为非关键视频帧，丢掉所述第一视频帧。2.根据权利要求1所述的方法，其特征在于，还包括：在丢掉所述第一视频帧之后，获取第二视频帧，所述第二视频帧为所述第一视频帧的下一个视频帧；检测所述第二视频帧的类型；如果所述第二视频帧为关键视频帧，保留所述第二视频帧以及所述第二视频帧之后的视频帧；如果所述第二视频帧为非关键视频帧，丢掉所述第二视频帧。3.根据权利要求1或2所述的方法，其特征在于，还包括：获取第一非视频帧，所述非视频帧包括音频帧和字幕帧中的至少一个；比较所述第一非视频帧的时间戳与所述关键视频帧的时间戳；如果所述第一非视频帧的时间戳早于所述关键视频帧的时间戳，丢掉所述第一非视频帧；如果所述第一非视频帧的时间戳晚于或等于所述关键视频帧的时间戳，保留所述第一非视频帧。4.根据权利要求3所述的方法，其特征在于，还包括：在丢掉所述第一非视频帧之后，获取第二非视频帧，所述第二非视频帧为所述第一非视频帧的下一个非视频帧；比较所述第二非视频帧的时间戳与所述关键视频帧的时间戳；如果所述第二非视频帧的时间戳早于所述关键视频帧的时间戳，丢掉所述第二非视频帧；如果所述第二非视频帧的时间戳晚于或等于所述关键视频帧的时间戳，保留所述第二非视频帧。5.一种多媒体数据处理装置，其特征在于，应用于数据解码之前，包括：第一获取单元，用于获取第一视频帧；第一检测单元，用于检测所述第一视频帧的类型；第一保留处理单元，用于如果所述第一视频帧为关键视频帧，保留所述第一视频帧以及所述第一视频帧之后的视频帧；第一丢掉处理单元，用于如果所述第一视频帧为非关键视频帧，丢掉所述第一视频帧。6.根据权利要求5所述的装置，其特征在于，还包括...

【专利技术属性】
技术研发人员：刘任化，
申请(专利权)人：乐视控股北京有限公司，乐视致新电子科技天津有限公司，
类型：发明
国别省市：北京,11