多媒体数据的处理方法、装置及介质制造方法及图纸

本申请实施例涉及计算机技术领域和人工智能技术领域，公开了一种多媒体数据的处理方法、装置及介质。该方法包括：响应对多媒体数据的播放指令，获取多媒体数据中各帧图像对应的图像帧数据，各帧图像对应的图像帧数据包括各帧图像对应的音频段，以及各帧图像中各个像素点的透明度数据和颜色数据；对各帧图像中各个像素点的透明度数据和颜色数据进行渲染处理，得到各帧图像对应的渲染后的图像；将多帧图像对应的渲染后的图像与音频段进行合成处理，以对多媒体数据进行更新，得到更新后的多媒体数据；播放更新后的多媒体数据。采用本申请实施例能够实现多媒体数据在播放的过程中声音与画面一致且保持画面背景透明的效果，有利于提升用户体验。升用户体验。升用户体验。

【技术实现步骤摘要】
多媒体数据的处理方法、装置及介质


[0001]本申请涉及计算机
，尤其涉及一种多媒体数据的处理方法、装置及介质。

技术介绍

[0002]随着即时通讯技术的发展，越来越多的人开始通过发送一些如动画特效之类的多媒体数据去表达当下的情绪。常见的播放如动画特效之类的多媒体数据的方式主要有两种：第一种是采用定时器定时渲染每帧动画，从而实现播放图形交换格式(gif)等格式的动画特效；第二种是采用视频播放器播放传统的mp4格式的动画特效。其中，第一种方式在播放动画特效时无法播放声音，现有的解决方法是在播放动画特效时单独使用声音接口去播放声音，但仍然容易出现声音与画面的时间轨迹难以完美对齐的问题；第二种方式可以播放出有声音的动画特效，并且能解决声音与画面的时间轨迹难以完美对齐的问题，但是无法实现动画画面背景透明的效果，影响视觉体验。因此，现有的多媒体数据在播放的过程中无法实现在声音与画面同步的同时保持画面背景透明的效果。

技术实现思路

[0003]本申请实施例提供了一种多媒体数据的处理方法、装置及介质，可实现多媒体数据音画同步的同时保持画本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多媒体数据的处理方法，其特征在于，包括：响应对多媒体数据的播放指令，获取所述多媒体数据中各帧图像对应的图像帧数据，所述各帧图像对应的图像帧数据包括所述各帧图像对应的音频段，以及所述各帧图像中各个像素点的透明度数据和颜色数据，所述各帧图像对应的音频段指的是：与所述各帧图像在时间上对齐的音频段；对所述各帧图像中各个像素点的透明度数据和颜色数据进行渲染处理，得到所述各帧图像对应的渲染后的图像；将所述多帧图像对应的渲染后的图像与所述音频段进行合成处理，以对所述多媒体数据进行更新，得到更新后的多媒体数据；播放所述更新后的多媒体数据。2.根据权利要求1所述的方法，其特征在于，还包括：获取图像数据以及所述图像数据对应的音频数据，所述图像数据包括所述各帧图像；在所述音频数据中确定所述各帧图像对应的音频段；将所述各帧图像和所述各帧图像对应的音频段进行合成处理，得到所述多媒体数据。3.根据权利要求2所述的方法，其特征在于，所述在所述音频数据中确定所述各帧图像对应的音频段，包括：对所述各帧图像的透明度数据和颜色数据进行数据分离处理，得到所述各帧图像中各个像素点的透明度数据和颜色数据；基于所述各帧图像中各个像素点的透明度数据和颜色数据，以及所述图像数据对应的音频数据，在所述音频数据中确定所述各帧图像对应的音频段。4.根据权利要求2所述的方法，其特征在于，所述在所述音频数据中确定所述各帧图像对应的音频段，包括：对所述各帧图像进行识别处理，得到所述各帧图像的一个或多个维度的图像特征；对所述一个或多个维度的图像特征进行分析处理，得到所述各帧图像对应的一个或多个维度的程度值；在所述音频数据中查找与所述一个或多个维度的程度值匹配的音频段，并将查找到的音频段作为所述各帧图像对应的音频段。5.根据权利要求2所述的方法，其特征在于，所述在所述音频数据中确定所述各帧图像对应的音频段，包括：确定所述图像数据的第一播放时长，以及所述图像数据对应的音频数据的第二播放时长；基于所述第一播放时长和所述第二播放时长对所述音频数据进行时长调整处理，得到处理后的音频数据，所述处理后的音频数据的第二播放时长与所述第一播放时长的时长相同；在所述处理后的音频数据中确定所述各帧图像对应的音频段。6.根据权利要求2所述的方法，其特征在于，所述在所述音频数据中确定所述各帧图像对应的音频段，包括：确定所述图像数据的第一播放时长，以及所述图像数据对应的音频数据的第二播放时长；
基于所述第一播放时长和所述第二播放时长对所述图像数据进行时长调整处理，得到处...

【专利技术属性】
技术研发人员：王水连，
申请(专利权)人：平安国际智慧城市科技股份有限公司，
类型：发明
国别省市：