一种字幕添加方法、装置、设备和介质制造方法及图纸

本发明专利技术公开了一种字幕添加方法、装置、设备和介质，接收字幕数据和视频数据；基于Gstreamer框架，针对接收到的视频数据中的每个视频帧，获取该视频帧对应的字幕子数据，并判断该字幕子数据转换得到的第一字符串是否与该视频帧的上一视频帧对应的第二字符串相同；若相同，将作为当前surface对象的数据转换为字幕图片，并将该字幕图片添加到该视频帧中，发送添加了字幕图片的视频帧。由于本发明专利技术在该视频帧的第一字符串与该视频帧的上一视频帧对应的第二字符串相同时，可以直接将作为当前surface对象的数据转换为字幕图片，并将该字幕图片添加到该视频帧中，从而减少了创建surface对象的次数，节约了系统资源。节约了系统资源。节约了系统资源。

【技术实现步骤摘要】
一种字幕添加方法、装置、设备和介质


[0001]本专利技术涉及视频通话
，尤其涉及一种字幕添加方法、装置、设备和介质。

技术介绍

[0002]随着视频通话技术的发展，在现有家庭中，智能管家服务器已经可以通过智能电视的显示屏显示视频通话过程中的视频画面，并且在进行实时的视频通话时还可以对音频实时翻译，在显示屏上以字幕形式显示通话的内容。
[0003]图1为现有技术提供的一种实现视频通话的系统架构示意图，如图1所示：智感器采集用户的视频数据，小聚音响采集用户的音频数据，同时智感器和小聚音响将采集的视频数据和音频数据发送给智能管家服务器，智能管家服务器将获取到的视频数据和音频数据上传云端服务器，云端服务器在接收到视频数据和音频数据后，将音频数据和视频数据进行转发，从而实现根据音频数据生成字幕数据，同时将通过实时翻译生成的字幕数据发送给智能管家服务器，用于在显示界面上显示通话的内容。
[0004]在现有技术中，智能管家服务器在接收到云端服务器发送的字幕数据后，基于Gstreamer框架实现字幕添加，在Gstreamer框架的管道中，通过循环调用render函数来实现字幕数据和视频数据的推送。具体的调用次数是管道进行控制，与数据流的帧率相匹配，从而达到字幕图片与视频帧的一一对应的融合。
[0005]例如，如果以30帧每秒为例，智能管家服务器将会以每秒30调用render函数推送字幕数据。
[0006]由于render函数在固定帧率下的推送次数不变时，对每一帧的字幕数据都会创建新的surface对象，从而生成字幕图片，并且在创建新的surface对象都需要调用pango和cairo库来实现缩放、偏移、转换等计算，以及内存空间的分配等，从而大量占用CPU，导致了系统资源的浪费。

技术实现思路

[0007]本专利技术实施例提供了一种字幕添加方法、装置、设备和介质，用以解决现有技术中在生成字幕图片时，浪费系统资源的问题。
[0008]本专利技术实施例提供了一种字幕添加方法，所述方法包括：
[0009]接收字幕数据和视频数据；
[0010]基于Gstreamer框架，针对接收到的视频数据中的每个视频帧，获取所述视频帧对应的字幕子数据，并判断所述字幕子数据转换得到的第一字符串是否与所述视频帧的上一视频帧对应的第二字符串相同；
[0011]若相同，将作为当前surface对象的数据转换为字幕图片，并将所述字幕图片添加到所述视频帧中，发送添加了字幕图片的视频帧。
[0012]进一步地，所述接收字幕数据方法还包括：
[0013]接收文本格式的字幕数据，其中所述文本格式的字幕数据是以自然对话语句结束
为分界点确定的，或以预设的时间长度进行分割确定的。
[0014]进一步地，所述判断所述字幕子数据转换得到的第一字符串是否与所述视频帧的上一视频帧对应的第二字符串相同包括：
[0015]通过预设的第一函数，判断所述第一字符串与所述第二字符串是否相同，在所述第一字符串与所述第二字符串相同时，针对所述第一字符串设置字符串相同标志位，并将所述字符串发送给预设的第二函数；
[0016]所述将作为当前surface对象的数据转换为字幕图片包括：
[0017]通过所述预设的第二函数，若所述预设的第二函数识别到字符串相同标志位时，将作为当前surface对象的数据转换为字幕图片。
[0018]进一步地，若确定所述第一字符串与所述第二字符串不同，所述方法还包括：
[0019]确定字幕显示的相应参数，并创建surface对象，其中作为所述创建的surface对象的数据包括字幕显示的相应参数及所述第一字符串，将作为所述创建的surface对象的数据转换为字幕图片，并将所述字幕图片添加到所述视频帧中。
[0020]进一步地，所述将所述字幕图片添加到所述视频帧中包括：
[0021]确定字幕显示的大小参数和位置参数；
[0022]根据所述大小参数，确定对应大小的所述字幕图片，并根据所述位置参数，将所述字幕图片添加到所述视频帧的对应位置。
[0023]本专利技术实施例提供了一种字幕添加装置，所述装置包括：
[0024]接收单元，用于接收字幕数据和视频数据；
[0025]处理单元，用于基于Gstreamer框架，针对接收到的视频数据中的每个视频帧，获取所述视频帧对应的字幕子数据，并判断所述字幕子数据转换得到的第一字符串是否与所述视频帧的上一视频帧对应的第二字符串相同，若相同，将作为当前surface对象的数据转换为字幕图片，并将所述字幕图片添加到所述视频帧中；
[0026]发送单元，用于发送添加了字幕图片的视频帧。
[0027]进一步地，所述接收单元，用于接收文本格式的字幕数据，其中所述文本格式的字幕数据是以自然对话语句结束为分界点确定的，或以预设的时间长度进行分割确定的。
[0028]进一步地，所述处理单元包括：
[0029]字符串转换子单元，用于将针对接收到的视频数据中的每个视频帧，获取所述视频帧对应的字幕子数据，将所述字幕子数据转换为第一字符串；
[0030]判断子单元，用于通过预设的第一函数，判断所述第一字符串与所述第二字符串是否相同，在所述第一字符串与所述第二字符串相同时，针对所述第一字符串设置字符串相同标志位，并将所述字符串发送给预设的第二函数；
[0031]字幕图片转换子单元，用于通过所述预设的第二函数，若所述预设的第二函数识别到字符串相同标志位时，将作为当前surface对象的数据转换为字幕图片。
[0032]进一步地，所述处理单元，还用于若确定所述第一字符串与所述第二字符串不同，确定字幕显示的相应参数，并创建surface对象，其中作为所述创建的surface对象的数据包括字幕显示的相应参数及所述第一字符串，将作为所述创建的surface对象的数据转换为字幕图片，并将所述字幕图片添加到所述视频帧中。
[0033]进一步地，所述处理单元，用于若确定所述第一字符串与所述第二字符串不同，确
定字幕显示的相应参数，并创建surface对象，其中作为所述创建的surface对象的数据包括字幕显示的相应参数及所述第一字符串，将作为所述创建的surface对象的数据转换为字幕图片，并将所述字幕图片添加到所述视频帧中。
[0034]进一步地，所述处理单元，具体用于确定字幕显示的大小参数和位置参数；根据所述大小参数，确定对应大小的所述字幕图片，并根据所述位置参数，将所述字幕图片添加到所述视频帧的对应位置。
[0035]相应地，本专利技术实施例提供一种服务器，所述服务器包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于执行存储器中存储的计算机程序时实现上述任一所述字幕添加方法的步骤。
[0036]相应地，本专利技术实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述字幕添加方法的步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种字幕添加方法，其特征在于，所述方法包括：接收字幕数据和视频数据；基于Gstreamer框架，针对接收到的视频数据中的每个视频帧，获取所述视频帧对应的字幕子数据，并判断所述字幕子数据转换得到的第一字符串是否与所述视频帧的上一视频帧对应的第二字符串相同；若相同，将作为当前surface对象的数据转换为字幕图片，并将所述字幕图片添加到所述视频帧中，发送添加了字幕图片的视频帧。2.根据权利要求1所述的字幕添加方法，其特征在于，所述接收字幕数据方法还包括：接收文本格式的字幕数据，其中所述文本格式的字幕数据是以自然对话语句结束为分界点确定的，或以预设的时间长度进行分割确定的。3.根据权利要求1所述的字幕添加方法，其特征在于，所述判断所述字幕子数据转换得到的第一字符串是否与所述视频帧的上一视频帧对应的第二字符串相同包括：通过预设的第一函数，判断所述第一字符串与所述第二字符串是否相同，在所述第一字符串与所述第二字符串相同时，针对所述第一字符串设置字符串相同标志位，并将所述字符串发送给预设的第二函数；所述将作为当前surface对象的数据转换为字幕图片包括：通过所述预设的第二函数，若所述预设的第二函数识别到字符串相同标志位时，将作为当前surface对象的数据转换为字幕图片。4.根据权利要求1所述的字幕添加方法，其特征在于，若确定所述第一字符串与所述第二字符串不同，所述方法还包括：确定字幕显示的相应参数，并创建surface对象，其中作为所述创建的surface对象的数据包括字幕显示的相应参数及所述第一字符串，将作为所述创建的surface对象的数据转换为字幕图片，并将所述字幕图片添加到所述视频帧中。5.根据权利要求1或4所述的字幕添加方法，其特征在于，所述将所述字幕图片添加到所述视频帧中包括：确定字幕显示的大小参数和位置参数；根据所述大小参数，确定对应大小的所述字幕图片，并根据所述位置参数，将所述字幕图片添加到所述视频帧的对应位置。6.一...

【专利技术属性】
技术研发人员：李蕾，张玉，高雪松，陈维强，
申请(专利权)人：海信集团有限公司，
类型：发明
国别省市：