视频声音转文本的方法及相关设备技术

本申请的实施例提供了一种视频声音转文本的方法及相关设备。该方法在屏幕上显示用于播放视频的应用的用户界面。该方法响应用户的操作录制所述用户界面同时录制系统声音获得所录制的视频及与所录制的视频对应的音频数据。通过将与所录制的视频对应的音频数据转化为文本，并投影所录制的视频并输出对应的文本，同时播放与所录制的视频对应的音频数据，实现视频声音转文本的功能。利用本实施例可使得声音和视频画面以及字幕文本能够同步，提升用户视频观看体验。用户视频观看体验。用户视频观看体验。

【技术实现步骤摘要】
视频声音转文本的方法及相关设备


[0001]本申请实施例涉及终端
，尤其涉及一种视频声音转文本的方法及相关设备。

技术介绍

[0002]现在很多设备都支持录制设备内声音，通过语音识别技术，把音频数据转写成文本，并立即显示在屏幕上，达到实时生成并显示字幕的效果。然而，由于模型推理有不可忽略的时延，通常显示的字幕和原音轨会有比较明显的时差，也即字幕领域常说的时间轴没有对齐。因此，用户实际观看的实时字幕会有明显滞后，导致用户体验较差。

技术实现思路

[0003]本申请实施例公开了一种视频声音转文本的方法及相关设备，可使得声音和视频画面以及字幕文本能够同步，提升用户视频观看体验。
[0004]本申请第一方面公开了一种视频声音转文本的方法，包括：在电子设备的第一屏幕上显示应用的用户界面，所述用户界面包括视频播放区域，所述视频播放区域播放视频；响应用户开启实时字幕功能的操作信号，录制所述用户界面同时录制系统声音获得所录制的视频以及与所录制的视频对应的音频数据；将与所录制的视频对应的音频数据转化为文本；及投影所录制的视频并输出对应的文本，同时播放与所录制的视频对应的音频数据。
[0005]采用所述技术方案，通过同时录制用户界面和系统声音，并在投影所录制的画面的同时播放所录制的声音及输出对应的字幕，使得所播放的画面和声音及所输出的字幕同步，提升用户视频观看体验。
[0006]在一些可选的实施方式中，所述响应用户开启实时字幕功能的操作信号，录制所述用户界面包括：响应所述操作信号，将所述用户界面缩小为一个小窗，并将所述小窗移动到所述第一屏幕的第一指定位置；对所述第一屏幕的全屏画面进行录制获得所录制的全屏画面；及根据所述小窗的大小和位置对所录制的全屏画面进行裁剪，从而获得所述小窗的画面内容，将所获得的所述小窗的画面内容作为所录制的视频。采用所述技术方案，可以实现对视频画面准确的录制。
[0007]在一些可选的实施方式中，所述响应用户开启实时字幕功能的操作信号，录制所述用户界面包括：响应所述操作信号，将所述用户界面缩小为一个小窗，并将所述小窗移动到所述第一屏幕的第一指定位置；及对所述小窗的画面内容进行录制，获得所录制的视频。采用所述技术方案，无需对所录制的视频画面进行裁剪，缩短了视频录制时间。
[0008]在一些可选的实施方式中，该方法于第一时间点t1开始录制所述用户界面同时录制系统声音。
[0009]在一些可选的实施方式中，所述第一时间点t1为用户开启所述实时字幕功能的时间。采用所述技术方案，于用户开启实时字幕功能时即开始录制用户界面，及时响应用户的需求，进一步提升用户的观看体验。
[0010]在一些可选的实施方式中，该方法还包括：于所述第一时间点t1关闭电子设备的扬声器。采用所述技术方案，使得所述视频播放区域所播放的视频的声音不能外放，避免给用户造成观看干扰。
[0011]在一些可选的实施方式中，当所述小窗移动所述第一指定位置时，所述小窗展示所述用户界面的完整内容；或者仅展示所述视频播放区域的内容。
[0012]在一些可选的实施方式中，所述将与所录制的视频对应的音频数据转化为文本包括：将与所录制的视频对应的音频数据上传到服务器，其中，所述服务器将与所录制的视频对应的音频数据转化为文本，并将转化获得的文本发送给所述电子设备；及接收所述服务器发送过来的文本。采用所述技术方案，由服务器完成音频转译字幕文本的步骤，由于服务器的算力和文本转化模型都比电子设备要大要强，因此可以进一步提升音频转译字幕文本的质量。
[0013]在一些可选的实施方式中，该方法还包括：于将与所录制的视频对应的音频数据进行文本转化时，在所述第一屏幕上显示相应的文字提示。采用所述技术方案，优化了电子设备与用户之间的交互。
[0014]在一些可选的实施方式中，该方法于第二时间点t2投影所录制的视频，其中，t2＝t1+δ，δ的值的大小与将所录制的语音数据转化为文本所需的时间相关。采用所述技术方案，可以于字幕转好后即时播放所录制的视频，进一步提升用户视频观看体验。
[0015]在一些可选的实施方式中，该方法将所录制的视频投影到所述第一屏幕的第二指定位置，所述第二指定位置与所述第一指定位置重叠或者不重叠。
[0016]在一些可选的实施方式中，该方法将所录制的视频投影到所述电子设备的第二屏幕或者将所录制的视频投影到与所述电子设备通讯连接其他设备的屏幕上。采用所述技术方案，便利用户使用其他屏幕来观看视频，进一步提升用户的视频观看体验。
[0017]在一些可选的实施方式中，该方法将所录制的视频放大后再投影。
[0018]在一些可选的实施方式中，该方法将所转化得到的文本在系统最上层以浮窗形式显示。
[0019]在一些可选的实施方式中，该方法将所转化得到的文本内嵌到所录制的视频。
[0020]本申请第二方面公开了一种视频声音转文本的方法，应用于电子设备，所述方法包括：在电子设备的第一屏幕上显示应用的用户界面，所述用户界面包括视频播放区域，所述视频播放区域播放视频；响应用户开启实时字幕功能的操作信号，录制所述用户界面同时录制系统声音，获得所录制的多个视频，以及获得与每个视频对应的音频数据；按照所述多个视频的录制顺序将与每个视频对应的音频数据转化为文本；及按照所述录制顺序依次投影所述多个视频并输出对应的文本，同时播放对应的音频数据。
[0021]在一些可选的实施方式中，所述多个视频中的每个视频的时长相同。
[0022]采用所述技术方案，通过同时录制用户界面和系统声音，并在投影所录制的画面的同时播放所录制的声音及输出对应的字幕，使得所播放的画面和声音及所输出的字幕同步，提升用户视频观看体验。
[0023]本申请第三方面公开了一种电子设备，包括处理器和存储器；所述存储器，用于存储指令；所述处理器，用于调用所述存储器中的指令，使得所述电子设备实现所述的视频声音转文本的方法。
[0024]本申请第四方面公开了一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如所述的视频声音转文本的方法。
[0025]第三方面至第四方面所带来的技术效果可参见上述方法部分各涉及的方法相关的描述，此处不再赘述。
附图说明
[0026]图1A
‑
图1B是一种视频声音转文本的方法的应用场景示意图。
[0027]图2是本申请实施例提供的一种视频声音转文本的方法的流程示意图。
[0028]图3A
‑
图3D是本申请实施例提供的一种视频声音转文本的方法的应用场景示意图。
[0029]图4A
‑
图4C是本申请实施例提供的一种视频声音转文本的方法的应用场景示意图。
[0030]图5A
‑
图5C是本申请实施例提供的一种视频声音转文本的方法的应用场景示意图。
[0031]图6A
‑
图6D分别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频声音转文本的方法，应用于电子设备，其特征在于，所述方法包括：在电子设备的第一屏幕上显示应用的用户界面，所述用户界面包括视频播放区域，所述视频播放区域播放视频；响应用户开启实时字幕功能的操作信号，录制所述用户界面同时录制系统声音获得所录制的视频以及与所录制的视频对应的音频数据；将与所录制的视频对应的音频数据转化为文本；及投影所录制的视频并输出对应的文本，同时播放与所录制的视频对应的音频数据。2.如权利要求1所述的视频声音转文本的方法，其特征在于，所述响应用户开启实时字幕功能的操作信号，录制所述用户界面包括：响应所述操作信号，将所述用户界面缩小为一个小窗，并将所述小窗移动到所述第一屏幕的第一指定位置；对所述第一屏幕的全屏画面进行录制获得所录制的全屏画面；及根据所述小窗的大小和位置对所录制的全屏画面进行裁剪，从而获得所述小窗的画面内容，将所获得的所述小窗的画面内容作为所录制的视频。3.如权利要求1所述的视频声音转文本的方法，其特征在于，所述响应用户开启实时字幕功能的操作信号，录制所述用户界面包括：响应所述操作信号，将所述用户界面缩小为一个小窗，并将所述小窗移动到所述第一屏幕的第一指定位置；及对所述小窗的画面内容进行录制，获得所录制的视频。4.如权利要求2或3所述的视频声音转文本的方法，其特征在于，该方法于第一时间点t1开始录制所述用户界面同时录制系统声音。5.如权利要求4所述的视频声音转文本的方法，其特征在于，所述第一时间点t1为用户开启所述实时字幕功能的时间。6.如权利要求4所述的视频声音转文本的方法，其特征在于，该方法还包括：于所述第一时间点t1关闭电子设备的扬声器。7.如权利要求1至6中任意一项所述的视频声音转文本的方法，其特征在于，当所述小窗移动所述第一指定位置时，所述小窗展示所述用户界面的完整内容；或者仅展示所述视频播放区域的内容。8.如权利要求1至7中任意一项所述的视频声音转文本的方法，其特征在于，所述将与所录制的视频对应的音频数据转化为文本包括：将与所录制的视频对应的音频数据上传到服务器，其中，所述服务器将与所录制的视频对应的音频数据转化为文本，并将转化获得的文本发送给所述电子设备；及接收所述服务器发送过来的文本。9.如权利要求1至8中任意一项所述的视频声音转文本的方法，其特征在于，该方法还包括：于将与所录制的视频对应的音频...

【专利技术属性】
技术研发人员：谭泳发，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：