一种绘本文件的处理、同步显示方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种绘本文件的处理、同步显示方法、装置及存储介质，方法包括获取绘本的文本文件和音频文件；当文本文件中文本的字体未被授权时将文本文件转换为预设格式的资源文件，资源文件包括：包含字体属性的第一资源文件、包含文本属性的第二资源文件以及包含背景信息的第三资源文件；从第二资源文件中抽取得到文本资源；对音频文件进行语音识别得到语音文本列表；基于语音文本列表为文本资源中的文本添加时刻信息并更新文本资源，完成对绘本文件的处理，以使随音频文件的播放在终端同步显示第一资源文件和第三资源文件。利用本发明专利技术的技术方案能在字体未被授权时使绘本适配不同屏幕且清晰地显示文本内容，同时降低资源文件的体积。件的体积。件的体积。

【技术实现步骤摘要】
一种绘本文件的处理、同步显示方法、装置及存储介质


[0001]本专利技术涉及计算机
，具体涉及一种绘本文件的处理、同步显示方法、装置及存储介质。

技术介绍

[0002]在未获取字体授权的情况下对绘本的文本文件进行解析处理时，一般按行裁剪文本并保存为PNG(Portable Network Graphics，便携式网络图形)格式的图片资源，在终端进行显示时则动态地加载不同字体文字的图片资源以实现音频和文本的同步。但是这种方式存在弊端，一方面，在iPad、iPhone、Android、Android平板等不同尺寸的终端屏幕上，PNG格式的文字图片随屏幕大小缩放后会出现文本模糊的问题，降低阅览效果；另一方面，按照行来切割文本并保存为图片资源，导致资源占用空间过大。在提供绘本阅读、听音功能的教育类应用中，上述问题都会严重影响用户的使用体验。
[0003]因此，需要针对在字体未被授权情况下在不同终端平台上存在文本显示模糊及占用资源大的问题作出改善。

技术实现思路

[0004]为了解决现有技术的问题，本专利技术提供了一种绘本文件的处理、同步显示方法、装置及存储介质。所述技术方案如下：
[0005]第一方面，本专利技术提供了一种绘本文件的处理方法，所述方法包括：
[0006]获取绘本的文本文件和音频文件；
[0007]当所述文本文件中文本的字体未被授权时，将所述文本文件转换为预设格式的资源文件，所述资源文件至少包括：包含字体属性的第一资源文件、包含文本属性的第二资源文件以及包含背景信息的第三资源文件；
[0008]从所述第二资源文件中抽取得到文本资源；
[0009]对所述音频文件进行语音识别，得到语音文本列表；
[0010]基于所述语音文本列表为所述文本资源中的文本添加时刻信息，并更新所述文本资源，完成对绘本文件的处理，以使随所述音频文件的播放，在终端同步显示所述第一资源文件和所述第三资源文件。
[0011]第二方面，本专利技术提供了一种绘本文件的同步显示方法，显示区域包括绘本页面显示区域和音频播放控制区域，所述方法包括：
[0012]获取绘本当前页的第一资源文件、文本资源和第三资源文件，所述第一资源文件、所述文本资源和所述第三资源文件通过如
技术实现思路
第一方面所述的一种绘本文件的处理方法得到；
[0013]根据所述第一资源文件得到上层第一资源文件和下层第一资源文件；
[0014]响应用户的音频播放控制操作，从所述音频播放控制区域获取所述绘本当前页的音频文件的当前播放时刻；
[0015]根据所述当前播放时刻和所述文本资源确定高亮显示区域；
[0016]根据所述高亮显示区域将所述上层第一资源文件进行渲染并裁剪显示，以及根据所述绘本页面显示区域对所述下层第一资源文件和所述第三资源文件进行渲染并显示。
[0017]第三方面，本专利技术提供了一种绘本文件的处理装置，所述装置包括：
[0018]文件获取模块，用于获取绘本的文本文件和音频文件；
[0019]文件转换模块，用于当所述文本文件中文本的字体未被授权时，将所述文本文件转换为预设格式的资源文件，所述资源文件至少包括：包含字体属性的第一资源文件、包含文本属性的第二资源文件以及包含背景信息的第三资源文件；
[0020]文本抽取模块，用于从所述第二资源文件中抽取得到文本资源；
[0021]音频识别模块，用于对所述音频文件进行语音识别，得到语音文本列表；
[0022]文本时刻信息添加模块，用于基于所述语音文本列表为所述文本资源中的文本添加时刻信息，并更新所述文本资源，完成对绘本文件的处理，以使随所述音频文件的播放，在终端同步显示所述第一资源文件和所述第三资源文件。
[0023]第四方面，本专利技术提供了一种绘本文件的同步显示装置，其特征在于，显示区域包括绘本页面显示区域和音频播放控制区域，所述装置包括：
[0024]资源文件获取模块，用于获取绘本当前页的第一资源文件、文本资源和第三资源文件，所述第一资源文件、文本资源和第三资源文件通过如
技术实现思路
第三方面所述的一种绘本文件的处理装置得到；
[0025]资源文件处理模块，用于根据所述第一资源文件得到上层第一资源文件和下层第一资源文件；
[0026]音频播放时刻获取模块，用于从所述音频播放控制区域获取所述绘本当前页的音频文件的当前播放时刻；
[0027]高亮显示区域确定模块，用于响应用户的音频播放控制操作，根据所述当前播放时刻和所述文本资源确定高亮显示区域；
[0028]渲染显示模块，用于根据所述高亮显示区域将所述上层第一资源文件进行渲染并裁剪显示，以及根据所述绘本页面显示区域对所述下层第一资源文件和所述第三资源文件进行渲染并显示。
[0029]第五方面，本专利技术提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如第一方面所述的一种绘本文件的处理方法或如第二方面所述的一种绘本文件的同步显示方法。
[0030]本专利技术提供的一种绘本文件的处理、同步显示方法、装置及存储介质，具有如下技术效果：
[0031]本专利技术针对文本的字体未被授权的情况，将绘本的文本文件转换为可缩放的矢量格式的资源文件，能够适配不同尺寸的终端屏幕，为用户提供更加清晰的阅览、学习体验，同时保存的资源文件的占用空间更小，便于网络的传输。
[0032]在矢量格式的资源文件中，包含各种字体属性的文本内容是通过矢量格式的图形绘制元素绘制而出并单独保存为字体资源文件，在终端对字体资源文件直接进行渲染显示则可实现对各种字体样式的文本内容的支持；包含文本属性的文本内容是通过矢量格式的
文本元素进行描述，涵盖了文本的坐标位置等信息，结合语音识别得到的文本时刻信息，能在终端随音频文件的播放确定字体资源文件高亮显示的区域，以达到文本与音频同步的视觉效果，便于用户在阅览时进行跟读学习。
[0033]本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0034]为了更清楚地说明本专利技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0035]图1是本专利技术实施例提供的一种绘本文件的处理方法的流程图；
[0036]图2是本专利技术实施例提供的一种基于SVG格式的绘本文件的处理方法的流程图；
[0037]图3是本专利技术实施例提供的一种利用SVG<path>元素绘制文本内容的实例运行结果示意图；
[0038]图4是本专利技术实施例提供的确定文本资源中的文本与语音文本列表中的文本的对应关系的流程框图；
...

【技术保护点】

【技术特征摘要】
1.一种绘本文件的处理方法，其特征在于，所述方法包括：获取绘本的文本文件和音频文件；当所述文本文件中文本的字体未被授权时，将所述文本文件转换为预设格式的资源文件，所述资源文件至少包括：包含字体属性的第一资源文件、包含文本属性的第二资源文件以及包含背景信息的第三资源文件；从所述第二资源文件中抽取得到文本资源；对所述音频文件进行语音识别，得到语音文本列表；基于所述语音文本列表为所述文本资源中的文本添加时刻信息，并更新所述文本资源，完成对绘本文件的处理，以使随所述音频文件的播放，在终端同步显示所述第一资源文件和所述第三资源文件。2.根据权利要求1所述的方法，其特征在于，所述将所述文本文件转换为预设格式的资源文件包括：根据预设的矢量格式将所述文本文件转换为第一资源文件，在所述第一资源文件中通过所述矢量格式的第一类元素绘制包含字体属性的文本内容；根据所述矢量格式将所述文本文件转换为第二资源文件，在所述第二资源文件中通过所述矢量格式的第二类元素描述包含文本属性的文本内容，当所述文本文件中文本的字体未被授权时，所述文本属性不包含所述文本内容的字体属性；以及，删除所述第二资源文件中的文本内容，得到第三资源文件，所述第三资源文件包含所述文本文件中绘本页的背景信息。3.根据权利要求2所述的方法，其特征在于，所述从所述第二资源文件中抽取得到文本资源包括：根据所述矢量格式的第二类元素对应的标签抽取包含文本属性的文本内容，得到文本资源，所述文本资源至少包含文本的位置属性。4.根据权利要求1所述的方法，其特征在于，所述对所述音频文件进行语音识别，得到语音文本列表包括：将所述音频文件输入训练后的自动语音识别模型，得到以第一单位划分文本的语音文本列表，并确定所述语音文本列表中文本的索引值、开始时间和结束时间。5.根据权利要求1或4所述的方法，其特征在于，所述基于所述语音文本列表为所述文本资源中的文本添加时刻信息包括：遍历所述文本资源中的文本，确定所述文本资源中的文本与所述语音文本列表中的文本的对应关系；根据所述对应关系将所述语音文本列表中文本的开始时间和结束时间添加至所述文本资源，以生成所述文本资源中文本的时刻信息。6.根据权利要求1所述的方法，其特征在于，所述基于所述语音文本列表为所述文本资源中的文本添加时刻信息还包括：遍历所述文本资源中的文本，若所述文本资源中的文本与所述语音文本列表中的文本不存在对应关系，则所述文本资源中的文本根据前后文本的时刻信息确定自身的时刻信息。7.一种绘本文件的同步显示方法，其特征在于，显示区域包括绘本页面显示区域...

【专利技术属性】
技术研发人员：孙丹，陆瑶瑶，宋飞，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：