本发明专利技术的实施方式提供了一种用于图画书的电子化方法、装置、电子设备及存储介质。该方法包括：获取图画书的书页图像和音频；识别书页图像中的文本区块和图画区块；判断文本区块中的文本是否为对话文本；若文本为对话文本，将文本区块和图画区块中的气泡框区块关联至对话音频节点，以在音频播放至对话音频节点时，显示文本区块和气泡框区块；以及若文本为旁白文本，将文本区块和图画区块中的背景图区块关联至旁白音频节点，以在音频播放至旁白音频节点时，显示文本区块和背景图区块。通过本发明专利技术的方法能够快速地确定阅读顺序，或定位到音频播报的文本位置，从而显著地降低了读者的阅读体验，提高了读者的阅读体验。提高了读者的阅读体验。提高了读者的阅读体验。
【技术实现步骤摘要】
用于图画书的电子化方法、装置、电子设备及存储介质
[0001]本专利技术的实施方式涉及电子书领域，更具体地，本专利技术的实施方式涉及用于图画书的电子化方法、装置、电子设备及存储介质。
技术介绍
[0002]本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述可包括可以探究的概念，但不一定是之前已经想到或者已经探究的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。
[0003]电子书相较于传统纸质书籍，在传播、保存和阅读等多个方面具有巨大优势。电子书将内容数字化，有利于信息的传播，并且其以磁盘、存储卡等作为载体，便于保存和携带，还省去了传统纸质书籍生产时所需的印刷、仓储和运输等环节，更加高效环保。
[0004]纸质书籍电子化是扩充电子书库的一个重要渠道。在现有的纸质书籍电子化方案中，阅读软件往往直接将纸质书籍的书页图像显示在屏幕上，以供读者进行阅读，这种方案无法提供辅助阅读的功能。尤其是针对图画书一类的书籍，该类书籍中文本与图画相互穿插，阅读顺序不明确，进而导致阅读难度增加。
[0005]即使部分阅读软件提供了语音朗读的功能，读者也难以快速地确定阅读顺序，或定位到音频播报的文本位置，进而降低了读者的阅读体验。
技术实现思路
[0006]出于图画书中文本与图画相互穿插的特点，现有技术所提供的纸质书籍电子化方案无法令读者快速地确定阅读顺序，或定位到音频播报的文本位置。
[0007]为此，非常需要一种改进的用于图画书的电子化方法、装置、电子设备及存储介质，以辅助读者确定文本的阅读顺序，进而提高读者的阅读体验。
[0008]在本上下文中，本专利技术的实施方式期望提供一种用于图画书的电子化方法、装置、电子设备及存储介质。
[0009]在本专利技术实施方式的第一方面中，提供了一种用于图画书的电子化方法包括：获取图画书的书页图像和音频；识别书页图像中的文本区块和图画区块；判断文本区块中的文本是否为对话文本；若文本为对话文本，将文本区块和图画区块中的气泡框区块关联至对话音频节点，以在音频播放至对话音频节点时，显示文本区块和气泡框区块；以及若文本为旁白文本，将文本区块和图画区块中的背景图区块关联至旁白音频节点，以在音频播放至旁白音频节点时，显示文本区块和背景图区块。
[0010]在本专利技术的一个实施例中，其中对话音频节点为对话文本所在的音频节点；旁白音频节点为旁白文本所在的音频节点或旁白文本所在书页的起始音频节点。
[0011]在本专利技术的另一实施例中，图画区块包括气泡框区块和背景图区块，其中在识别书页图像中的文本区块和图画区块之后，该方法还包括：判断背景图区块与气泡框区块是
否存在重叠；以及若存在重叠，则对背景图区块中重叠位置的背景图进行图像修复。
[0012]在本专利技术的又一个实施例中，其中识别书页图像中的文本区块和图画区块包括：对书页图像进行二值化处理，以得到二值化图像；对二值化图像进行图像膨胀处理，以得到若干连通域；计算每一连通域的最小外接矩形，以得到若干区块；以及识别每一区块的区块类型，以得到文本区块和图画区块。
[0013]在本专利技术的再一个实施例中，其中判断文本区块中的文本是否为对话文本包括：判断文本区块是否位于任一个图画区块的区块范围内；若是，则文本区块中的文本为对话文本；以及若否，则文本区块中的文本为旁白文本。
[0014]在本专利技术的一个实施例中，其中识别书页图像中的文本区块和图画区块之后，该方法还包括：识别图画区块中的气泡框区块；以及将气泡框区块的区块范围内的文本确定为对话文本。
[0015]在本专利技术的另一实施例中，该方法还包括：在显示文本区块时，差异化显示文本区块中的文本。
[0016]在本专利技术的又一个实施例中，其中差异化显示文本区块中的文本包括：为文本填充背景色后显示；将文本放大后显示；和/或将文本改色后显示。
[0017]在本专利技术的再一个实施例中，其中识别书页图像中的文本区块和图画区块之后，该方法还包括：判断文本区块和/或图画区块是否属于版式内容；以及若是，则将文本区块和/或图画区块从书页图像中剔除。
[0018]在本专利技术的一个实施例中，其中将文本区块和图画区块中的背景图区块关联至旁白音频节点包括：将文本区块及距离其最近的背景图区块关联至旁白音频节点；或将文本区块的预设相对位置的背景图区块关联至旁白音频节点。
[0019]在本专利技术的另一实施例中，其中在判断文本区块中的文本是否为对话文本之后，该方法还包括：若当前文本区块中的文本为对话文本，将当前文本区块及其对应的气泡框区块的隐藏指令关联至下一对话音频节点，以在音频播放至下一对话音频节点时，隐藏当前文本区块及其对应的气泡框区块。
[0020]在本专利技术的又一个实施例中，在识别书页图像中的文本区块和图画区块之后，该方法还包括：若书页图像中不存在旁白文本，则将图画区块中的背景图区块关联至书页图像所在书页的起始音频节点。
[0021]在本专利技术实施方式的第二方面中，提供了一种用于图画书的电子化装置包括：数据获取模块，用于获取图画书的书页图像和音频；区块识别模块，用于识别书页图像中的文本区块和图画区块；以及音画合成模块，用于在文本区块中的文本为对话文本时，将文本区块和图画区块中的气泡框区块关联至对话音频节点，以在音频播放至对话音频节点时，发出显示文本区块和气泡框区块的指令；以及在文本为旁白文本时，将文本区块和图画区块中的背景图区块关联至旁白音频节点，以在音频播放至旁白音频节点时，发出显示文本区块和背景图区块的指令。
[0022]在本专利技术实施方式的第三方面中，提供了一种电子设备包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行如第一方面中任一项的方法。
[0023]在本专利技术实施方式的第四方面中，提供了一种非暂时性计算机可读存储介质，其
上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行如第一方面中任一项的方法。
[0024]根据本专利技术实施方式的用于图画书的电子化方法，可以将图画书中的文本和图画划分出来，并进一步将文本划分成对话和旁白，将图画划分成气泡框和背景图，从而将对话和气泡框关联至对话音频节点，以在音频播放至对话音频节点时一起显示对话文本和气泡框，为读者提供对话文本阅读顺序的信息，或在音频播放至旁白音频节点时显示旁白文本和背景图，为读者定位到音频播报的文本位置，辅助读者完成阅读，提高了读者的阅读体验。
附图说明
[0025]通过参考附图阅读下文的详细描述，本专利技术示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本专利技术的若干实施方式，其中：
[0026]图1示意性地示出了适于实现本专利技术实施方式的示例性计算系统100的框图；
[0027]图2示意性地示出了根据本专利技术实施例的用于图画书的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于图画书的电子化方法，其特征在于，包括：获取图画书的书页图像和音频；识别所述书页图像中的文本区块和图画区块；判断所述文本区块中的文本是否为对话文本；若所述文本为对话文本，将所述文本区块和所述图画区块中的气泡框区块关联至对话音频节点，以在所述音频播放至所述对话音频节点时，显示所述文本区块和所述气泡框区块；以及若所述文本为旁白文本，将所述文本区块和所述图画区块中的背景图区块关联至旁白音频节点，以在所述音频播放至所述旁白音频节点时，显示所述文本区块和所述背景图区块。2.根据权利要求1所述的方法，其特征在于，其中所述对话音频节点为所述对话文本所在的音频节点；所述旁白音频节点为所述旁白文本所在的音频节点或所述旁白文本所在书页的起始音频节点。3.根据权利要求1所述的方法，其特征在于，所述图画区块包括气泡框区块和背景图区块，其中在识别所述书页图像中的文本区块和图画区块之后，所述方法还包括：判断所述背景图区块与所述气泡框区块是否存在重叠；以及若存在重叠，则对所述背景图区块中重叠位置的背景图进行图像修复。4.根据权利要求1所述的方法，其特征在于，其中识别所述书页图像中的文本区块和图画区块包括：对所述书页图像进行二值化处理，以得到二值化图像；对所述二值化图像进行图像膨胀处理，以得到若干连通域；计算每一连通域的最小外接矩形，以得到若干区块；以及识别每一区块的区块类型，以得到文本区块和图画区块。5.根据权利要求1所述的方法，其特征在于，还包括：在显示所述文本区块时，差异化显示所述文本区块中的文本。6.根据权利要求1所述的方法，其特征在于，其中识别所述书页图像中的文...
【专利技术属性】
技术研发人员：顾红清，
申请(专利权)人：网易有道信息技术杭州有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。