数字绘本识别方法、系统、电子设备及存储介质技术方案

本申请提供了一种数字绘本识别方法、系统、电子设备及存储介质，涉及绘本识别领域。该方法通过获取包含文本、图像和音频的数字绘本数据，然后使用预设的特征提取网络分别提取三种模态的特征数据。为了便于后续的特征融合，对提取得到的数字绘本特征数据进行空间维度对齐处理，使其具有一致的维度和表示形式。接下来，将对齐后的目标数字绘本特征数据输入预设的特征融合模块，通过注意力机制和多层感知器对多模态特征进行深度融合和交互，最终得到综合考虑文本、图像和音频信息的绘本识别结果。该方法通过特征提取、对齐和融合等技术手段，实现了跨模态信息的有效整合和语义理解，提高了数字绘本识别的准确性。

【技术实现步骤摘要】

本专利技术涉及绘本识别领域，尤其涉及一种数字绘本识别方法、系统、电子设备及存储介质。

技术介绍

1、目前，数字绘本内容识别主要采用基于规则或传统机器学习的方法。这些方法通常依赖于手工设计的特征和规则，或者使用浅层的机器学习模型，如支持向量机(svm)、决策树等。然而，这些方法在识别数字绘本内容时存在一定的局限性和不足。

2、首先，数字绘本包含丰富的文本、图像和音频信息，这些信息之间存在着复杂的语义关联和上下文依赖关系。传统的识别方法难以有效捕捉和利用这些关联信息，导致识别准确性受到限制。其次，数字绘本的内容具有多样性和变化性，不同绘本在文本表述、图像风格和音频表现上可能存在较大差异。基于规则或浅层机器学习的方法泛化能力较弱，难以适应不同绘本的特点，导致识别准确率不高。

技术实现思路

1、本申请提供一种数字绘本识别方法、系统、电子设备及存储介质，用以提高数字绘本识别的准确度。

2、第一方面，本申请提供了一种数字绘本识别方法，所述方法，包括：

3、获取数字绘本数据，所述数字绘本本文档来自技高网...

【技术保护点】

1.一种数字绘本识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述预设特征提取网络包括文本特征提取网络、图像特征提取网络和音频提取网络；所述将所述数字绘本数据输入预设特征提取网络，得到数字绘本特征数据，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述绘本图像数据输入所述图像特征提取网络，得到所述图像特征数据，包括：

4.根据权利要求1所述的方法，其特征在于，所述将所述数字绘本特征数据进行空间维度对齐处理，得到目标数字绘本特征数据，包括：

5.根据权利要求1所述的方法，其特征在于，所述对所述目标数...

【技术特征摘要】

1.一种数字绘本识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述预设特征提取网络包括文本特征提取网络、图像特征提取网络和音频提取网络；所述将所述数字绘本数据输入预设特征提取网络，得到数字绘本特征数据，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述绘本图像数据输入所述图像特征提取网络，得到所述图像特征数据，包括：

4.根据权利要求1所述的方法，其特征在于，所述将所述数字绘本特征数据进行空间维度对齐处理，得到目标数字绘本特征数据，包括：

5.根据权利要求1所述的方法，其特征在于，所述对所述目标数字绘本特征数据依次进行注意力处理和多层感知处理，得到绘本识别结果，包括：

6....

【专利技术属性】
技术研发人员：尚跃进，宋伟，李来林，
申请(专利权)人：卢卡杭州智能科技有限公司，
类型：发明
国别省市：