【技术实现步骤摘要】
本申请涉及智能生成领域，且更为具体地，涉及一种图像内容语义描述生成系统及方法。
技术介绍
1、新闻中的图像通常是与文章内容相关的视觉元素。通过对图像进行注释，可以为读者提供更多的背景信息和上下文，有时候，图像本身可能不够清晰或直观地传达新闻的核心要点，通过注释可以突出图像中的重要元素，使读者更容易理解新闻的主题和重点。另外，对于视觉障碍人士或有视觉障碍的读者，图像注释可以提供对图像内容的语义描述，帮助他们理解新闻报道中的图像。
2、但由于传统方法通常使用固定的模板或规则来生成描述，这限制了描述的多样性和灵活性。模板化的描述往往无法适应不同图像的特点和语境，导致生成的描述过于简单和机械化。另外，传统方法通常只关注单个图像，而忽视了与其他图像之间的关联。此外，在生成描述时，图像中的不同对象和场景之间可能需要对整个图像进行全局的语义理解。传统方法往往难以处理这种长距离依赖，导致生成的描述可能缺乏全局一致性和语义连贯性。
3、因此，期待一种优化的图像内容语义描述生成方案。
技术实现思路
1、为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种图像内容语义描述生成系统及方法，其采用基于深度神经网络模型的人工智能技术，获取需要注释的新闻图片，图像分块后通过深浅融合卷积网络处理不同层次的特征信息建立语义关联，池化后分别通过上下文编码器和双向lstm网络捕捉图像中对象、场景、关系的整体语义信息和之间的远距离关系，以通过语义描述生成器生成相应的图像语义描述。进而能实现
2、根据本申请的一个方面，提供了一种图像内容语义描述生成系统，其包括：
3、新闻图片采集模块，用于获取需要注释的新闻图片；
4、图片分块模块，用于将所述需要注释的新闻图片进行图像分块以得到多个分块图像；
5、深浅特征卷积模块，用于将所述多个分块图像通过深浅融合卷积网络模型以得到多个深浅融合特征图；
6、特征池化模块，用于将所述多个深浅融合特征图进行池化以得到多个深浅融合特征向量；
7、第一尺度图像语义模块，用于将所述多个深浅融合特征向量通过基于转换器的上下文编码器以得到第一尺度图像语义理解特征向量；
8、第二尺度图像语义模块，用于将所述多个深浅融合特征向量通过双向lstm模型以得到第二尺度图像语义理解特征向量；
9、图像全局语义融合模块，用于对所述第一尺度图像语义理解特征向量和所述第二尺度图像语义理解特征向量进行基于先验的特征工程匹配以得到图像全局语义理解特征向量；
10、语义描述生成模块，用于将所述图像全局语义理解特征向量通过语义描述生成器生成相应的图像语义描述。
11、在上述图像内容语义描述生成系统中，所述图片分块模块，用于：对所述需注释的新闻图片进行均匀图像分块处理以得到所述多个分块图像，其中，所述多个分块图像中各个图像块具有相同的尺寸。
12、在上述图像内容语义描述生成系统中，所述特征池化模块，包括:浅层图像特征提取单元，用于从所述深浅融合卷积网络模型的第m层提取浅层特征图，其中，m大于等于1且小于等于6；深层图像特征提取单元，用于从所述深浅融合卷积网络模型的第n层提取深层特征图，其中，n/m大于等于5且小于等于10；以及，深浅融合单元，用于使用所述深浅融合卷积网络模型的深浅特征融合模块融合所述浅层特征图和所述深层特征图以得到深浅融合特征图。
13、在上述图像内容语义描述生成系统中，所述特征池化模块，用于:将所述多个深浅融合特征图进行沿通道维度的各个特征矩阵的池化以得到多个深浅融合特征向量。
14、在上述图像内容语义描述生成系统中，所述第一尺度图像语义模块，包括：图像语义编码单元，用于将所述多个深浅融合特征向量输入所述基于转化器的上下文编码器以得到多个深浅融合上下文语义特征向量；以及，语义级联单元，用于将所述多个深浅融合上下文语义特征向量进行级联以得到所述第一尺度图像语义理解特征向量。
15、在上述图像内容语义描述生成系统中，所述图像语义编码单元，用于：使用所述上下文编码器的基于转换器的bert模型对所述多个深浅融合特征向量中各个深浅融合特征向量进行基于时序全局的上下文语义编码以得到所述多个深浅融合上下文语义特征向量。
16、根据本申请的另一方面，提供了一种图像内容语义描述生成方法，其包括：
17、获取需要注释的新闻图片；
18、将所述需要注释的新闻图片进行图像分块以得到多个分块图像；
19、将所述多个分块图像通过深浅融合卷积网络模型以得到多个深浅融合特征图；
20、将所述多个深浅融合特征图进行池化以得到多个深浅融合特征向量；
21、将所述多个深浅融合特征向量通过基于转换器的上下文编码器以得到第一尺度图像语义理解特征向量；
22、将所述多个深浅融合特征向量通过双向lstm模型以得到第二尺度图像语义理解特征向量；
23、对所述第一尺度图像语义理解特征向量和所述第二尺度图像语义理解特征向量进行基于先验的特征工程匹配以得到图像全局语义理解特征向量；
24、将所述图像全局语义理解特征向量通过语义描述生成器生成相应的图像语义描述。
25、与现有技术相比，本申请提供的一种图像内容语义描述生成系统及方法，其采用基于深度神经网络模型的人工智能技术，获取需要注释的新闻图片，图像分块后通过深浅融合卷积网络处理不同层次的特征信息建立语义关联，池化后分别通过上下文编码器和双向lstm网络捕捉图像中对象、场景、关系的整体语义信息和之间的远距离关系，以通过语义描述生成器生成相应的图像语义描述。进而能实现对需要注释的新闻图片的图像语义描述生成，提高描述的准确性、连贯性和丰富性，使读者能够更好地理解和消化新闻图片的内容。
本文档来自技高网...【技术保护点】
1.一种图像内容语义描述生成系统，其特征在于，包括：
2.根据权利要求1所述的图像内容语义描述生成系统，其特征在于，所述图片分块模块，用于：
3.根据权利要求2所述的图像内容语义描述生成系统，其特征在于，所述特征池化模块，包括:
4.根据权利要求3所述的图像内容语义描述生成系统，其特征在于，所述特征池化模块，用于:
5.根据权利要求4所述的图像内容语义描述生成系统，其特征在于，所述第一尺度图像语义模块，包括：
6.根据权利要求5所述的图像内容语义描述生成系统，其特征在于，所述图像语义编码单元，用于：
7.根据权利要求6所述的图像内容语义描述生成系统，其特征在于，所述图像全局语义融合模块，用于：
8.一种图像内容语义描述生成方法，其特征在于，包括：
9.根据权利要求8所述的图像内容语义描述生成方法，其特征在于，将所述需要注释的新闻图片进行图像分块以得到多个分块图像，包括：
10.根据权利要求9所述的图像内容语义描述生成方法，其特征在于，将所述多个深浅融合特征图进行池化以得到多
...【技术特征摘要】
1.一种图像内容语义描述生成系统，其特征在于，包括：
2.根据权利要求1所述的图像内容语义描述生成系统，其特征在于，所述图片分块模块，用于：
3.根据权利要求2所述的图像内容语义描述生成系统，其特征在于，所述特征池化模块，包括:
4.根据权利要求3所述的图像内容语义描述生成系统，其特征在于，所述特征池化模块，用于:
5.根据权利要求4所述的图像内容语义描述生成系统，其特征在于，所述第一尺度图像语义模块，包括：
6.根据权利要求5所述的图像内容语义...
【专利技术属性】
技术研发人员：徐斌，藏景印，
申请(专利权)人：吉林省茂飞科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。