密集图像描述生成方法、系统、设备、介质及程序产品技术方案

本发明专利技术公开一种密集图像描述生成方法、系统、设备、介质及程序产品，涉及密集描述技术领域，包括：提取待处理图像中的感兴趣区域，对每个感兴趣区域提取提议特征和与其相邻的每个感兴趣区域的相邻特征，以此确定语义上下文关系，根据每个感兴趣区域的中心位置和相邻的每个感兴趣区域的中心位置确定空间上下文关系，将语义上下文关系和空间上下文关系结合得到视觉嵌入；提取待处理图像中的视觉对象，从知识图谱中检索与视觉对象相关的目标三元组，将目标三元组编码为知识嵌入；将视觉嵌入和知识嵌入映射到相同维度后，视觉嵌入和知识嵌入互相进行特征嵌入，通过解码得到语义描述句子，有效提高密集描述生成的性能。

【技术实现步骤摘要】

本专利技术涉及密集描述，特别是涉及一种密集图像描述生成方法、系统、设备、介质及程序产品。

技术介绍

1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。

2、密集描述技术涵盖对象检测、语义内容解析以及自然语言描述。随着大规模描述数据集的发布和深度学习技术的进步，密集描述的性能显著提升，且其应用广泛，包括人机交互、图文匹配、视觉问答等。密集描述比图像描述更进一步，提供了图像更丰富和更详细的描述。现有技术中提出一种全卷积定位网络(fully convolutional localizationnetwork，fcln)，包含检测器以识别所有感兴趣区域(region of interest，roi)并生成其文本描述。

3、现有研究中，根据是否包含上下文信息，大致分为两个阶段。初期架构采用快速区域卷积网络(faster r-cnn)检测roi，并使用长短期记忆网络(long short-term memory，lstm)生成文本描述；然而，这些框架主要关注roi，忽略了潜在有价值的上下文信息。后续研究通过在文本描本文档来自技高网...

【技术保护点】

1.一种密集图像描述生成方法，其特征在于，包括：

2.如权利要求1所述的一种密集图像描述生成方法，其特征在于，确定每个感兴趣区域的语义上下文关系的过程包括：将每个相邻的感兴趣区域的相邻特征和感兴趣区域的提议特征进行拼接，通过权重矩阵Wp表示第i个相邻感兴趣区域的矩形框oi和感兴趣区域的矩形框op之间的语义上下文关系，且使用激活函数Tanh将学习到的权重矩阵Wp中的所有元素约束在(-1,1)范围内。

3.如权利要求1所述的一种密集图像描述生成方法，其特征在于，确定每个感兴趣区域的空间上下文关系的过程包括：将每个相邻的感兴趣区域的中心位置ci和感兴趣区域的中心位置cp...

【技术特征摘要】

1.一种密集图像描述生成方法，其特征在于，包括：

2.如权利要求1所述的一种密集图像描述生成方法，其特征在于，确定每个感兴趣区域的语义上下文关系的过程包括：将每个相邻的感兴趣区域的相邻特征和感兴趣区域的提议特征进行拼接，通过权重矩阵wp表示第i个相邻感兴趣区域的矩形框oi和感兴趣区域的矩形框op之间的语义上下文关系，且使用激活函数tanh将学习到的权重矩阵wp中的所有元素约束在(-1,1)范围内。

3.如权利要求1所述的一种密集图像描述生成方法，其特征在于，确定每个感兴趣区域的空间上下文关系的过程包括：将每个相邻的感兴趣区域的中心位置ci和感兴趣区域的中心位置cp进行拼接，通过权重矩阵wq表示第i个相邻感兴趣区域的矩形框oi和感兴趣区域的矩形框op之间的空间上下文关系，且使用激活函数relu将学习到的权重矩阵wq中的所有元素约束在[0,+∞)范围内。

4.如权利要求1所述的一种密集图像描述生成方法，其特征在于，提取知识嵌入的过程包括：

5.如权利要...

【专利技术属性】
技术研发人员：周风余，朱振威，高鹤，郑学汗，谢佳龙，黄赛珂，杨元浩，
申请(专利权)人：山东大学，
类型：发明
国别省市：